¿Es necesario que los humanos sigan implicándose en la toma de decisiones de la inteligencia artificial?

14 minutos 23 enero, 2024

¿Es necesario que los humanos sigan implicándose en la toma de decisiones de la inteligencia artificial? Un análisis desde el ámbito de la Seguridad Social

La necesidad de intervención humana desde la Unión Europea

En el artículo 3 de la Propuesta de Reglamento del Parlamento Europeo y el Consejo por el que se establecen normas armonizadas en materia de Inteligencia Artificial y se modifican determinados actos legislativos de la Unión, de 21 de abril de 2021, se define al sistema de Inteligencia Artificial como “los softwares que son desarrollados con las técnicas que se recogen en un listado anexo y que pueden generar contenidos, predicciones, recomendaciones o decisiones que influyan en su contexto, siempre desde los objetivos definidos por humanos”.

Por otro lado, en la Carta Ética Europea sobre el uso de la Inteligencia Artificial en los sistemas judiciales y su entorno de 4 de diciembre de 2018, se define como el “conjunto de métodos, teorías y técnicas científicas cuyo objetivo es reproducir, mediante una máquina, las habilidades cognitivas de los seres humanos”^.

Desde las dos definiciones elegidas se puede concluir que, en la determinación de las reglas de generación de los contenidos, predicciones, recomendaciones o decisiones a través de la Inteligencia Artificial, siempre es preciso que participe un ser humano.

Pero, por si no estaba claro, la Propuesta de Reglamento vuelve a insistir en su Exposición de Motivos sobre que uno de sus objetivos, con el fin de evitar la discriminación, es el diseño y la calidad de los datos empleados para desarrollar sistemas de Inteligencia Artificial, para lo cual es esencial el cumplimiento de las obligaciones referentes a la realización de pruebas, la gestión de riesgos, la documentación y la vigilancia humana durante todo el ciclo de vida de tales sistemas automatizados.

De forma que, de nuevo, vuelve a mencionar el control humano como elemento fundamental en este contexto. Esto es, los propios softwares no pueden generar las normas de su propio funcionamiento. No son autosuficientes.

Por otra parte, el Reglamento (UE) 2016/679, del Parlamento Europeo y del Consejo de 27 de abril de 2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos), en su Exposición de Motivos, pone de manifiesto que “la protección de las personas físicas debe ser tecnológicamente neutra y no debe depender de las técnicas utilizadas”; añadiendo en su artículo 22 que “Todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar”.

Lo que significa que las decisiones no pueden ser exclusivamente automatizadas, sino que es precisa la intervención humana y “responsable”, que analice la información procesada y cuente con poder o capacidad de modificarla, tal y como interpreta el Grupo de Trabajo sobre Protección de Datos del art. 29 (GT29) en sus Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679, de 3 de octubre de 2017, revisadas el 8 de febrero de 2018.

La necesidad de intervención humana en la Administración Pública

Desde este contexto y ya en el ámbito nacional, en la misma línea, en el artículo 41 de Ley 40/2015, de 1 de octubre, de Régimen Jurídico del Sector Público, se señala que cuando los actos o actuaciones se realicen íntegramente a través de medios electrónicos por una Administración Pública en el marco de un procedimiento administrativo y en la que no haya intervenido de forma directa un empleado público, será preciso que previamente el control del órgano u órganos competentes para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente.

En el ámbito propio de la Seguridad Social y en el mismo sentido, el artículo 130 del Real Decreto Legislativo 8/2015, de 30 de octubre, por el que se aprueba el texto refundido de la Ley General de la Seguridad Social, regula la tramitación electrónica de procedimientos en materia de Seguridad Social, sentencia que podrán adoptarse y notificarse resoluciones de forma automatizada en los procedimientos de gestión de la protección de naturaleza contributiva, siempre mediante resolución de la persona titular de la Dirección General del Instituto Nacional de la Seguridad Social, del Servicio Público de Empleo Estatal o de la Tesorería General de la Seguridad Social, o de la persona titular de la Dirección del Instituto Social de la Marina, según proceda, estableciendo previamente el procedimiento o procedimientos de que se trate y el órgano u órganos competentes.

Por lo tanto, en idéntico sentido que en la normativa de la Unión Europea, se vuelve a poner de manifiesto que es preciso la supervisión de los programas automatizados por las personas que dirigen las distintas instituciones del sistema de la Seguridad Social.

La eliminación de posibles sesgos

Las ventajas de la Inteligencia Artificial son muchas, sin lugar a duda, no obstante, es importante incluir principios éticos en su desarrollo con el fin de evitar efectos perniciosos de posibles sesgos, que lleven a situaciones discriminatorias.

Y no hay que perder de vista que las discriminaciones algorítmicas son invisibles y, generalmente, inconscientes, por lo que su control debe ser aún más rígido, sin que se pueda dejar al propio algoritmo.

Existen importantes dificultades en este contexto de índole técnico, dado que es preciso incluir en los procesos computacionales elementos que eviten discriminaciones que tienen valor jurídico. Es decir, deben entenderse dos lenguajes que difieren en gran medida. A lo que se añade que hay que manejar conceptos como la discriminación directa o indirecta, o construcciones más complejas como la discriminación interseccional o múltiple, o la discriminación por asociación. La complicación del acercamiento de estos conceptos al ámbito de los algoritmos es preciso, no puede ser de otra manera, que lo haga una persona humana.

Otra cuestión es cómo evitar los sesgos con la participación de una persona humana. Esta cuestión dependerá de su propia ética, de modo que ni siquiera se puede dejar a una sola persona, que dirija todo el proceso, sino que es preciso que alguien supervise el trabajo hecho por la primera.

El especial contexto de la calificación social de las personas a través de la inteligencia artificial

En su Exposición de Motivos, la mencionada Propuesta de Reglamento del Parlamento Europeo y el Consejo por el que se establecen normas armonizadas en materia de Inteligencia Artificial y se modifican determinados actos legislativos de la Unión, recoge la necesidad de garantizar la igualdad de condiciones y la protección efectiva de los derechos y libertades de las personas, poniendo en evidencia que cuando los sistemas de Inteligencia Artificial proporcionan calificaciones sociales de personas físicas para su uso con fines generales por parte de las autoridades públicas, dichas calificaciones pueden tener resultados discriminatorios y de exclusión.

En el mismo sentido mencionado, el artículo 14 de la misma norma regula la vigilancia humana, señalando que su objetivo es la prevención o reducción al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir cuando un sistema de Inteligencia Artificial de alto riesgo se utiliza conforme a su finalidad prevista o cuando se le da un uso indebido razonablemente previsible, en particular cuando dichos riesgos persisten a pesar de aplicar otros requisitos.

Y no es que la norma invite a no utilizar los sistemas de Inteligencia Artificial en estos contextos, sino todo lo contrario, ánima a su uso, pero avisa que existe un alto riesgo de discriminar a personas o grupos y perpetuar patrones históricos de discriminación, o incluso, generar nuevas formas de efectos discriminatorios, dado que las personas físicas que solicitan o reciben ayudas y servicios de autoridades públicas se encuentran en una posición de vulnerabilidad respecto a ellas, dado que generalmente lo que demandan es su medio de subsistencia.

Es por esto que se prohíbe la utilización de sistemas de Inteligencia Artificial por parte de las autoridades públicas para evaluar o clasificar la fiabilidad de personas físicas durante un período determinado de tiempo atendiendo a su conducta social o a características personales o de su personalidad conocidas o predichas. Así, por ejemplo, estaría prohibido su uso en la determinación de las personas beneficiarias de ayudas sociales de rentas mínimas o prestaciones por desempleo desde el análisis de sus conductas previas a los efectos de determinar si van a buscar activamente un empleo o aceptar una ocupación.

No se trata de una prohibición general y taxativa, sino solo cuando se provoque alguna de esas situaciones: un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos enteros en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente; o un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos enteros que es injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de este. Y este será un límite importante en la aplicación de la Inteligencia Artificial al reconocimiento de prestaciones en el ámbito de la Seguridad Social.

En todo caso, es fundamental que los criterios para determinar los algoritmos sean públicos y puedan ser consultados por aquellas personas que son sometidas a los procedimientos de Inteligencia Artificial. Es decir, existe un derecho a la información de las personas afectadas.

Y, además, es fundamental, que la última decisión sobre el derecho a las prestaciones en el ámbito de la Seguridad Social sea establecida por una persona humana a los efectos de respetar el precepto mencionado y garantizar la no discriminación y el análisis de todas las circunstancias de la persona a los efectos del reconocimiento de los derechos.

En esta línea, el Consejo Constitucional francés de 27 de diciembre de 2019, en el análisis de su Ley de presupuestos, que autoriza al Ministerio Fiscal a la recopilación y tratamiento de los datos existentes en las plataformas digitales con la finalidad de evitar la evasión tributaria, declara inconstitucional a partes del precepto por ir más allá de las exigencias del principio de proporcionalidad y del impacto sobre los derechos de defensa de la ciudadanía. Así, se pone de manifiesto la necesidad de que no se puedan iniciar actuaciones sin la correspondiente evaluación de la Administración de la situación concreta de una persona, más allá de la mera actuación del proceso automatizado.

Eva María Blázquez Agudo

Profesora Titular de Derecho del Trabajo y de la Seguridad Social – Vicerrectora de Relaciones Institucionales, Cultura e Igualdad, Universidad Carlos III de Madrid