Inteligencia artificial y discriminación

22 minutos 1 marzo, 2023

Inteligencia artificial y discriminación: los sesgos y su prevención

La Ley integral para la igualdad de trato y no discriminación (Ley 15/2022, de 12 de julio) ha actualizado las causas de discriminación en nuestro sistema jurídico. Tomando como referencia el art. 14 de la Constitución y, junto a los seis motivos de discriminación recogidos en la normativa comunitaria (sexo, origen racial o étnico, discapacidad, edad, religión o creencias y orientación sexual), incorpora expresamente los de enfermedad o condición de salud, estado serológico y/o predisposición genética a sufrir patologías y trastornos, identidad sexual, expresión de género, lengua y situación socioeconómica o cualquier otra condición o circunstancia personal o social (art. 2.1).

Como reza su Preámbulo, con el fin de garantizar la tutela del derecho a la igualdad de trato y no discriminación, se establecen una serie de procedimientos cuya efectividad permite la tutela y reparación en su integridad de este derecho, mediante el establecimiento de un régimen de infracciones y sanciones –existente ya en el ámbito laboral y con relación a la discapacidad-, que permite una compensación real a las víctimas de discriminación.

La Ley persigue un doble objetivo: prevenir y erradicar cualquier forma de discriminación y proteger a las víctimas, intentando combinar el enfoque preventivo y reparador, que tiene también un sentido formativo y de prevención general.

Medidas de protección y acción ante la discriminación

Se recogen como medidas de protección y pretensiones posibles de la acción, la declaración de nulidad, el cese, la reparación, la prevención, la indemnización por daños materiales y morales, así como disposiciones relativas a la tutela judicial y actuación administrativa contra la discriminación, reconociendo en ambos ámbitos respectivamente, una legitimación colectiva a una serie de entidades y organizaciones que tengan entre sus fines la defensa y protección de los derechos humanos.

Asimismo, se contempla la necesidad de elaborar una Estrategia Estatal para la Igualdad de Trato y no Discriminación, como instrumento principal que permitirá planificar toda la actividad del Estado en la materia y la creación de la Autoridad Independiente para la Igualdad de Trato y la No Discriminación que proteja frente a la discriminación y promueva el cumplimiento del derecho antidiscriminatorio.

Ley de Igualdad

La Ley de Igualdad es una ley de garantías, una ley general y una ley integral. Este carácter integral se manifiesta en los ámbitos de la vida política, económica, cultural y social a los que se aplica la ley; a saber, el empleo, la educación, la sanidad, servicios sociales, el acceso a bienes y servicios, incluida la vivienda, la participación social o política y la publicidad y medios de comunicación, estableciendo un conjunto de obligaciones que vinculan incondicionadamente a todas las administraciones públicas y en la forma que la propia Ley establece en el caso de las relaciones entre particulares. En relación al empleo, se precisa, empleo por cuenta ajena y por cuenta propia, que comprende el acceso, las condiciones de trabajo, incluidas las retributivas y las de despido, la promoción profesional y la formación para el empleo.

Hoy, la dificultad de la lucha contra la discriminación se encuentra en la protección real y efectiva de las víctimas ante las discriminaciones que existen y existirán pues los desafíos de la igualdad cambian con la sociedad y lo seguirán haciendo en el futuro. Aquí, el impacto del desarrollo tecnológico en los derechos fundamentales se concreta en una ampliación de las posibilidades tradicionales de vulneración de derechos y, además, en nuevas vías con fuerte impacto en algunos derechos, singularmente, intimidad, dignidad, protección de datos y no discriminación.

En este contexto, junto a las garantías generales, el Título V de la Ley incluye preceptos dedicados a la información, atención integral y apoyo a las víctimas de discriminación e intolerancia (incluyendo asesoramiento, asistencia y medidas sociales), con especial atención a los casos en los que se hayan empleado redes sociales o nuevas tecnologías para realizar las agresiones. Asimismo, se recoge la preocupación por el riesgo de que las redes informáticas y la información electrónica sean utilizadas para la comisión de delitos discriminatorios, por lo que se facilita la adopción judicial de medidas cautelares que permitan el cese inmediato y definitivo de la difusión de comportamientos discriminatorios, contrarios a la igualdad y a la dignidad de las personas.

Igualdad de trato y no discriminación

La Ley aborda también en el art. 23 la igualdad de trato y no discriminación en el ámbito de la inteligencia artificial y mecanismos de toma de decisión automatizados. En el marco de la Estrategia Nacional de Inteligencia Artificial, de la Carta de Derechos Digitales y de las iniciativas europeas en torno a la inteligencia artificial, las administraciones públicas favorecerán la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones públicas tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente. En estos mecanismos se incluirán su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio. Para lograr este fin, se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio.

Asimismo, las administraciones públicas, en el marco de sus competencias en el ámbito de los algoritmos involucrados en procesos de toma de decisiones, priorizarán la transparencia en el diseño y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos. En definitiva, las administraciones públicas y las empresas promoverán el uso de una inteligencia artificial ética, confiable y respetuosa con los derechos fundamentales, siguiendo especialmente las recomendaciones de la Unión Europea en este sentido. Además, se promoverá un sello de calidad de los algoritmos.

Cuestiones a tener en mente

¿Qué supone ese uso ético, confiable y respetuoso con los derechos fundamentales al que están llamados sujetos públicos y privados en línea con las recomendaciones de la Unión Europea? O, dicho de otro modo, frente a la idea de objetividad matemática que parecería presidir los procesos de toma de decisiones en los que intervienen algoritmos e inteligencia artificial (al eliminar la intuición), la realidad demuestra que los sesgos existen provocando lesiones al derecho a la no discriminación y también al derecho de protección de datos y frente a ello han de arbitrarse garantías en línea con las directrices comunitarias (ética y fiabilidad).

En efecto, los sistemas de inteligencia artificial no solo no cumplen su promesa de ofrecer modelos matemáticos objetivos y libres de sesgos, sino que reproducen las discriminaciones existentes y las magnifican. Puede haber sesgos en los datos de entrenamiento cuando no existe igual representación de todos los grupos y el dominante se toma como estándar de referencia, en las variables proxy utilizadas o en el impacto diverso de la toma de decisiones del algoritmo en determinados grupos.

Tales reflexiones ya se incluirían en una entrada anterior (La igualdad y la máquina: el algoritmo hace más débil al que ya lo es) y ahora avanzaremos en la necesidad de prevenir aquellos sesgos con las incipientes garantías que ya recogía la normativa de protección de datos y contempla ahora la Propuesta de Reglamento de Inteligencia artificial (última versión 3.11.2022).

Como expresa la Comisión europea, el enfoque de la UE con respecto a la inteligencia artificial se centra en la excelencia y la confianza, con el objetivo de impulsar la investigación y la capacidad industrial, garantizando al mismo tiempo la seguridad y los derechos fundamentales. En abril de 2021, la UE presentó su paquete de inteligencia artificial que incluiría, junto a la Propuesta de Reglamento, la Comunicación sobre el fomento de un enfoque europeo de la inteligencia artificial y la actualización del Plan coordinado sobre inteligencia artificial.

El marco normativo comunitario se completará con la Directiva sobre responsabilidad por inteligencia artificial (Propuesta presentada el 28.9.2022).

¿A qué alude la Ley Nacional de Igualdad?

La Ley nacional de igualdad alude, como acabamos de indicar, a minimización de sesgos, transparencia y rendición de cuentas, siempre que sea técnicamente posible. También diseño y datos de entrenamiento con valoración del potencial impacto discriminatorio promoviendo a tal fin la realización evaluaciones de impacto que determinen el posible sesgo discriminatorio.

Tales exigencias han de conectarse también con el art. 22 RPGD – el algoritmo y la inteligencia artificial se nutren de datos- que establece la prohibición general de decisiones íntegramente automatizadas con efectos jurídicos -o que pueda afectar significativamente de un modo similar-, incluida la elaboración de perfiles, salvo excepciones. Entre ellas, cuando sea necesario para la celebración de un contrato, lo cual incluye el contrato de trabajo (y siempre que se cumpla el requisito de necesidad).

En las Guidelines on Automated individual decisión-making and Profiling for the purposes of Regulation 2016/679 , el Grupo de Trabajo del art. 29 (hoy Comité europeo de protección de datos) entiende que una decisión tiene efectos jurídicos cuando afecta a la situación legal de una persona o a sus derechos y tiene efectos similarmente significantes cuando esa decisión: a) impacta en las circunstancias, comportamiento y opciones de las personas, b) puede tener un efecto permanente o prolongado o c) genere exclusión o discriminación. Aquí, el responsable del tratamiento, asume la obligación de adoptar las medidas adecuadas para garantizar los derechos de los interesados lo que incluye una intervención humana, junto a la posibilidad de expresar el punto de vista e impugnar la decisión (art. 22.3 RGPD).

Este derecho de información e impugnación parece aplicarse solo a las decisiones automatizadas sin intervención humana, excluyéndose a las semiautomatizadas. Ahora bien, derecho de información de los art. 13.2. f], 14.2.g] y 15.1 RGPD se predica de la elaboración de perfiles, en general y ello incluye el derecho a obtener información sobre la existencia de decisión automatizada, la lógica involucrada en la decisión y las consecuencias que pueden derivarse para la persona interesada. Esto es, el derecho a obtener información sobre las variables o parámetros utilizados por el algoritmo pero no el derecho a acceder al código fuente. Además, el art. 64.4. d) ET (modificación operada por el RD Ley 9/2021, de 11 de mayo) recoge ahora un importante derecho de información colectiva de la representación legal de los trabajadores. Tendrá esta derecho a ser informada por la empresa de los parámetros, reglas e instrucciones en las que se basan los algoritmos o sistemas de inteligencia artificial que afectan a la toma de decisiones que pueden incidir en las condiciones de trabajo, el acceso y mantenimiento de empleo, incluida la elaboración de perfiles. Esta garantía colectiva se extiende a toda gestión algorítmica del trabajo y aun cuando haya intervención humana.

Junto a ello, el art. 35 RGPD establece la obligación de la empresa de realizar una evaluación de impacto cuando lleve a cabo un tratamiento de datos mediante el uso de nuevas tecnologías que por su naturaleza, alcance, contexto o fines, entrañe un alto riesgo para los derechos y libertades de las personas físicas y después identifica la adopción de decisiones automatizadas, incluida la elaboración de perfiles, con efectos jurídicos o similarmente significativos, como un tratamiento de alto riesgo para los derechos y libertades de las personas que requiere de aquella evaluación de impacto previa. Sería este un ejemplo de responsabilidad proactiva (preventiva) en línea con las afirmaciones de la AEPD en relación a las estrategias de transparencia, gestión del riesgos y mecanismos de auditoría y certificación que posibiliten el cumplimiento de las obligaciones del RGPD y mejoren la confianza en los productos y servicios de inteligencia artificial.

Alto riesgo

En esta línea, la Propuesta de Reglamento califica de alto riesgo a los sistemas que afecten al empleo, gestión de trabajadores o acceso al autoempleo, incluyendo aquellos para la contratación y selección de personas, decisiones de promoción, retribución, asignación de tareas y evaluación del rendimiento y conducta de las personas trabajadoras. Todos estos sistemas, antes de ser comercializados, deberán seguir procedimientos adecuados de evaluación y mitigación de riesgos y tener garantías de alta calidad de los datos empleados que alimentan el sistema para minimizar los riesgos y resultados discriminatorios.

Aquí será clave que las bases de datos de entrenamiento, validación y prueba sean relevantes, representativas, libres de errores y completas, con las características estadísticas apropiadas referentes a las personas o grupos respecto de los cuales se utilizará el sistema de inteligencia artificial de alto riesgo. Los conjuntos de datos podrán reunir estas características individualmente o para una combinación de estos (art. 10.3).

Se aboga, por ejemplo, por configurar bases de datos desagregadas por sexo e identidades de género, origen racial, edad, etc… para garantizar que todos los grupos estén igual representados o se propone entrenar a los algoritmos para que eliminen los sesgos de género presentes en los datos (GINÉS I FABRELLAS).

La Propuesta de Reglamento establece también para estos sistemas, la obligación de adoptar un modelo de gestión del riesgo que analice y documente de forma periódica y previa a su introducción en el mercado, el funcionamiento del sistema para identificar, analizar y evaluar los posibles riesgos del mismo y las medidas para mitigarlos (art. 9 y Anexo III en relación a su art. 6). Asimismo, en estos sistemas de inteligencia artificial de alto riesgo habrá de proporcionarse información clara y adecuada a los usuarios. A ello se une la obligación de los Estados miembros de establecer mecanismos de supervisión y de sanción y designar una o varias autoridades nacionales competentes para supervisar la aplicación y ejecución y llevar a cabo tareas de vigilancia del mercado.

Garantías

En base a todo lo expuesto y con el régimen normativo que tenemos y el que está por venir, en el ámbito laboral y dada la vulnerabilidad de derechos expuestos a la inteligencia artificial y a los algoritmos (alto riesgo), habría de avanzarse en las siguientes garantías: auditorías algorítmicas por sujetos externos que incluyan evaluaciones de impacto (inicial y repetida en el tiempo, certificación) en base a las causas de discriminación, transparencia, explicabilidad e información sobre parámetros y variables del algoritmos en todos los supuestos –lógica aplicada-, supervisión humana (humano al mando) para prevenir o minimizar riesgos, rendición de cuentas y posibilidad de reclamar e impugnar en todo procesos de toma de decisiones que aplique sistemas de inteligencia artificial en el empleo (yendo más allá del limitado art. 22 RGPD). Las garantías colectivas de protección podrían ampliar o concretar este marco.

De momento, tímidos avances en este sentido. El XXIV Convenio colectivo del sector de la banca alude a la necesaria implantación cuidadosa de la tecnología cuando se aplica en el ámbito de las personas y el derecho a la no discriminación en relación con las decisiones y procesos, cuando ambos estén basados únicamente en algoritmos pudiendo solicitar, en estos supuestos, el concurso e intervención de las personas designadas a tal efecto por la empresa, en caso de discrepancia.

Conclusión

Es indudable que la construcción del referido marco de garantías de la inteligencia artificial ética, confiable y respetuosa con los derechos humanos es un gran reto para el derecho, pero también contamos hoy con un marco normativo reforzado y una construcción doctrinal y judicial que no teníamos hace años (a nivel interno y comunitario).

El derecho antidiscriminatorio, la normativa de protección de datos y el marco normativo de la inteligencia artificial han de caminar en la misma dirección para construir aquel sistema de garantías abordando distintos aspectos que se complementen entre sí en base a los mismos principios (transparencia, explicabilidad-información, humanización, minimización en la afectación de derechos, prevención y reparación) En definitiva, seguir avanzando en la adaptación de la tecnología a las personas.