Cecilia Danesi: “Hay que combatir el machismo en los algoritmos”

Los algoritmos rigen varios aspectos de la vida diaria. Los utilizan las redes sociales y motores de búsqueda para decidir qué mostrarnos o los servicios de streaming para recomendarnos películas acorde a nuestros consumos típicos.

También se emplean en la justicia, para evaluar posibles tasas de reincidencia criminal o en el ámbito laboral a la hora de evaluar el desempeño de los empleados y decidir, por ejemplo, premios o ascensos. Los ejemplos abundan. Y así como la inteligencia artificial (IA) ha comenzado a tamizar cada ámbito de nuestras vidas, han comenzado a surgir una serie de inquietudes al respecto.

Automatizar procesos aporta un sinnúmero de beneficios. La posibilidad de sacar conclusiones a partir del procesamiento de miles de datos (el famoso big data) facilita muchas tareas. Pero el punto está en saber cómo desarrollar estos sistemas automatizados para que sean lo más justos y equitativos posibles. O al menos para evitar que reproduzcan sesgos y refuercen estereotipos. Sobre este tema habló Cecilia Danesi, abogada y docente especialista en inteligencia artificial (IA), géneros y derechos, en una entrevista con LA NACION.

Danesi, que está haciendo un doctorado en las Universidades de Perugia y Salamanca en Inteligencia Artificial y Derecho, es también embajadora del Women Economic Forum, un foro enfocado en la economía de la mujer que se realiza anualmente, y que convoca a líderes y emprendedoras de diferentes partes del mundo.

-Hay varios países que están trabajando en marcos legales para regular los algoritmos y así asegurarse que no reproduzcan sesgos. ¿Cuáles son estos países e iniciativas más avanzadas?

-Sin dudas la iniciativa más avanzada es la propuesta de regulación de la inteligencia artificial de la Unión Europea, llamada Artificial Intelligence Act. Se publicó en abril del año pasado y el tema central de discusión, o el que más preocupa, es el uso de los sistemas de reconocimiento facial en espacios públicos por parte de los gobiernos para hacer cumplir la ley. Hay mucha resistencia por parte de la ciudadanía y asociaciones civiles para que los prohiban. Esta sería la misma tecnología que estaba usando el Gobierno de la Ciudad de Buenos Aires en las calles y el subte para identificar prófugos de la justicia. En un proceso judicial dijeron que no lo estaban usando más porque con el barbijo ya no funcionaba. Por ejemplo en Italia, en base a otro sistema de reconocimiento facial similar que se usaba, el garante de la privacidad, que es la figura que se encarga de que se cumpla el Reglamento General de Protección de datos personales (hay uno nombrado por cada país de Europa) sostuvo que la utilización de estos sistemas no respetan lo que establece el reglamento en materia de protección de los datos personales y además violaría la privacidad de las personas.

-¿Cuál es el punto más destacado de este tipo de propuestas?

-Me parece interesante destacar que todas las iniciativas, principalmente la propuesta de regulación de la Unión Europea, proponen que aquellos sistemas que se consideran de alto riesgo van a tener que cumplir con una serie de requisitos para poder ser puestos en circulación; y con ello ofrecer una mayor seguridad para las y los usuarios. Uno de estos requisitos consiste en evaluar posibles sesgos. La recomendación sobre la ética de la IA de la Unesco habla de la evaluación del impacto ético que busca medir cómo estos sistemas afectan en las personas, la sociedad y el medio ambiente. Además, propone a los estados la idea de incorporar el papel de un funcionario independiente de ética de la IA o algún mecanismo para supervisar las auditorías.

-¿Se está haciendo algo así en la Argentina?

-En la Argentina hubo un plan nacional de inteligencia artificial (IA) del gobierno anterior. Ahora se publicó la Agenda 2030 y se presentó el proyecto de Ley con el Plan Nacional de Ciencia, Tecnología e Innovación 2030, pero ninguno está volcado en IA ni propone la supervisión de algoritmos de alto riesgo.

-¿Los algoritmos pueden discriminar?

-Los algoritmos pueden discriminar y reproducir los mismos sesgos y prejuicios que tenemos los humanos, de raza, género, religión, generacional, etc. Como los algoritmos aprenden de los datos que emana la sociedad, reproducen luego nuestros prejuicios. Acá hay un doble problema. Por un lado, los datos con los que se entrenan los sistemas aprenden y reproducen nuestros prejuicios. Por el otro, los colectivos minoritarios o vulnerables no están representados en los datos y esto se traduce en que su marginalización se intensifica. En el libro de Caroline Criado Pérez, La mujer invisible, ella lo expone con claridad. Dice, por ejemplo, que casi no hay datos de mujeres afroamericanas trabajadoras, entonces al no estar representadas en los datos, los sistemas tienen menor tasa de acierto respecto de ellas. En este sentido, el ejemplo clásico son los sistemas de reconocimiento facial que tienen menor tasa de acierto con las personas afroamericanas. Sobre esto habla la investigadora del MIT Media Lab Joy Buolamwini en el documental Coded bias (Prejuicio cifrado, en español). La especialista además hizo una investigación, llamada Gender shades (tonos de género), donde realizó diferentes pruebas con distintos datasets y tipos de algoritmos para probar si se podía solucionar el sesgo y, aun así, el problema persistía. Esto demuestra que es un problema de fondo que requiere del diálogo interdisciplinario para su solución.

-Es importante saber que esto está ocurriendo para lidiar con los sesgos que puede desarrollar una IA, como por ejemplo, el machismo, ¿verdad?

-Hay que combatir el machismo en los algoritmos porque reproducen estereotipos y agrandan la brecha de género, y a su vez hay que utilizar a IA como una aliada para cerrar esa misma brecha. El problema no es la tecnología, sino cómo la utilizamos.

-¿Es posible, entonces, educar a los algoritmos para que sean menos sesgados?

-Es verdad que cuando entrenamos al algoritmo, de alguna manera lo estamos “educando”. En este sentido, para evitar los sesgos está lo que se conoce como fairness o equidad en machine learning. Y refiere a distintas técnicas propias del programador que lo que tratan de evitar es justamente el sesgo. Por ejemplo, escondiendo atributos sensibles como el género o la raza con distintas técnicas. Después hay un problema general que es que, muchas veces, cuando se entrena un modelo, los programadores se fijan únicamente en el “accuracy” (tasa de precisión o exactitud), un porcentaje que evidencia el éxito del modelo, pero le presta poca atención a evitar sesgos. Y esto es en lo que creo que debemos trabajar: por un lado crear conciencia y luego establecer protocolos o guías de mejores prácticas, para que sea obligatorio que así como buscan una mejor tasa de precisión también se evalúe si está sesgado o no.

-¿Para lograr mayor equidad en la aplicación de algoritmos es necesario elegir mejor los datos o es necesario realizar otro tipo de cambios?

-Lo de los datos es clave, hay muchas técnicas para depurar y mejorar los conjuntos de datos, pero también hay otro tema que, en mi opinión, es central: es la evaluación de impacto y las auditorías algorítmicas, que como ya mencioné están presentes en distintos documentos internacionales. La primera busca evaluar en abstracto como puede afectar el algoritmo los derechos de las personas y se realiza antes de la puesta en circulación del sistema. Una vez en funcionamiento, llega la auditoría algorítmica, que es un examen concreto de todo el funcionamiento del sistemas teniendo en cuenta sus predicciones. Gracias a esto, podés conocer si discrimina, si tiene fallas, etc. Aquí es importante destacar que se deben realizar con cierta periodicidad, porque muchas veces los sesgos pueden ser adquiridos una vez puesto en funcionamiento.

-¿Podés dar algún ejemplo?

-Un ejemplo es Tay, el bot de Microsoft que se volvió xenófobo y racista después de 24 horas de interacciones con usuarios de Twitter. Ahí muy probablemente cuando evaluaron el bot antes de lanzarlo, no daba ese tipo de respuestas, pero las aprendió por la interacción con el entorno. Por eso es importante que los sistemas no solo se evalúen antes sino a posteriori también. El estado de Nueva York, por ejemplo, sacó una disposición que a partir de enero 2023, todos los algoritmos que se utilicen para el reclutamiento de puestos de empleo o para determinar la promoción de una persona, tienen que ser auditados dentro del último año.

-¿En Europa también se han tomado medidas para asegurar mayor equidad en este sentido?

-España viene muy avanzada, sacó una reforma que es la Ley Rider y allí se incluye la obligación de transparencia algorítmica, o sea que los riders (socios conductores o repartidores para apps) pueden pedir una explicación acerca de cómo funciona el algoritmo de la plataforma que utilizan. Esto está vinculado con las obligaciones de transparencia y también con las auditorías algorítmicas, porque para auditar necesitamos conocer. Por su parte, la Digital Services Act (Norma de servicios digitales) de la Unión Europea también exige transparencia a las plataformas digitales y esto incluye a las redes sociales, motores de búsqueda, etc. España también sacó una guía de mejores prácticas para el uso de algoritmos en el ámbito laboral que establece obligaciones de información acerca de qué algoritmos usan y cómo funcionan. Además propone la realización de evaluaciones de impacto y auditorías algorítmicas. Lo bueno de todo esto es que se fundan en leyes que ya están vigentes: la Protección General de Datos Personales (GDPR, por sus siglas en inglés) y la Ley Rider que te comentaba antes. Entonces es una herramienta valiosa porque te dice que vos, como trabajador o sindicato, podés exigir saber qué algoritmo usan y cómo funciona basado en leyes ya vigentes, que eso también se podría hacer en Argentina y es en lo que estoy trabajando.

-¿Cómo sería esto último?

-Estoy en el proceso de creación de una fundación, Tecnetica, con la que busco reivindicar la identidad iberoamericana en el desarrollo de la IA. Planeo trabajar con expertos de IA en diferentes países de la región para tomar iniciativas que ayuden a avanzar en este sentido. Los ejes centrales serán el humanismo tecnológico y el respeto de los Derechos humanos en el desarrollo de la tecnología.

-En el Women Economic Forum (WEF), del que sos parte, se ha logrado algún avance o acuerdo en relación con la ética algorítmica? Sobre la necesidad de que se desarrolle una IA más inclusiva?

-En el marco del WEF las temáticas vinculadas a innovación e inteligencia artificial con perspectiva de género son una prioridad en la agenda. En el evento del 17 y 18 de octubre en el Palacio San Martín, se hizo un panel dedicado a IA y Género en el cual tuve el honor de exponer. En la misión comercial en Italia, hicimos una Jornada académica, en la casa argentina en Roma. La Dra. Lina Anllo, directora general de la Women Economic Forum Argentina, disertó sobre Los Programas de Compliance en Argentina. Una visión internacional. La integridad con perspectiva de género; la Dra. Lucia Bellochio, directora de Trend Smart Cities, abordó Ciudades inteligentemente sostenibles a través de la perspectiva de género y yo, sobre La inteligencia artificial con perspectiva de género en Europa y Latinoamérica. Esta charla fue un camino de diálogo y cooperación que se abrió con Italia sobre estas temáticas. Tanto la embajada argentina en Roma y el consulado en Milán están muy interesados en las cuestiones de género y tecnología. La idea es seguir haciendo encuentros académicos.

-¿Qué más habría que hacer para lograr algoritmos menos sesgados?

-Otro punto importante es la inclusión de más mujeres en las carreras STEM. Según datos del World Economic Forum, el porcentaje de mujeres graduadas en Tecnologías de la Información y la Comunicación es del 1,7% comparado con el 8,2% de hombres graduados en esas disciplinas. En Ingeniería las cifras son del 24,6% para los hombres y el 6,6% para las mujeres.

-¿Qué tipo de profesionales se requieren para lograr una IA más justa y ética? A veces los expertos en IA dicen que se están requiriendo cada vez más especialistas en filosofía, sociología y disciplinas sociales para abordar estás temáticas. ¿Es así?

-Es importante incluir también profesionales del derecho y esto lo menciono en el libro El imperio de los algoritmos (editorial Galerna) que escribí y se publica en octubre. En el último capítulo justamente hablo sobre cómo hacer para evitar los sesgos algorítmicos. Incluyo el derecho porque ya tenemos una nómina de derechos humanos que están vigentes y operativos, y que tenemos que respetar. A veces cuando los algoritmos discriminan muchos se amparan diciendo: “pero no hay una ley que prohíba esto”, pero en realidad sí existe, porque están los derechos humanos, que tienen el rango mayor y su violación, como por ejemplo la discriminación por cuestiones de género, tiene consecuencias. Los lingüistas también tienen un rol muy grande; por ejemplo en materia procesamiento de lenguaje natural. Como es tan amplio el ámbito en el que repercute la IA, son varias las disciplinas que tienen que intervenir para combatir los sesgos algorítmicos.

Conforme a los criterios de

Conocé más

Con la inteligencia artificial ya no alcanza. Doce tendencias tecnológicas para 2025, el comienzo de la era de la convergencia

OpenAI o3. ChatGPT tiene nuevo motor, y está más cerca que nunca de ser capaz de razonar de verdad

Decálogo. Los mejores deportes para el bienestar mental, según la IA