Los retos jurídicos de la inteligencia artificial a través de seis casos reales

La inteligencia artificial (IA) está cada día más presente en todos los sectores de nuestra sociedad, tanto que ha llegado incluso a ser calificada como “la nueva electricidad”.

Los sistemas inteligentes tienen ya la capacidad de analizar su entorno y actuar de forma de autónoma, demostrando en ocasiones ser más eficaces que los humanos. Esto entraña de por sí importantes riesgos desde un punto de vista tecnológico, pero también jurídico. Veamos algunos de ellos:

1. Los datos

El riesgo más importante al que se enfrenta el uso de la inteligencia artificial tiene relación con la gran cantidad de datos que utiliza, puesto que disponer de un buen dataset o conjunto de datos es el primer paso de esta tecnología. Esto plantea dos retos a nivel jurídico:

• Por una parte, el relativo al origen y la recogida de los datos, que genera conflictos con el derecho a la protección de datos.
• Por otra, el hecho de que el dataset es absolutamente dependiente de la calidad y cantidad de los datos. Si estos no son correctos o contienen sesgos, los resultados que aporte la inteligencia artificial serán erróneos.

De estos dos problemas, el segundo es el que ha cobrado mayor relevancia, pues en la actualidad existen multitud de empresas dedicadas a la elaboración y venta de conjuntos de datos para la creación de aplicaciones de inteligencia artificial.

La existencia de sesgos resulta muy preocupante, sobre todo en lo que respecta a los algoritmos predictivos.

En el caso Wisconsin vs. Loomis, se demostró la existencia de un sesgo por razón del origen racial de las personas en Compass, un algoritmo predictivo de aprendizaje automático o machine learning adoptado por la Administración de Justicia de Estados Unidos para determinar el riesgo de reincidencia del individuo en diferentes etapas del proceso penal. Este daba siempre como resultado un porcentaje de reincidencia más elevado en las personas de raza negra.

Otro precedente de discriminación laboral por cuestión de género es el relativo a la utilización de un algoritmo de aprendizaje profundo o deep learning por parte de Amazon en los procesos de selección de personal. En este caso, el algoritmo detectó que el porcentaje de mujeres que habían llegado a la fase final de entrevista en los procesos de contratación de la empresa era muy escaso, motivo por el cual comenzó a rechazar sistemáticamente los currículum presentados por estas.

2. Las decisiones

El segundo aspecto fundamental de algunas aplicaciones de inteligencia artificial y uno de sus principales riesgos es la opacidad de sus decisiones.

En algunos casos no podemos comprender de qué modo funciona el algoritmo (trazabilidad) y/o por qué ha tomado una decisión (explicabilidad). Es lo que se conoce como el efecto caja negra. Este es un problema de gran calado no solo a nivel técnico, sino también jurídico, si se tiene en cuenta que desconocer estos datos puede conducir a vulneraciones ocultas e insospechadas de derechos fundamentales.

Una sentencia del Tribunal Ordinario de Bolonia (Italia) de 31 de diciembre de 2020 declaró ilegal el algoritmo Frank incorporado en el sistema de reserva de Deliveroo porque provocaba discriminaciones entre los repartidores (conocidos como riders). La resolución explica que el fallo judicial se basa también en la imposibilidad de determinar los criterios específicos de cálculo para las estadísticas que el algoritmo realiza.

Igualmente, la sentencia del 5 de febrero de 2020 de la Corte de Distrito de la Haya (Países Bajos) declaró ilegal el algoritmo SyRI (Sistema de Indicación de Riesgos), utilizado por parte del Gobierno de los Países Bajos para combatir el fraude a la Seguridad Social. Ello con base en una invasión desproporcionada y discriminatoria de la privacidad, pero también porque no resultaba posible verificar cómo estaba diseñado el árbol de decisión que utilizaba el algoritmo y en qué pasos consistía.

3. El funcionamiento

Otro de los problemas que surge con el uso de la inteligencia artificial tiene que ver con los fallos o errores que comete. En no pocos casos, estos errores ocasionarán daños personales o materiales que deberán ser reparados y de los que deberá derivarse la correspondiente responsabilidad, ya sea civil o penal.

Tristemente, debe recordarse el caso de los Boeing 737 Max, un modelo de avión que, tras su puesta en circulación en el espacio aéreo a finales 2018, tuvo dos accidentes debidos a errores no descubiertos de diseño que costaron la vida a 346 personas.

Los fallos, además, pueden ser provocados por un tercero, un ciberdelincuente. Los sistemas de inteligencia artificial son extremadamente vulnerables a los ciberataques y esto puede conducir a fatales consecuencias.

Así, en 2020 una paciente que necesitaba cuidados intensivos en Alemania hubo de ser trasladada cuando los sistemas del hospital en el que se encontraba dejaron de funcionar a causa de un ataque ransomware, falleciendo durante el traslado.

4. La relación entre la tecnología y lo humano

Aparte del funcionamiento gradualmente autónomo de la inteligencia artificial, lo cierto es que a día de hoy resulta imposible desprenderse del factor humano. Tres son los aspectos más preocupantes en este escenario:

• quién debe tener la última palabra en caso de discrepancia entre la máquina y el humano;
• qué grado de responsabilidad debe tener el humano en caso de fallo del sistema de inteligencia artificial;
• y, finalmente, no debe soslayarse que la inteligencia artificial en sí misma no debe utilizarse únicamente como medio para incrementar la productividad, sino también para mejorar las condiciones laborales de los trabajadores.

Todos estos son solo algunos ejemplos de hacia dónde debe dirigir la mirada el derecho cuando se trata de juzgar a una inteligencia artificial. Los problemas a los que se enfrenta actualmente dejan además entrever las importantes necesidades normativas que existen con relación a esta materia.

Es necesario garantizar que la traslación de los resultados de las investigaciones técnicas de inteligencia artificial a la realidad social y empresarial se produzca en un marco jurídico adecuado. Un marco que permita arbitrar un entorno seguro y libre de amenazas indeseadas para los usuarios de los productos y servicios derivados de la inteligencia artificial, de modo que, a su vez, se genere un clima de confianza y de aceptación social de estas tecnologías.

Como indica la Comunicación sobre Inteligencia Artificial de la Comisión de la Unión Europea: “Poner la inteligencia artificial al servicio del progreso humano exige dar solución a los problemas jurídicos que plantea, porque estas soluciones determinarán el tipo de sociedad y de desarrollo tecnológico del futuro”.

María Isabel Montserrat Sánchez-Escribano es Profesora contratada doctora de Derecho Penal, Universitat de les Illes Balears

Este texto se republica de The Conversation bajo licencia Creative Commons

Conforme a los criterios de

Conocé más

Sin caja negra. Así es la IA experimental de Google que puede mostrar cómo razona

“Educar es un acto de valentía”. Los desafíos que enfrentan los chicos y los docentes cuando la IA entra al aula

Pensar, sentir, descansar. Sigue el debate sobre la conciencia de la inteligencia