Caja negra: la inteligencia artificial todavía no puede razonar sus logros

Hace aproximadamente un año, una pequeña compañía estadounidense del ámbito médico, Geisenger, publicó unos resultados sorprendentes sobre la aplicación de una inteligencia artificial (IA) para estimar el riesgo de muerte a corto plazo de pacientes con ciertas patologías cardíacas, a partir de su electrocardiograma.

Para ello entrenaron a una red neuronal con casi dos millones de electrocardiogramas de casi 400.000 personas. Al final esta IA, basada en una técnica conocida como “aprendizaje profundo”, obtuvo unos resultados mejores que los de los cardiólogos. Los médicos, además, no fueron capaces de encontrar con posterioridad ningún patrón o señal de riesgo en aquellos electrocardiogramas que la máquina había identificado correctamente donde ellos habían fallado.

La IA había encontrado algo en la señal electrocardiográfica que los expertos humanos no eran capaces de detectar. El problema es que la IA solo fue diseñada para obtener la mejor respuesta posible, pero no para dar una razón de la misma. Es lo que en el campo se llama como “caja negra” por su falta de transparencia y, por tanto, de capacidad para conocer y dar una explicación de sus resultados.

Las IA explicables están dotadas con la capacidad de explicar su funcionamiento. Son capaces de comunicar sus resultados y el proceso de razonamiento que han seguido para obtenerlos, de un modo en que a las personas nos resulte sencillo entenderlo. Hay dos aproximaciones principales para diseñar máquinas así.

Por un lado, podemos concebirlas como cajas blancas (transparentes o semitransparentes). Por ejemplo, aquellas que se basan en representaciones computacionalmente tratables del conocimiento humano. Los conocidos como “sistemas expertos”. Sin embargo, esta aproximación no es posible o deseable en muchas ocasiones, ya sea por dificultades de diseño o por prestaciones insuficientes.

Abramos las cajas negras

Otra aproximación consiste en abrir y ver el interior de esas cajas negras. Este es el caso de las IA basadas en aprendizaje profundo o, en general, en redes de neuronas artificiales. Estas usan arquitecturas de aprendizaje formadas por modelos matemáticos muy simples de neuronas. Estas, en un número de miles o decenas de miles, y profusamente interconectadas –en general en capas, como una lasaña–, suponen en total cientos de miles o incluso millones de conexiones. Estas conexiones se asocian a valores, denominados “pesos”, que resultan fundamentales en el proceso de obtención de una respuesta a cada entrada aplicada a la red neuronal.

Esta respuesta puede corresponderse, según el caso, con un diagnóstico, con la identificación de un objeto sobre una imagen o con la traducción al español de una frase en inglés. La adecuada selección de estos pesos se realiza durante el entrenamiento de la red sobre conjuntos de datos de entrenamiento. El proceso suele ser muy exigente en cuanto al número y la representatividad de los ejemplos sobre los que aprender, así como los recursos computacionales que se requieren para ello.

La capacidad de aprender de este tipo de redes es enorme, pero lo que aprenden queda distribuido, sin relación aparente entre sí, en un sinfín de parámetros o pesos. Por eso podemos ignorar en qué se basa una de estas IA para detectar una neumonía incipiente o un nódulo potencialmente cancerígeno sobre una radiografía de tórax. Exagerando, sería como intentar encontrar una explicación sobre cómo un radiólogo llega a la misma conclusión a partir de una resonancia magnética funcional de su cerebro.

Por muy capaces que sean las máquinas para darnos respuestas, si estas nos afectan significativamente necesitamos que, además de ser buenas, sean entendibles. De otro modo no confiaremos en ellas. Se trata de un tema que está cada vez más presente en el marco legislativo de los países. De hecho, el nuevo Reglamento General Europeo de Protección de Datos otorga el derecho a una explicación de las decisiones que afectan a las personas, sin importar quién (o qué máquina) tome esas decisiones. Además de las cuestiones técnicas y jurídicas, también hay que tener en cuenta las cuestiones éticas, como se destaca en las directrices para una IA digna de confianza publicadas por la Comisión Europea.

El CiTIUS (Universidad de Santiago de Compostela) está comprometido con la formación en IA explicable desde la escuela básica hasta la universidad y coordina la primera red europea de formación de investigadores en esta temática. Se trata de la red NL4XAI, acrónimo del proyecto titulado “Tecnologías de Lenguaje Natural para la Inteligencia Artificial Explicable”.

Esta red tiene como principal objetivo la formación de investigadores expertos en IA explicable. En ella participan 18 socios, entre universidades y empresas, de 6 países, que colaboran en la formación de 11 doctores. Un objetivo común será utilizar tecnologías del lenguaje natural para construir agentes de conversación capaces de explicarse interactuando con las personas. Además, estos agentes podrán manejar información verbal y no verbal, proporcionando a sus usuarios explicaciones multimodales (es decir, mezclando explicaciones visuales y textuales o narrativas).

Nos gustaría que una IA pudiese explicar, como lo hace un juez o una jueza, los fundamentos de una sentencia. También que nos pudiese explicar cómo logra reconocer al acusado a pesar de haberse dejado barba desde la última vista, algo que las personas, aunque seamos capaces de hacerlo, tampoco podemos explicar cómo, pero de esto hablaremos otro día.

Senén Barro Ameneiro, director del Centro Singular de Investigación en Tecnologías Inteligentes de la Universidad de Santiago de Compostela, y José María Alonso Moral, Investigador Ramón y Cajal en el grupo de Sistemas Inteligentes, Universidad de Santiago de Compostela

Este artículo se republica de The Conversation bajo licencia CC

Conforme a los criterios de

Conocé más

“Es surrealista”. La profecía de Bill Gates que podría cumplirse más pronto de lo que se piensa

"Torso humano". Cómo una imagen de Google Street View fue clave para esclarecer un crimen en España

Nuevo ranking. Cuáles son las cuatro ciudades de California que figuran entre las mejores del mundo para 2025