Su hijo de 14 años se enamoró de una IA y se suicidó; ahora su madre demanda a la empresa creadora, Character.AI
Sewell Setzer tenía 14 años, se enamoró de un chatbot que había creado, y se suicidó; la madre, Megan García, demandó a la compañía detrás de esa inteligencia artificial, Character.AI
- 3 minutos de lectura'
Una madre de Florida (EE.UU.) demandó a la startup de chatbots de inteligencia artificial Character.AI acusándola de causar el suicidio de su hijo de 14 años en febrero, diciendo que se volvió adicto al servicio de la compañía y se apegó profundamente a un chatbot que creó. Character.AI permite crear chatbots a medida, con contenidos personalizados, y charlar con ellos como si se tratara de una persona; el argentino David Burchkardt usa esta herramienta para poder seguir conversando con su hijo y su padre después de que ambos murieron.
En una demanda presentada el miércoles en el tribunal federal de Orlando, Florida, Megan García dijo que Character.AI atrapó a su hijo, Sewell Setzer, con “experiencias antropomórficas, hipersexualizadas y aterradoramente realistas”. Ella dijo que la compañía programó su chatbot de tal manera que “se hace pasar por un terapeuta autorizado, fomenta activamente ideas suicidas y participa en conversaciones altamente sexualizadas que constituirían abuso si las iniciara un adulto humano”, según la demanda, lo que finalmente resultó en el deseo de Sewell de ya no vivir fuera” del mundo creado por el servicio.
La demanda también dice que él expresó pensamientos de suicidio al chatbot, los cuales el chatbot volvió a mencionar repetidamente.
“Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia”, dijo Character.AI en un comunicado.
Además, agregaron que había introducido nuevas características de seguridad, incluyendo ventanas emergentes que dirigen a los usuarios a la Línea Nacional de Prevención del Suicidio en EE.UU. si expresan pensamientos de autolesión, y que harían cambios para “reducir la probabilidad de encontrar contenido sensible o sugerente” para usuarios menores de 18 años.
La demanda también apunta a Alphabet. Google, donde trabajaron los fundadores de Character.AI antes de lanzar su producto. Google volvió a contratar a los fundadores en agosto como parte de un acuerdo que le otorga una licencia no exclusiva para la tecnología de Character.AI.
García dijo que Google había contribuido al desarrollo de la tecnología de Character.AI de manera tan extensa que podría considerarse un “cocreador”.
Un portavoz de Google dijo que la compañía no participó en el desarrollo de los productos de Character.AI.
Character.AI permite a los usuarios crear personajes en su plataforma que responden a los chats en línea de una manera que imita a la de las personas reales. Se basa en la llamada tecnología de modelos extensos de lenguaje, también utilizada por servicios como ChatGPT, que “entrena” a los chatbots con grandes volúmenes de contenido.
Con información de Reuters
LA NACION
Conforme a los criterios de
Más leídas de Tecnología
