Acusada de favorecer suicidios de adolescentes, Character.AI anuncia medidas de seguridad
Una demanda presentada el lunes se suma a otra de octubre; ambas acusa a Character.AI, una firma que ofrece chatbots personalizados con los que es posible hablar, de promover el suicidio entre sus usuarios adolescentes
- 3 minutos de lectura'
Character.AI, que fuera una de las nuevas empresas de inteligencia artificial más prometedoras de Silicon Valley, anunció el jueves nuevas medidas de seguridad para proteger a los usuarios adolescentes mientras enfrenta acusaciones de que sus chatbots contribuyeron al suicidio y autolesiones de jóvenes. La empresa con sede en California, fundada por exingenieros de Google, es una de varias empresas que ofrecen chatbots diseñados para brindar conversación, entretenimiento y apoyo emocional a través de interacciones similares a las de los humanos.
En una demanda presentada en octubre en el estado de Florida, una madre afirmó que la plataforma es responsable del suicidio de su hijo de 14 años. El adolescente, Sewell Setzer III, había mantenido una relación íntima con un chatbot basado en el personaje de “Juego de Tronos” Daenerys Targaryen, y mencionó su deseo de suicidarse. Según la denuncia, el robot animó su acto final, respondiendo “por favor, mi dulce rey” cuando dijo que “volvería a casa” antes de quitarse la vida con el arma de su padrastro.
Character.AI “hizo todo lo posible para diseñar la dañina dependencia de Sewell, de 14 años, de sus productos, abusó sexual y emocionalmente de él y, finalmente, no le ofreció ayuda ni notificó a sus padres cuando expresó ideas suicidas”, dice la denuncia.
Nueva demanda en Texas
Otra demanda, presentada en Texas el lunes, involucra a dos familias que alegan que la plataforma expuso a sus hijos a contenido sexual y fomentó autolesiones. Un caso involucró a un adolescente autista de 17 años que supuestamente sufrió una crisis de salud mental después de usar la plataforma. Otra denuncia alega que Character.AI alentó a un adolescente a matar a sus padres por limitar su tiempo frente a la pantalla.
La plataforma, que alberga millones de personajes creados por usuarios que van desde figuras históricas hasta conceptos abstractos, se ha vuelto popular entre usuarios jóvenes que buscan apoyo emocional.
Sus críticos dicen que ha llevado a adolescentes vulnerables a peligrosas dependencias.
Versiones acotadas y controles parentales
En respuesta, Character.AI anunció que había desarrollado un modelo de IA separado para usuarios menores de 18 años, con filtros de contenido más estrictos y respuestas más mesuradas. La plataforma marcará automáticamente el contenido relacionado con el suicidio y dirigirá a los usuarios a la Línea Nacional de Prevención del Suicidio en Estados Unidos.
“Nuestro objetivo es proporcionar un espacio atractivo y seguro para nuestra comunidad”, dijo un portavoz de la empresa.
Character.AI planea igualmente introducir controles parentales desde principios de 2025, lo que permitirá supervisar el uso por parte de los niños de la plataforma. Para los bots que incluyen descripciones como terapeuta o médico, una nota especial advertirá que no reemplazan el asesoramiento profesional. Las nuevas características también incluyen notificaciones de pausas obligatorias y advertencias sobre la naturaleza artificial de las interacciones.
Ambas demandas mencionan a los fundadores de Character.AI y a Google, inversor en la empresa. Los fundadores, Noam Shazeer y Daniel de Freitas Adiwarsana, regresaron a Google en agosto como parte de un acuerdo de licencia de tecnología con Character.AI.
El portavoz de Google, José Castañeda, dijo en un comunicado que Google y Character.AI son empresas completamente separadas y no relacionadas. “La seguridad del usuario es una de nuestras principales preocupaciones, por lo que hemos adoptado un enfoque cauteloso y responsable para desarrollar e implementar nuestros productos de IA, con pruebas rigurosas y procesos de seguridad”, añadió.
Con información de AFP
LA NACIONConforme a los criterios de
Más leídas de Tecnología
Un clásico del futuro. Así sería el histórico Peugeot 504 modelo 2025, según la IA
A nivel mundial. Se cayó WhatsApp durante media hora; también reportan problemas con Instagram
Ver lo que estás viendo. ChatGPT da un paso más para parecerse a la IA de la película "Her"
Cambios en la rutina. Los 5 hábitos que te hacen más productivo en solo una semana, según la IA
Últimas Noticias
Tecnología e IA. Qué es "agéntico", la corriente que comenzarán a seguir las empresas a partir del 2025
En las redes. La increíble foto creada con la IA: juntaron a Lennon y a McCartney en la actualidad
