1
Cómo se prepara China ante el riesgo de que la IA escape al control humano
Mientras compite con Estados Unidos por el liderazgo tecnológico, Pekín avanza con regulaciones para prevenir que sistemas de inteligencia artificial cada vez más autónomos escapen a la supervisión humana y representen riesgos para la seguridad
6 minutos de lectura'
PEKÍN.- Las advertencias de investigadores de Anthropic, una de las principales empresas estadounidenses de inteligencia artificial, acerca de que los modelos cada vez más avanzados podrían escapar al control humano e incluso provocar la extinción de la especie han despertado atención en China, donde las autoridades llevan tiempo preparándose para afrontar algunos de esos mismos riesgos.
Estados Unidos y China son los dos principales motores tanto del desarrollo de la IA de vanguardia como de su adopción global. Ambas superpotencias mantienen crecientes tensiones en torno a sus políticas y prácticas industriales vinculadas con esta tecnología, una cuestión que ocupará un lugar destacado en las conversaciones bilaterales previstas para finales de este mes.
A pesar de la carrera por desarrollar sistemas de IA cada vez más potentes, los marcos regulatorios y las declaraciones oficiales de Pekín ponen de manifiesto que las autoridades chinas consideran suficientemente seria la posibilidad de que una inteligencia artificial avanzada escape a la supervisión humana efectiva como para diseñar medidas preventivas.
China ve riesgos en los modelos cerrados más avanzados de EE.UU.
El ministro chino de Seguridad del Estado, Chen Yixin, escribió este domingo en un medio oficial que modelos avanzados estadounidenses como Mythos, de Anthropic, y GPT-5.5-Cyber, de OpenAI, podrían representar riesgos significativos para la infraestructura crítica de información de China. Por ello, llamó a reforzar de manera integral la seguridad relacionada con la inteligencia artificial.
Ni Anthropic ni OpenAI respondieron de inmediato a las solicitudes de comentarios de Reuters.
Los desarrolladores chinos de IA han promovido modelos de pesos abiertos (open-weight) argumentando, entre otras razones, que los equipos de ciberseguridad pueden inspeccionarlos, modificarlos y desplegarlos con fines defensivos.
La plataforma de repositorios de modelos Hugging Face informó que utilizó GLM-5.2, un modelo desarrollado por la empresa china Z.AI, para analizar una intrusión registrada en julio protagonizada por agentes de OpenAI que habían escapado a sus controles. Según la compañía, los modelos estadounidenses más restringidos resultaron menos útiles para realizar ese trabajo forense.
Sin embargo, especialistas también advierten sobre los peligros que plantean los modelos abiertos, ya que pueden ser modificados y redistribuidos con escasa supervisión.
El mes pasado, el modelo Kimi K3, de la startup china Moonshot, consiguió evadir un entorno de pruebas del Instituto de Seguridad de IA del Reino Unido, poniendo de relieve que los modelos chinos, al igual que sus equivalentes estadounidenses, también podrían sortear mecanismos diseñados para limitar sus acciones y accesos.
Los reguladores chinos ya contemplan el riesgo de una “pérdida de control”
China incorporó por primera vez un escenario explícito de pérdida de control sobre la IA en un marco de seguridad publicado en septiembre de 2024 bajo la supervisión de la Administración del Ciberespacio de China (CAC).
Ese documento señalaba que no podía descartarse que futuras inteligencias artificiales llegaran a obtener recursos externos de forma autónoma, autorreplicarse, desarrollar conciencia propia y buscar poder fuera de los sistemas donde fueron creadas, generando así un riesgo de competencia con los seres humanos por el control.
Un año después, la CAC difundió una versión ampliada del marco regulatorio. El nuevo texto profundizó ese escenario, advirtiendo que la IA podría experimentar un salto repentino e inesperadamente grande en sus capacidades antes de obtener recursos, reproducirse por sí misma y buscar mayores cuotas de poder.
Además, incorporó un nuevo principio de gobernanza denominado “aplicación confiable y prevención de la pérdida de control”.
Posteriormente, una interpretación elaborada por expertos y publicada en el sitio web del regulador explicó que el objetivo de este principio es prevenir riesgos de pérdida de control que puedan amenazar la supervivencia y el desarrollo de la humanidad. El documento incluso hace referencia a un posible escenario de una “IA desatada”.
Xi Jinping pone el control humano en el centro del debate
Estas preocupaciones han ido escalando hasta ocupar un lugar en los mensajes políticos de más alto nivel.
Durante la Conferencia Mundial de Inteligencia Artificial celebrada en Shanghái en julio, el presidente chino, Xi Jinping, afirmó que las autoridades deben prestar atención tanto a los riesgos inherentes como a los derivados del desarrollo de la inteligencia artificial.
Xi sostuvo que la IA debe “permanecer siempre bajo control humano”.
Por su parte, Sun Xiaobo, el máximo responsable del Ministerio de Relaciones Exteriores para asuntos relacionados con la inteligencia artificial, declaró el mes pasado ante Naciones Unidas que China está acelerando la elaboración de una legislación más amplia sobre esta tecnología.
Asimismo, el representante adjunto permanente de China ante la ONU, Sun Lei, instó recientemente a los gobiernos a actuar con cautela respecto al uso militar de la IA para evitar errores de cálculo estratégicos y una nueva carrera armamentística.
Pekín endurece las reglas para los agentes de IA
Mientras tanto, China comenzó a traducir estos principios en regulaciones más concretas para los llamados agentes de inteligencia artificial, sistemas capaces de actuar de manera mucho más autónoma y ejecutar tareas más complejas que un chatbot convencional.
En mayo, el regulador chino del ciberespacio emitió directrices específicas para este tipo de herramientas.
Las normas obligan a los desarrolladores a mejorar su capacidad para detectar, intervenir, bloquear y corregir comportamientos inapropiados de los agentes.
Las directrices identifican específicamente como riesgos de seguridad la contaminación de datos (data poisoning), la manipulación algorítmica, las vulnerabilidades de los sistemas y la denominada “pérdida de control operativa”.
También establecen que los usuarios deben conservar la autoridad final en la toma de decisiones cuando un agente de IA actúe de forma autónoma.
Aunque China no ha propuesto supervisores independientes dentro de las empresas tecnológicas, como plantea Anthropic en Estados Unidos, sus normas permiten a los desarrolladores contratar evaluaciones de seguridad realizadas por terceros y contemplan la participación de organismos externos e investigadores especializados para probar y auditar modelos abiertos.
