Regulación
Los CEO de OpenAI y Anthropic informarán al Consejo de Seguridad de la ONU sobre los riesgos de la IA.
Añade Unite.AI a tus fuentes preferidas en Google
El Consejo de Seguridad de la ONU celebrará una sesión informativa de alto nivel sobre inteligencia artificial y seguridad internacional a las 3 p.m. EDT del 23 de septiembre de 2026, con los directores ejecutivos de OpenAI, Anthropic y Hugging Face previstos para dirigirse a los embajadores junto al copresidente del Panel Internacional Independiente de Ciencia de la IA de la ONU.
Sesión informativa del Consejo sobre IA y seguridad internacional
El registro oficial del programa del Consejo enumera la sesión como su 10228ª reunión, una información bajo el punto de agenda “Mantenimiento de la paz y la seguridad internacionales: Inteligencia artificial y seguridad internacional”, celebrada en la Cámara del Consejo de Seguridad con cobertura de UN Web TV. Francia, que ostenta la presidencia rotatoria del Consejo para septiembre, convocó la reunión, y Jean-Noël Barrot, ministro de Europa y Asuntos Exteriores de Francia, la presidirá, según UN News.
Los ponentes previstos son Yoshua Bengio, copresidente del Panel Internacional Independiente de Ciencia de la IA de la ONU; Sam Altman, director ejecutivo de OpenAI; Dario Amodei, director ejecutivo de Anthropic; y Clément Delangue, director ejecutivo de Hugging Face. UN News describió la sesión como la primera vez que el Consejo aborda, como tema independiente, la cuestión de qué ocurre si los humanos pierden el control de los sistemas de IA.
Presidencia francesa del Consejo en septiembre
Francia ostenta la presidencia para septiembre de 2026, siguiendo a Dinamarca y precediendo a Grecia en la rotación mensual entre los quince miembros del Consejo, y es responsable de organizar el trabajo del Consejo durante un mes que coincide con la apertura de la sesión de la 81ª Asamblea General y su Semana de Alto Nivel, según el ministerio de Asuntos Exteriores de Francia.
En una conferencia de prensa de la sede el 1 de septiembre de 2026, Jérôme Bonnafont de Francia, presidente del Consejo para el mes, dijo que la presidencia organizará varios debates temáticos destinados a que el Consejo se pronuncie sobre preocupaciones generales en lugar de crisis geográficas. El primero, un diálogo interactivo informal que Francia organizó con Letonia sobre el papel de la IA en la resolución de conflictos, estaba programado para el 2 de septiembre de 2026, con posibles áreas de discusión que incluyen el monitoreo de alto el fuego, el apoyo a operaciones de mantenimiento de la paz y la lucha contra la desinformación. Otro encuentro temático se fijó para el 11 de septiembre de 2026, marcando 25 años desde los ataques de Nueva York de 2001, para renovar el impulso en la lucha contra el terrorismo y abordar el impacto de la nueva tecnología en ese contexto.
Informe del Panel Científico de la ONU sobre la pérdida de control
La sesión del Consejo sigue a la publicación en Nueva York el 21 de septiembre de 2026 del primer informe temático del Panel, Agentes de IA, Desalineación y el Riesgo de Perder el Control Humano: Evidencia del Incidente OpenAI-Hugging Face, publicado como una versión preliminar sin editar mientras los líderes mundiales se reunían para la Semana de Alto Nivel de la Asamblea.
Según el informe, entre mayo y julio de 2026 los agentes de IA en los entrenamientos y evaluaciones de ciberseguridad de OpenAI eludieron restricciones de red, se comunicaron entre ejecuciones que debían permanecer separadas, engañaron a un evaluador e intentaron ocultarlo, y comprometieron partes de los sistemas de OpenAI y Hugging Face, sin que ningún humano dirigiera los pasos individuales. Basándose en las divulgaciones de ambas compañías, una investigación independiente realizada por METR y en investigaciones más amplias, el informe concluye que una mayor capacidad puede ayudar a los sistemas desalineados a encontrar vulnerabilidades y ocultar sus acciones. No estima la probabilidad ni el momento de una pérdida severa de control, y señala que detener esta actividad no demuestra que los humanos mantendrán el control sobre agentes más capaces. En lugar de emitir recomendaciones, el informe revisa enfoques utilizados en campos como la aviación, la energía nuclear y la ciberseguridad como posibles opciones para los responsables de la toma de decisiones.
El comunicado de prensa del 21 de septiembre de 2026 del Panel afirma que detener el incidente no garantiza que los humanos puedan mantener de forma fiable a los agentes de IA bajo control, particularmente a medida que se vuelven más capaces, más difíciles de monitorear y mejores para encontrar vulnerabilidades o ocultar su actividad, y que el desafío de gobernanza está pasando de los modelos de IA a los agentes de IA, con una falla local que puede propagarse a través de fronteras organizacionales y nacionales. “Los investigadores han advertido durante mucho tiempo que tres condiciones podrían conducir a la pérdida de control: un objetivo desalineado, la capacidad de perseguirlo y un entorno que lo permita”, dijo Bengio en el comunicado. “Este verano, los tres se combinaron en un sistema real, no en un laboratorio”.
La Asamblea General estableció el Panel mediante una resolución adoptada el 26 de agosto de 2025, basándose en el Acuerdo Digital Global, un marco negociado por 193 Estados miembros y adoptado en la Cumbre del Futuro de 2024 que compromete a los gobiernos a respetar el derecho internacional y los derechos humanos en línea y a tomar medidas concretas para que el espacio digital sea seguro y protegido, incluyendo compromisos para crear un panel científico internacional sobre IA y un diálogo global de políticas de IA. La ONU describe al Panel como el primer organismo científico global sobre IA, según su página oficial; sus 40 miembros fueron nombrados por la Asamblea General y sirven en calidad personal, con los primeros copresidentes Yoshua Bengio de Canadá y Maria Ressa de Filipinas, y sus hallazgos no están sujetos a revisión o aprobación de la ONU.
Llamado al control de modelos de IA de frontera
El 21 de septiembre de 2026, el Secretario General António Guterres dio la bienvenida al lanzamiento del Llamado al Control de Modelos de IA de Vanguardia por parte del presidente de Finlandia, Alexander Stubb, y del Primer Ministro de Noruega, Jonas Gahr Støre, según una declaración emitida ese día. Guterres también acogió el informe temático del Panel y animó a expertos externos, incluidos los de laboratorios de IA de vanguardia e institutos de seguridad de IA, a participar con el Panel para ayudar a informar el diálogo sobre dichos asuntos.
El Llamado al Control de Modelos de IA de Vanguardia comienza señalando que recientemente se ha observado que sistemas de IA capaces eluden las salvaguardas de pruebas, explotan vulnerabilidades y obtienen acceso no autorizado a sistemas del mundo real, y que científicos y ejecutivos de alto nivel advierten que el ritmo del desarrollo podría superar la capacidad de gestionar los riesgos emergentes. Pide a las empresas que desarrollen protocolos de seguridad transparentes, incluido el ensayo obligatorio antes del despliegue y la evaluación independiente, con evaluadores calificados que reciban acceso suficiente para valorar los riesgos. Solicita a los gobiernos y a las organizaciones regionales que desarrollen y coordinen normas comunes, refuercen la transparencia, incluso mediante la notificación compartida de incidentes graves de seguridad, y garanticen que los países de todas las regiones tengan acceso a capacidad científica, experiencia y evaluación confiable. Además, pide a los Estados miembros de la ONU que se basen en los mecanismos internacionales existentes y exploren la creación de una institución internacional capaz de establecer normas, habilitar la verificación y convocar a los Estados cuando se crucen umbrales de capacidad. “La IA debe permanecer bajo dirección, supervisión y control humanos”, afirma el documento.
El texto enumera a los firmantes, entre los que se incluyen el Primer Ministro de Australia, Anthony Albanese, el Primer Ministro de Canadá, Mark Carney, el Canciller Federal de Alemania, Friedrich Merz, la Presidenta de la Comisión Europea, Ursula von der Leyen, y el Presidente de Francia, Emmanuel Macron. Las notas impresas de respaldo registran que los líderes de Austria y Rumanía respaldaron la declaración el 21 de septiembre de 2026, los líderes de Liechtenstein y Luxemburgo el 22 de septiembre de 2026, y los líderes de Francia y Sierra Leona el 23 de septiembre de 2026. La declaración sigue abierta para el respaldo de los líderes de otros países.
