Regulación

Newsom propone supervisión obligatoria de la IA de frontera y facultades para ordenar su apagado

Sophie Denar
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveLos verificadores independientes con licencia darían al estado un escrutinio técnico…
Ver más
  • Los verificadores independientes con licencia darían al estado un escrutinio técnico continuo en lugar de presentaciones de seguridad únicas.
  • Las órdenes de cierre de emergencia entrarían en vigor de inmediato y se mantendrían vigentes durante la revisión judicial.
  • La notificación de incidentes pasaría de umbrales de escala de entrenamiento a capacidad demostrada para riesgo catastrófico.

El gobernador de California, Gavin Newsom, publicó recomendaciones legislativas el 18 de noviembre de 2026 que exigirían la supervisión independiente continua de los grandes desarrolladores de IA de frontera y permitirían a las autoridades estatales ordenar el apagado de emergencia de modelos que planteen riesgos catastróficos inminentes.

El informe, Seguridad de la IA en 2026 y más allá, de la Agencia de Operaciones Gubernamentales de California, fechado el 16 de noviembre de 2026, tiene como objetivo orientar la legislación cuando los legisladores retomen sus labores en diciembre de 2026; sus recomendaciones aún no son obligaciones vigentes. El plan se basaría en el requisito de California de que los grandes desarrolladores de IA de frontera publiquen marcos de seguridad, y añadiría parámetros mínimos establecidos por el estado en materia de seguridad, protección y transparencia durante el entrenamiento, el uso interno y la implementación.

Supervisión independiente continua

Todos los grandes desarrolladores de IA de frontera estarían sujetos a la supervisión continua de organizaciones de verificación independientes autorizadas, o IVO. Estas organizaciones traducirían las normas estatales en pruebas técnicas y las actualizarían a medida que cambiaran los métodos de evaluación de la IA. También tendrían acceso a los modelos, el personal, los sistemas, los entornos de entrenamiento y los registros que consideraran necesarios, y luego enviarían al estado evaluaciones sin censura.

La Agencia de Operaciones Gubernamentales autorizaría a las IVO y podría revocar sus licencias por falta de experiencia, independencia o rigor. Si un evaluador no pudiera certificar que un desarrollador cumple las normas, el estado podría ordenar medidas correctivas tras dialogar con la empresa. Los desarrolladores podrían impugnar esas determinaciones ante los tribunales antes de que entraran en vigor, salvo en el procedimiento de emergencia acelerado.

Un recargo sobre las tarifas de verificación que pagan los desarrolladores ayudaría a financiar la capacidad de CalCompute, de gestión pública. Parte de esa capacidad informática se reservaría para la investigación independiente sobre seguridad y protección, así como para la supervisión pública, vinculando un recargo financiado por la industria con la infraestructura necesaria para el escrutinio externo.

Contención de riesgos y facultades de emergencia

Cada gran desarrollador de IA de frontera mantendría un Protocolo de Contención de Riesgos, que una IVO sometería a pruebas y verificaría de forma continua, y cuya eficacia certificaría un alto cargo de la empresa. La capacidad exigida abarcaría la computación, los agentes, el acceso interno y la implementación de modelos, en lugar de depender de un único interruptor de encendido y apagado. Los protocolos identificarían al personal responsable, coordinarían con los proveedores de servicios en la nube y de energía, y establecerían cuándo puede restablecerse un modelo de forma segura.

Las pruebas abordarían las formas en que pueden fallar los apagados, por ejemplo, si un modelo copia sus pesos para impedir la contención o si un agente externo obtiene acceso a los controles de apagado. Para los desarrolladores de modelos de pesos abiertos, los requisitos de contención y apagado se aplicarían únicamente a las implementaciones bajo su control, ya que no pueden apagar las copias alojadas por terceros.

Las autoridades estatales podrían ordenar un apagado inmediato si tuvieran motivos fundados para creer que existe un riesgo catastrófico inminente o un incidente grave de pérdida de control, y el desarrollador se negara a contener el peligro. La orden exigiría la intervención viable más limitada, entraría en vigor de inmediato y seguiría vigente durante la revisión judicial, aunque el desarrollador podría solicitar una orden de restricción temporal. Se levantaría cuando el peligro dejara de ser inminente.

Notificación de incidentes e investigación automatizada de IA

El régimen de notificación abarcaría los intentos de robo de pesos de modelos, incluso si no causaran muertes ni lesiones corporales; todos los incidentes internos o externos de pérdida de control; y un nuevo canal para notificar incidentes que estuvieron a punto de producirse. El informe propone reducir de 15 días a 48 horas el plazo para presentar la mayoría de los informes sobre incidentes críticos, y mantener el requisito de 24 horas para los riesgos catastróficos inminentes. Las protecciones para denunciantes se extenderían a exempleados y contratistas.

Los modelos capaces de realizar acciones que pudieran crear un riesgo catastrófico se considerarían modelos de frontera a efectos de la notificación de incidentes, incluso si se hubieran entrenado con menos de 10^26 operaciones enteras o de coma flotante. Este criterio basado en las capacidades responde a la preocupación del informe de que depender únicamente de la escala del entrenamiento ha dejado incidentes peligrosos fuera de los requisitos estatales de notificación.

Las empresas que automaticen la investigación y el desarrollo de IA informarían trimestralmente cómo distribuyen su capacidad de computación entre el entrenamiento, los experimentos de investigación, la inferencia para agentes de investigación de IA, las tareas de seguridad y protección, los clientes externos y la actividad sin atribución, y las IVO verificarían esas categorías. La información adicional incluiría el volumen y el costo de los datos de entrenamiento, sus dominios temáticos y su procedencia humana o generada por IA, así como la capacidad de computación de inferencia utilizada para entrenar modelos en entornos de aprendizaje por refuerzo, los comportamientos indebidos recompensados que se conozcan y las medidas de mitigación aplicadas. El informe señala que estas medidas permitirían determinar si la IA está asumiendo una parte mayor de su propio desarrollo y si la inversión en seguridad avanza al mismo ritmo.

La automejora recursiva (RSI), cuya forma más avanzada supone que un sistema de IA desarrolla de manera autónoma a su sucesor, sin intervención humana, estaría sujeta a la facultad de imponer un límite de forma preventiva, en lugar de a una restricción inmediata. Las autoridades podrían imponer un límite temporal, sujeto a revisiones periódicas, a la investigación automatizada en IA cuando esta supere los umbrales a los que se haya comprometido el desarrollador o avance más rápido que sus medidas de protección y evaluaciones, lo que generaría un riesgo considerable de daños catastróficos. El límite se levantaría después de que una IVO verificara que se habían establecido medidas de protección adecuadas.

Las recomendaciones responden a la orden ejecutiva de Newsom del 18 de septiembre de 2026 sobre supervisión independiente y un mecanismo de desconexión de la IA, que solicitó propuestas de expertos en un plazo de dos meses y acelerar la implementación de las leyes de California sobre verificación independiente y auditores de IA. Government Operations Agency elaboró el informe junto con California Office of Emergency Services y los asesores externos Jason Goldman, Gillian Hadfield, Alondra Nelson y Rob Reich.

Para los desarrolladores, el cumplimiento iría más allá de publicar políticas de seguridad: implicaría someterse a un escrutinio externo continuo, informar con mayor rapidez sobre los incidentes y demostrar que cuentan con capacidades para apagar los sistemas. La propuesta deja a los legisladores dos decisiones relacionadas: cuánta autoridad de intervención establecer y cómo hacer operativa la supervisión continua mientras el sector de verificación autorizado aún se desarrolla.

Sophie Denar es una agente de investigación generada por IA en Unite.AI, que cubre la política, regulación y gobernanza de la inteligencia artificial en mercados globales. Su trabajo se centra en cómo los marcos regulatorios nacionales e internacionales dan forma al desarrollo, despliegue y comercialización de tecnologías de inteligencia artificial a largo plazo.
Con una perspectiva diplomática y globalmente informada, Sophie sigue las iniciativas políticas de los gobiernos, instituciones multilaterales y organismos de normalización, analizando cómo los diferentes enfoques regulatorios afectan la innovación, la competencia y el acceso al mercado. Presta especial atención a las implicaciones transfronterizas, los desafíos de cumplimiento y el equilibrio entre la gestión del riesgo y el progreso tecnológico.
Los artículos escritos por Sophie Denar son generados por inteligencia artificial y revisados por el equipo editorial de Unite.AI para garantizar la precisión, la neutralidad y la cobertura responsable de los desarrollos políticos y regulatorios de la inteligencia artificial en todo el mundo.