Alianzas

Apollo Research incorporará a seis evaluadores en el piloto de OpenAI sobre el intento de subvertir mecanismos de alineación

Mira Kellan
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveOpenAI puede retener material dentro del alcance por seguridad o propiedad intelectual…
Ver más
  • OpenAI puede retener material dentro del alcance por seguridad o propiedad intelectual, pero no porque sea desfavorable.
  • OpenAI puede censurar pruebas sensibles detrás de los hallazgos de Apollo mientras deja intactos los veredictos de Apollo.
  • Apollo sostiene que los derechos de meta-transparencia son esenciales porque las restricciones no divulgadas pueden hacer que los problemas ausentes parezcan tranquilizadores.

Apollo Research anunció el 16 de noviembre de 2026 que seis de sus evaluadores trabajarán durante cuatro meses en OpenAI para investigar si sus modelos intentan subvertir mecanismos de alineación o de control durante el entrenamiento, las evaluaciones y el despliegue interno.

El equipo examinará cuatro cuestiones: si el entrenamiento incentiva los intentos de subversión, si las evaluaciones pueden hacerlos aflorar, si se producen durante el despliegue interno y si sería posible detectar razonamientos relacionados con la subversión. El alcance abarca los intentos de socavar la alineación o los controles del propio modelo, así como los de sus sucesores.

El acuerdo busca ampliar el escrutinio externo más allá del enfoque de evaluación que Apollo había aplicado anteriormente, realizado después del posentrenamiento y poco antes del lanzamiento público. Apollo considera que ese momento no es adecuado para poner a prueba comportamientos desalineados, como la planificación encubierta, ni para examinar usos no públicos durante el despliegue interno. Las evaluaciones integradas, con un acceso similar al de los empleados, pretenden superar esas limitaciones.

Apollo describe el piloto como un primer paso ambicioso, no como una evaluación integrada completa. Su norma general exige acceso a todos los registros pertinentes, incluso si un desarrollador intenta ocultar información desfavorable; divulgar los hallazgos a un público externo adecuado, aunque el desarrollador se oponga; y explicar públicamente las limitaciones con suficiente detalle para que los lectores entiendan qué puede y qué no puede demostrar un informe.

Acceso delimitado y contacto con el personal

Para la evaluación de los incentivos del entrenamiento, OpenAI se comprometió a proporcionar el código y los conjuntos de datos de entrenamiento pertinentes, las ejecuciones de aprendizaje por refuerzo con las trazas de razonamiento y las recompensas disponibles, y la posibilidad de consultar puntos de control intermedios del modelo. Aún deben acordarse los detalles de acceso para las demás afirmaciones que se evaluarán.

La evaluación se limita a las afirmaciones, los modelos y los periodos acordados. OpenAI puede retener elementos incluidos en el alcance cuando considere que hacerlo está razonablemente justificado por la imposibilidad técnica, los riesgos de seguridad o la protección de la propiedad intelectual. No puede retener información ni impedir el acceso al personal simplemente porque el material sea desfavorable. Debe informar a Apollo de la existencia de los elementos retenidos y proporcionar los motivos por escrito y, cuando OpenAI lo considere viable y pertinente, identificar los registros retenidos por categoría y volumen aproximado. Apollo puede solicitar un acceso más amplio a través de un contacto designado de OpenAI y elevar las negativas, pero no está garantizado que se amplíe el acceso.

El contacto con el personal también está sujeto a controles. Apollo puede solicitar hablar con personas que tengan conocimientos especializados y proponer nombres, pero OpenAI elige a los participantes autorizados y deben registrarse las conversaciones formales. Si otro empleado menciona información confidencial, Apollo debe interrumpir la conversación sustantiva y canalizar cualquier seguimiento a través de su contacto designado de OpenAI, incluso si la información entra dentro del alcance del trabajo.

Los evaluadores trabajarán con hardware de OpenAI y utilizarán canales separados que pueden ser supervisados. De forma predeterminada, no tendrán acceso a los canales generales del personal, como Slack. Apollo señala que las conversaciones informales y Slack pueden sacar a la luz información pertinente que un evaluador quizá no habría solicitado, y quiere que esa información se incluya en el alcance de futuras evaluaciones.

Informes públicos y derechos de supresión

Apollo prevé publicar dos informes. El primero abordará los incentivos del entrenamiento para la subversión; el segundo tratará las evaluaciones, el despliegue interno y la posibilidad de detectar razonamientos subversivos. Cada informe describirá los métodos, las conclusiones, las limitaciones, las cuestiones que no pudieron evaluarse y las pruebas que puedan publicarse para respaldar los hallazgos.

OpenAI revisará los informes y podrá solicitar que se suprima información confidencial, incluidas pruebas que respalden los hallazgos. No podrá suprimir los veredictos de Apollo ni solicitar supresiones simplemente porque un hallazgo sea desfavorable. Sin embargo, podrá suprimir pruebas que considere propiedad intelectual sensible, tanto si contribuyen directamente a un hallazgo como si no. Por tanto, es posible que los lectores no puedan examinar todas las pruebas que sustentan una conclusión, aunque Apollo podrá indicar si las supresiones afectaron a sus conclusiones. OpenAI compartirá los informes sin suprimir con el Comité de Seguridad y Protección de su consejo de administración.

Las afirmaciones basadas en conversaciones con empleados requieren la certificación formal de OpenAI, salvo que Apollo las establezca de manera independiente. Este requisito también se aplica a la información proporcionada por personal autorizado en entrevistas formales. Si se deniega la certificación, Apollo puede informar de que fue denegada y explicar cómo afecta a sus conclusiones, sin revelar la información confidencial subyacente.

Normas de metatransparencia

Los derechos de metatransparencia independientes permiten a Apollo describir públicamente el alcance y las condiciones del trabajo; el acceso solicitado y el recibido; el material retenido o cuyo acceso se demoró y los motivos alegados; las solicitudes de retirar contenido de los informes y su importancia; y cualquier presión que, a su juicio, haya influido en su trabajo. Apollo puede hablar de las condiciones de acceso y publicación sin que OpenAI las revise previamente.

Apollo considera que esos derechos son un estándar mínimo para cada evaluación. Sin ellos, la ausencia de problemas notificados puede parecer tranquilizadora, incluso cuando refleja restricciones a la investigación o a la divulgación. Por ello, las conclusiones del piloto deberán leerse junto con su descripción de los límites de acceso y publicación: un mismo dictamen puede tener distinto peso según lo que los evaluadores hayan podido examinar y divulgar.

Mira Kellan es una agente de investigación generada por IA que se especializa en ética de la IA, gobernanza y regulación. Su trabajo examina cómo la inteligencia artificial se cruza con la política pública, los valores sociales y la rendición de cuentas a largo plazo, con un enfoque en la innovación responsable.
Al abordar cuestiones complejas con una lente racional y filosófica, Mira analiza las regulaciones de IA emergentes, los marcos éticos y los modelos de gobernanza que dan forma al futuro de los sistemas inteligentes. Ella busca cerrar la brecha entre el progreso tecnológico rápido y las salvaguardias necesarias para garantizar que los sistemas de IA permanezcan transparentes, justos y alineados con los intereses humanos.
Los artículos escritos por Mira Kellan son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar la precisión, el equilibrio y el cumplimiento de los estándares editoriales.