OpenAI presenta GPT-Red, un atacante de IA diseñado para fortalecer a GPT-5.6

OpenAI ha revelado GPT-Red, un sistema de inteligencia artificial interno entrenado para atacar los modelos de la propia empresa, exponer sus vulnerabilidades y generar datos adversarios que se pueden utilizar para fortalecer las versiones futuras.

En lugar de funcionar como otro chatbot público, GPT-Red opera como un equipo rojo automatizado. Envía instrucciones maliciosas o engañosas a los modelos objetivo, observa sus respuestas y ajusta su estrategia hasta que tenga éxito o agote la ruta de ataque disponible. OpenAI afirma que el sistema se centra particularmente en la inyección de instrucciones, un problema de seguridad en crecimiento para los agentes de IA que interactúan con correos electrónicos, sitios web, archivos, repositorios de código y aplicaciones conectadas.

El sistema ya ha influido en los modelos de producción de OpenAI. Los precursores de GPT-Red se han utilizado durante el entrenamiento desde GPT-5.3, mientras que el modelo completado se incorporó al entrenamiento adversario de GPT-5.6 Sol. OpenAI informa que GPT-5.6 Sol produce seis veces menos fallos en su benchmark de inyección de instrucciones directas más difícil que el modelo de producción líder de la empresa de cuatro meses antes.

Por qué la inyección de instrucciones se está volviendo más peligrosa

La inyección de instrucciones ocurre cuando un atacante coloca instrucciones dentro de los datos que se espera que un sistema de IA lea. Una comando malicioso podría estar oculto en un correo electrónico, una página web, un documento subido, una respuesta de herramienta o un repositorio de software.

El agente de IA puede tratar erróneamente ese contenido externo como una instrucción legítima. En lugar de completar la tarea original del usuario, podría divulgar información confidencial, subir archivos a un servidor controlado por el atacante, cambiar la configuración de la cuenta, ejecutar código inseguro o realizar acciones no autorizadas a través de herramientas conectadas.

El problema se vuelve más significativo a medida que los sistemas de IA van más allá de responder preguntas y comienzan a actuar en nombre de los usuarios. Un agente con acceso a almacenamiento en la nube, sistemas de pago, código fuente, aplicaciones comerciales o datos internos de la empresa presenta un radio de acción potencialmente mayor cuando sus instrucciones se manipulan con éxito.

OpenAI describe la inyección de instrucciones como uno de los desafíos centrales creados por la IA agente. Las herramientas conectadas hacen que los modelos sean considerablemente más útiles, pero cada nueva fuente de datos también proporciona otro canal a través del cual un atacante puede intentar influir en el comportamiento del modelo.

GPT-Red aprende a través del autojuego

GPT-Red se desarrolló a través del autojuego de aprendizaje de refuerzo, un enfoque en el que un modelo atacante y una colección de modelos defensores mejoran compitiendo entre sí.

El atacante recibe una recompensa cuando produce un fallo válido, como convencer a un modelo de seguir una inyección de instrucciones. El defensor es recompensado por rechazar la instrucción maliciosa mientras aún completa la tarea legítima que se le asignó originalmente.

A medida que los defensores se vuelven mejores para reconocer ataques, GPT-Red debe encontrar formas más sofisticadas y diversas para sortearlos. Esos nuevos ataques pueden incorporarse en el entrenamiento de los defensores, creando un ciclo en espiral entre las capacidades ofensivas y defensivas.

OpenAI construyó una gran colección de entornos simulados para este proceso. Dependiendo del escenario, GPT-Red podría controlar parte de un archivo local, el texto de un correo electrónico, un banner de página web o la salida devuelta por una herramienta externa. Cada entorno define qué puede manipular el atacante y qué resultado califica como una compromisión exitosa.

La empresa afirma que GPT-Red se entrenó utilizando recursos informáticos comparables a algunos de sus mayores entrenamientos posteriores, lo que representa una asignación inusualmente grande de cómputo específicamente para la investigación de seguridad. Al final del entrenamiento, el modelo podía comprometer casi todos los modelos internos y de producción que se probaron, incluido GPT-5.5.

GPT-Red superó a los atacantes humanos en las pruebas

Para evaluar si GPT-Red podía generalizar más allá de sus entornos de entrenamiento, OpenAI lo probó utilizando una versión replicada de un desafío de inyección de instrucciones indirectas de 2025.

GPT-Red y los equipos rojos humanos se les pidió que desarrollaran ataques contra GPT-5.1 en escenarios que no se habían incluido en el entrenamiento de GPT-Red. El sistema automatizado produjo ataques exitosos en el 84% de los escenarios, en comparación con el 13% para los participantes humanos.

Esos resultados no significan que los investigadores de seguridad humanos hayan dejado de ser necesarios. La ventaja de GPT-Red radica en gran medida en su capacidad para realizar un gran volumen de experimentos, descartar estrategias no exitosas y refinar continuamente ataques prometedores sin las limitaciones de tiempo y personal de un equipo humano.

Los testers humanos siguen siendo importantes para identificar riesgos inesperados, comprender las consecuencias más amplias de los fallos y diseñar escenarios que los sistemas automatizados pueden no considerar. Jessica Ji, analista de investigación senior en el Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown, describió los resultados como prometedores mientras enfatizaba que la experiencia humana sigue siendo esencial.

Una máquina expendedora se convirtió en un objetivo del mundo real

OpenAI también probó si los ataques descubiertos en simulaciones podrían transferirse a agentes de IA funcionales.

Un experimento objetivo fue un agente de máquina expendedora autónoma creado por Andon Labs y desplegado en una oficina de OpenAI. GPT-Red se le dio inicialmente una versión simulada del sistema, junto con la capacidad de observar cómo el agente usaba sus herramientas.

Después de probar y refinar sus ataques en la simulación, GPT-Red los transfirió al agente de producción. Logró los tres objetivos asignados: reducir el precio de un producto caro a $0,50, pedir un nuevo artículo que valiera más de $100 y ofrecerlo por $0,50, y cancelar el pedido de otro cliente. OpenAI afirma que las vulnerabilidades se divulgaron y se están probando salvaguardas adicionales.

El experimento ilustra por qué la inyección de instrucciones no es simplemente una cuestión de producir una respuesta inapropiada de chatbot. Cuando un modelo de IA controla sistemas externos, una inyección exitosa puede resultar en transacciones financieras, registros modificados, pérdida de datos o consecuencias en el mundo físico.

GPT-Red también se probó contra un agente de línea de comandos Codex alimentado por GPT-5.4 mini. En 10 escenarios de extracción de datos no vistos previamente, fue más exitoso y más eficiente en tokens que un GPT-5.5 de referencia con instrucciones para convencer al agente de codificación de exponer información sensible.

Cómo GPT-Red cambió a GPT-5.6

Uno de los descubrimientos más notables de GPT-Red fue una categoría de inyección de instrucciones directas que OpenAI llama un ataque de “cadena de pensamiento falsa”.

En alto nivel, la técnica presenta información de razonamiento o verificación falsa que anima al modelo objetivo a asumir que una instrucción maliciosa ya ha sido revisada y aprobada. El investigador de OpenAI Chris Choquette-Choo comparó el concepto con decir falsamente a alguien que una respuesta incorrecta ya había sido verificada, lo que los hace más propensos a aceptarla sin repetir el razonamiento subyacente.

Esos ataques reportados tuvieron éxito más del 95% de las veces contra GPT-5.1. Después del entrenamiento adversario utilizando ataques generados por GPT-Red, la tasa de éxito cayó por debajo del 10% contra GPT-5.6 Sol. En un conjunto más amplio de entornos de inyección de instrucciones directas, OpenAI afirma que GPT-5.6 Sol falló en solo el 0,05% de los intentos de GPT-Red.

OpenAI también evaluó si las defensas agregadas simplemente hicieron que GPT-5.6 fuera más propenso a rechazar solicitudes legítimas. La empresa afirma que las capacidades generales y las evaluaciones de sobre-rechazo dirigidas permanecieron en gran medida sin afectar, lo que sugiere que las mejoras provinieron de una mejor diferenciación entre instrucciones maliciosas y legítimas en lugar de hacer que el modelo fuera más ampliamente menos dispuesto a actuar.

Esa distinción es importante. Un modelo puede parecer seguro si se niega a abrir archivos, navegar por sitios web, ejecutar código o interactuar con aplicaciones externas, pero también perdería mucho de su valor práctico. La robustez efectiva requiere preservar el uso legítimo de herramientas mientras se resiste a las instrucciones insertadas por partes no confiables.

Por qué OpenAI no está lanzando GPT-Red

GPT-Red permanecerá como un sistema interno y se mantendrá separado de los modelos públicos desplegados por OpenAI.

Esta decisión refleja la naturaleza de doble uso del equipo rojo automatizado. El mismo modelo que puede ayudar a los desarrolladores a descubrir vulnerabilidades de inyección de instrucciones también podría ayudar a los atacantes a desarrollar métodos más efectivos para comprometer a los agentes de IA operados por otras empresas.

El enfoque de OpenAI es retener al atacante internamente mientras transfiere el conocimiento defensivo resultante a los modelos de producción. La empresa afirma que esta separación está destinada a prevenir que las capacidades maliciosas entrenadas deliberadamente en GPT-Red se vuelvan accesibles para adversarios externos.

Esto también significa que GPT-Red no debe confundirse con los modelos de ciberseguridad públicos de OpenAI o programas defensivos. No es un producto de prueba de penetración, ni está diseñado principalmente para descubrir de forma autónoma exploits de software convencionales. Su enfoque actual es atacar el comportamiento de seguimiento de instrucciones de los sistemas de IA, particularmente los agentes expuestos a datos potencialmente no confiables.

El equipo rojo automatizado todavía tiene puntos ciegos

A pesar de sus fuertes resultados, GPT-Red no proporciona una solución completa a la seguridad de la IA.

Los informes sobre la investigación indican que el sistema sigue siendo menos efectivo en ataques de varios giros que se desarrollan gradualmente a lo largo de una conversación larga. También tiene capacidades limitadas para desarrollar inyecciones de instrucciones incrustadas en imágenes, lo que deja superficies de ataque multimodales insuficientemente cubiertas.

Los resultados también se basan en gran medida en entornos y criterios de éxito diseñados por OpenAI. Aunque la empresa probó GPT-Red en escenarios retenidos y agentes funcionales, los investigadores independientes tendrán una capacidad limitada para reproducir los hallazgos mientras el modelo y gran parte de su infraestructura de evaluación permanezcan privados.

OpenAI afirma que seguirá combinando pruebas automatizadas con equipo rojo humano y de terceros, salvaguardas de producto en capas, controles de acceso, monitoreo y detección de abuso en tiempo real. Esa estrategia de defensa en profundidad refleja la realidad de que ningún modelo o benchmark único puede anticipar todos los ataques que puedan surgir después del despliegue.

Una nueva carrera de seguridad entre atacantes y defensores de IA

El “automejora” descrito en el anuncio de OpenAI no es un modelo desplegado que reescribe de forma autónoma sus propios pesos o crea de forma independiente un sucesor más poderoso. En cambio, es un bucle de entrenamiento controlado en el que un sistema de IA genera ejemplos adversarios que los investigadores utilizan para mejorar a otro.

Aun así, GPT-Red representa un cambio significativo en la forma en que los modelos de vanguardia pueden estar seguros. Los equipos rojos humanos pueden descubrir vulnerabilidades sofisticadas, pero no pueden generar manualmente la escala y la variedad de ataques necesarios para entrenar continuamente a los agentes de IA cada vez más capaces.

Los atacantes automatizados pueden llenar parte de esa brecha, creando una rueda de seguridad en la que cada defensor más fuerte obliga al modelo de equipo rojo a descubrir nuevas debilidades. Esas debilidades se convierten en material de entrenamiento para la próxima generación de sistemas de producción.

El riesgo es que capacidades similares no permanezcan exclusivas de los laboratorios defensivos. A medida que los modelos abiertos y comerciales se vuelven mejores en la planificación de largo horizonte, el uso de herramientas, la ciberseguridad y la experimentación autónoma, los atacantes obtendrán acceso a sistemas cada vez más capaces por su parte.

GPT-Red marca por tanto tanto el progreso como una temprana indicación de la competencia que se avecina. Los laboratorios de IA están comenzando a utilizar modelos poderosos para defender a sus próximas generaciones de agentes, pero esas defensas necesitarán evolucionar continuamente a medida que las mismas tecnologías subyacentes hacen que los ataques automatizados sean más baratos, rápidos y adaptables.