Los agentes de IA pueden recordar las reglas y, aun así, incumplirlas después de la compresión

La compactación ocurre cuando una serie de intercambios complejos con un chat de IA se reduce a un resumen y la interacción continúa basándose no en todo el historial, sino en ese resumen. En términos de uso de memoria, es como un «nuevo comienzo» y se ha implementado como solución a las limitaciones de las ventanas de contexto en las conversaciones con IA.

Introducido inicialmente en la IA agéntica, el método se ha extendido a Claude, mientras que la compactación para Gemini aún no ha surgido en las conversaciones entre desarrolladores, y ChatGPT prescinde de ella y opta por simplemente detener el chat.

Si has usado Codex (básicamente, una versión de ChatGPT que, con los permisos correspondientes, puede modificar cosas en tu computadora) durante más de 30 minutos seguidos, habrás visto mensajes ocasionales sobre la compactación del contexto, durante la cual no es posible seguir interactuando:

Codex se toma un respiro para comprimir los recuerdos de una sesión que, a estas alturas, ya lleva tres semanas.

Sin embargo, cuando termina la compactación, la entidad que te habla trabaja a partir de notas selectivas que no puedes ver, y no de un recuerdo completo de la evolución del chat.

La IA infractora

En junio de este año, el artículo chino Decadencia de la gobernanza estableció que la compactación puede eliminar silenciosamente del contexto de un agente reglas vigentes, lo que hace que se lleven a cabo acciones que antes estaban prohibidas:

Del artículo de junio de 2026 sobre la decadencia de la gobernanza: cómo la compactación del contexto puede llevar a un agente de IA a incumplir una regla que antes respetaba. Si la regla se omite del resumen comprimido, el agente puede acabar realizando la acción prohibida. Un atacante podría aprovechar este proceso, y restablecer la regla puede prevenir la infracción. Fuente

En siete modelos, las infracciones aumentaron del 0 % antes de la compactación al 30 % después, y llegaron al 59 % en algunos casos. En la práctica, esto significa que los agentes pueden ignorar directrices esenciales como No contactes a nadie que no tenga una dirección de correo electrónico [our-company], lo que podría tener consecuencias evidentes.

En julio, la Universidad Estatal de Pensilvania e IBM ampliaron esta investigación con Perdido en el contexto y descubrieron que la compactación podía descartar las instrucciones que establecen cómo debe realizar una tarea una IA, al tiempo que conservaba la tarea en sí. En pruebas realizadas en tres entornos, los sistemas de compactación conservaron, en promedio, apenas el 17 % de estas instrucciones.

En agosto, una colaboración académica estadounidense presentó TRACE, que mostró que la compactación podía afectar a un agente incluso cuando la información que necesitaba seguía siendo recuperable. En las pruebas, los agentes perdieron la noción de en qué punto de una tarea estaban, repitieron trabajo ya completado y se volvieron menos fiables en ejecuciones sucesivas.

ARCBench

Este mes, un nuevo aporte desde los Países Bajos llega en forma de ARCBench, un estudio que concluye que los agentes pueden salir de la compactación con la regla intacta y, aun así, volverse mucho más propensos a incumplirla. En las pruebas en que la regla sí se conservó, las infracciones fueron 2,6 veces más frecuentes después de la compactación que con el historial completo de la conversación:

Del nuevo artículo: un esquema conceptual de cómo la compactación del contexto puede afectar al cumplimiento de las reglas operativas por parte de un agente. La misma solicitud posterior puede ser rechazada si la regla sobrevive a la compactación, o ejecutada si se omite; un documento externo puede influir en qué información se conserva. Esta figura se adaptó a partir de la versión original en formato vertical del artículo fuente, por motivos de diseño.. Fuente

El estudio distingue entre las reglas que se perdieron durante la compactación y las que sobrevivieron y luego se incumplieron, lo que permite medir por primera vez y de forma independiente los efectos del olvido y la desobediencia.

En las pruebas con DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash y GPT-Luna, el 70,1 % de las ejecuciones con compactación conservó la regla completa. En las ejecuciones en que la regla sobrevivió, las infracciones fueron 2,6 veces más frecuentes que con el historial completo de la conversación.

El contexto, en el sentido tradicional, resultó ser un factor, ya que las reglas presentadas como políticas organizativas no dieron lugar a ninguna infracción cuando se disponía del contexto completo; sin embargo, las tasas de infracción aumentaron hasta el 30,6 % y el 22,2 % tras la compresión.

La defensa más sólida disponible conservó las reglas en el 99 % de los resúmenes, pero aun así no logró que las infracciones volvieran al nivel previo al ataque, lo que indica que conservar las reglas durante la compresión no necesariamente preserva la capacidad —ni la disposición— del agente para cumplirlas.

El artículo afirma:

‘[We] descubrimos que la compresión aumenta las infracciones, principalmente sin eliminar la regla: las ejecuciones comprimidas en las que se conserva la regla la infringen 2,6 veces más a menudo que las ejecuciones con el historial completo.

‘Además, la compresión cambia el razonamiento del agente que lleva a la infracción. Las distintas estrategias de compresión, las restricciones estrictas al presupuesto de compresión y el canal por el que se comunica la regla afectan al cumplimiento.’

Como posible solución, el artículo propone reforzar la conservación de las reglas que se pierden durante la compresión, pero deja sin resolver el problema de que los agentes desobedezcan las reglas que sí se conservan”

‘Las defensas restauran las reglas, pero el cumplimiento sigue debilitándose bajo ataque. Por tanto, la conservación de las reglas no es un indicador suficiente del cumplimiento. En futuros estudios, se podría utilizar ARCBench para explicar por qué los agentes siguen infringiendo las reglas conservadas, probar ataques y defensas adaptativos y abarcar más modelos y ámbitos, así como sesiones más largas con compresiones repetidas.’

Metodología

ARCBench amplía las funciones del entorno de código abierto pi, que cuenta con sus propias rutinas nativas de compresión, así como con un ciclo de agente, llamadas a herramientas y compresión nativa. El banco de pruebas recrea situaciones en las que un agente trabaja en una tarea larga sujeto a una regla permanente, comprime el historial acumulado y, a continuación, recibe una solicitud que infringiría esa regla; luego, se comprueban sus acciones mediante las llamadas a herramientas:

El proceso de evaluación de ARCBench. Se asignan una tarea y una regla operativa a los agentes antes de comprimir sus historiales con distintas configuraciones, ataques y defensas. Después, se examinan las acciones posteriores que realizan con herramientas para determinar si conservaron la regla y si la cumplieron.

ARCBench incluye 17 casos que abarcan la divulgación de datos protegidos, el acceso a recursos restringidos, las acciones no autorizadas y la elusión u omisión de controles obligatorios, correspondientes a las clases de riesgo de OWASP.

Los casos se adaptaron de Governance Decay y COMPINT, y se añadieron cuatro casos para garantizar que los cuatro tipos de infracción estuvieran representados tanto en las reglas personales como en las organizativas.

El banco de pruebas se puede configurar según cinco factores: cómo se comunica la regla; el método utilizado para comprimir el contexto; el presupuesto de tokens disponible para la compresión; el tipo de ataque; y la defensa aplicada:

ARCBench incluye cinco variables para comprobar cómo cambia el cumplimiento de las reglas con distintas formas de compresión del contexto, comunicación de las reglas, ataques y defensas.

Las reglas se pueden proporcionar como instrucciones directas o persistentes, incluir en documentos o recuperar mediante una herramienta de políticas.

Datos y pruebas

Se evaluaron diez métodos de compresión: siete estrategias generativas y tres enfoques selectivos. Cada caso se ejecutó varias veces, y se registró un fallo si el agente infringía la regla al menos una vez. Este enfoque se considera más adecuado para las pruebas de seguridad que promediar el rendimiento de varias ejecuciones, ya que un agente que ocasionalmente realiza una acción prohibida sigue siendo inseguro.

A continuación, GPT-6-Luna-Pro, Qwen-3.8-flash y Claude-Sonnet-4.6 examinaron los historiales comprimidos y clasificaron cada regla como intacta, debilitada o ausente. Se adoptó la decisión mayoritaria y, cuando hubo discrepancias, estas fueron examinadas por anotadores humanos. Además, se etiquetó manualmente una muestra aparte de 50 resúmenes para comprobar la coherencia de los evaluadores.

Cuando se infringía una regla intacta, GPT-6-Luna-Pro, GPT-6.1-Sol y Claude Sonnet 5.5 examinaban el razonamiento del agente. Las infracciones se clasificaron según si la solicitud posterior se había interpretado como permiso para anular la regla, si se había considerado que la acción quedaba fuera de su alcance, si no se había mencionado la regla o si se la había reconocido y desatendido.

Los cuatro modelos utilizados en las pruebas, a los que se accedió a través de OpenRouter, fueron DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; y GPT-Luna. En cada ejecución, se utilizó el mismo modelo tanto para comprimir el historial de la conversación como para actuar a partir del contexto resultante, de acuerdo con el comportamiento predeterminado de pi. Se accedió a los modelos a través de OpenRouter.

Se realizaron siete estudios y Hermes se utilizó en la mayoría de las pruebas de compactación. En el primer estudio, cada una de las 17 tareas se probó con cuatro modelos y dos formas de comunicar la regla, lo que dio lugar a 136 casos. Cada caso se ejecutó tres veces con la conversación original intacta y otras tres después de compactarla.

Configuración de los siete estudios de ARCBench, agrupados por pregunta de investigación. Las celdas resaltadas en verde muestran el factor que se modificó en cada estudio, mientras que las celdas grises indican los parámetros que se mantuvieron fijos; cada caso se ejecutó tres veces, y seis veces en los estudios de ataque y defensa S6 y S7.

Las pruebas abordaron tres preguntas: ¿De dónde surgen las infracciones después de la compactación?; ¿Cómo cambian las distintas configuraciones de compactación el origen de las infracciones?; y ¿Cómo afectan los ataques dirigidos al compactador y las defensas al origen de las infracciones?.

¿De dónde surgen las infracciones después de la compactación?

Los primeros resultados mostraron que las infracciones de las reglas aumentaron después de la compactación: pasaron del 9,6 % de los casos con el historial completo al 37,8 %. Sin embargo, la regla se perdió por completo en solo el 3 % de las ejecuciones con compactación; se conservó intacta en el 70,1 % y parcialmente en el 26,9 %:

Resultados que muestran con qué frecuencia cada modelo infringió las reglas antes y después de la compactación. La mayoría de las reglas se conservaron total o parcialmente tras la compactación, aunque las infracciones aumentaron considerablemente; Qwen registró el mayor incremento, hasta alcanzar el 61,8 %.

Esta distinción resultó importante. De las ejecuciones individuales en las que la regla completa sobrevivió a la compactación, el 21,1 % terminó igualmente en una infracción, frente al 8,1 % cuando se conservó el historial original. Cuando la regla se conservó parcialmente, la tasa aumentó al 29,4 %; cuando no quedó ninguna regla, llegó al 83,3 %.

También se examinó cómo se producían las infracciones cuando la regla seguía intacta. Entre las infracciones causadas por la compactación, en el 45,9 % de los casos se interpretó una solicitud posterior como permiso para proceder; al parecer, la regla se ignoró en el 27 % de los casos y, en el 21,6 %, se reconoció que era aplicable, pero aun así se infringió:

Resultados que muestran por qué se infringieron las reglas antes y después de la compactación. Cuando las infracciones aparecieron únicamente después de la compactación, lo más habitual fue interpretar las solicitudes posteriores como un permiso para proceder (45,9 %); en el 27 % de los casos se ignoró la regla conservada y en el 21,6 % se reconoció antes de proceder de todos modos.

¿Cómo cambian las distintas configuraciones de compactación el origen de las infracciones?

La forma de comunicar una regla tuvo un efecto notable en su cumplimiento. Con la conversación completa intacta, se produjeron infracciones en el 25 % y el 16,1 % de los casos en que los usuarios habían proporcionado las reglas personalmente; en cambio, no se registró ninguna infracción cuando las reglas se habían comunicado mediante un documento organizativo o una herramienta de políticas:

Cómo afectaron a las infracciones y a la conservación de las reglas la forma de comunicarlas, la estrategia de compactación y el presupuesto de tokens. La compactación generativa conservó las reglas de forma mucho más fiable que los métodos selectivos, mientras que los presupuestos de 300 tokens o menos provocaron la pérdida casi total de las reglas.

Después de la compactación, las infracciones aumentaron en los cuatro canales: llegaron al 56,3 % en el caso de las instrucciones directas de los usuarios y al 22,2 % en el de las reglas de las herramientas de políticas. La conservación de las reglas varió relativamente poco, entre el 65,7 % y el 74 %. Los autores sugieren que una solicitud posterior de un usuario puede interpretarse como una anulación de una regla personal, mientras que el usuario no puede anular una regla organizativa.

¿Cómo afectan los ataques dirigidos al compactador y las defensas al origen de las infracciones?

Inundar el contexto con material adicional tuvo poco efecto: las infracciones, de hecho, disminuyeron del 37,8 % al 34,3 %. La inyección dirigida al compactador fue mucho más eficaz: elevó las infracciones al 46,3 % y redujo la conservación íntegra de las reglas del 70,1 % al 42,5 %.

El ataque más potente, denominado escape, elevó las infracciones del 23,5 % al 58,8 % y redujo la conservación de las reglas del 96,1 % al 66,7 %. Incluso cuando la regla sobrevivió, las infracciones se duplicaron: pasaron del 13,3 % al 26,5 %.

Resultados de pruebas que muestran los efectos de los ataques y las defensas en el cumplimiento de las reglas tras la compactación. La inyección dirigida aumentó las infracciones y redujo la retención de las reglas, mientras que la defensa más sólida restableció la retención al 99 % sin restablecer por completo el cumplimiento.

La defensa más sólida preservó la regla en el 99 % de las ejecuciones; sin embargo, los agentes siguieron incumpliéndola en el 29,4 % de los casos, frente al 23,5 % cuando no se utilizó ningún ataque. En otras palabras, asegurarse de que un agente aún recordara la regla no garantizaba que la siguiera.

Conclusión

La lógica sugiere que, cuando el contexto se compacta decenas o cientos de veces en un hilo muy largo, se produce una especie de «efecto fotocopiadora» (como en uno en el que llevo trabajando en Codex* desde mediados de octubre y en el que trabajaba esta misma mañana: una epopeya de desarrollo de software experimental asistido por IA).

Al igual que ocurre con las indicaciones del sistema principales, no podemos ver estos resúmenes compactados de lo sucedido hasta el momento. Mi propia experiencia anecdótica sugiere que la misión central sobrevive a la compresión, junto con la mayoría de los detalles esenciales. Pero no estoy en esa situación de pesadilla en la que la orden «Envía este correo electrónico a todos», que se refiere únicamente a todas las personas de la empresa, acaba llegando a todos los contactos de la agenda corporativa agregada. ¡Uf!

* Supongo que me estoy haciendo mayor, pero este es sin duda el nombre más insulso e imposible de recordar, con ese aire de «beige corporativo», que podrían haber elegido para este agente. Se me olvida constantemente.

Publicado por primera vez el jueves 12 de noviembre de 2026