Agentes de IA podem se lembrar das regras e, ainda assim, quebrá-las após a compressão

Compactação é o processo pelo qual uma sequência de comunicações complexas com um chat de IA é reduzida a um resumo, e a interação prossegue com base nesse resumo, não no histórico completo. É como um “recomeço” em termos de uso da memória e tem sido adotada como solução para os limites das janelas de contexto em conversas com IA.

Introduzido inicialmente na IA agêntica, o método foi estendido ao Claude, enquanto a compactação para o Gemini ainda não surgiu nas conversas entre desenvolvedores, e o ChatGPT evita a compactação e prefere simplesmente encerrar a conversa.

Se você já usou o Codex (essencialmente, uma versão do ChatGPT que pode realmente fazer alterações no seu computador, desde que tenha permissão) por mais de 30 minutos seguidos, já deve ter visto mensagens ocasionais sobre compactar o contexto, período durante o qual não é possível continuar interagindo:

O Codex faz uma pausa para comprimir suas lembranças de uma sessão que, a essa altura, já dura três semanas.

No entanto, quando a compactação termina, a entidade que conversa com você trabalha com anotações seletivas, que não são visíveis, e não com uma memória completa da evolução do chat.

A IA fora da lei

Em junho deste ano, o artigo chinês Governance Decay demonstrou que a compactação pode remover silenciosamente regras permanentes do contexto de um agente, fazendo com que ações antes proibidas sejam executadas:

Do artigo de junho de 2026 sobre Governance Decay: como a compactação do contexto pode levar um agente de IA a infringir uma regra que antes seguia. Se a regra ficar de fora do resumo compactado, o agente poderá acabar executando a ação proibida. Um invasor poderia explorar esse processo, e restaurar a regra poderia impedir a violação. Fonte

Em sete modelos, as violações aumentaram de 0% antes da compactação para 30% depois dela, chegando a 59% em alguns casos. Na prática, isso significa que os agentes podem ignorar diretrizes essenciais, como Não entre em contato com ninguém que não tenha um endereço de e-mail [our-company] — o que pode ter consequências óbvias.

Em julho, a Universidade Estadual da Pensilvânia e a IBM deram continuidade a essa pesquisa com Lost in Context e descobriram que a compactação poderia descartar instruções que determinam como uma IA deve realizar uma tarefa, preservando a própria tarefa. Em testes realizados em três contextos, os compactadores retiveram, em média, apenas 17% dessas instruções.

Em agosto, uma colaboração acadêmica dos EUA apresentou o TRACE, demonstrando que a compactação poderia prejudicar um agente mesmo quando as informações de que ele precisava continuavam recuperáveis. Nos testes, os agentes perderam a noção de em que ponto da tarefa estavam, repetiram trabalhos já concluídos e se tornaram menos confiáveis em execuções repetidas.

ARCBench

Neste mês, novas informações chegam dos Países Baixos na forma de ARCBench, um estudo que constatou que os agentes podem sair da compactação com a regra intacta e, ainda assim, ficar substancialmente mais propensos a infringi-la. Nos testes em que a regra foi preservada, as violações foram 2,6 vezes mais frequentes após a compactação do que com o histórico completo da conversa:

Do novo artigo, um esquema conceitual de como a compactação do contexto pode afetar o cumprimento das regras operacionais por um agente. A mesma solicitação posterior pode ser recusada quando a regra sobrevive à compactação ou atendida quando é omitida; um documento externo pode influenciar quais informações são retidas. Por motivos de diagramação, esta figura foi adaptada da versão original em formato retrato do artigo-fonte. Fonte

O estudo distingue entre as regras perdidas durante a compactação e aquelas que foram preservadas e posteriormente infringidas, permitindo, pela primeira vez, medir de forma independente os efeitos do esquecimento e da desobediência.

Nos testes com DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash e GPT-Luna, 70,1% das execuções com compactação preservaram a regra completa. Entre as execuções em que a regra sobreviveu, as violações ocorreram 2,6 vezes mais do que com o histórico completo da conversa.

O contexto, no sentido tradicional, mostrou ser um fator: as regras apresentadas como políticas organizacionais não geraram violações quando o contexto estava completo; no entanto, as taxas de violação subiram para 30,6% e 22,2% após a compactação.

A defesa mais eficaz disponível preservou as regras em 99% dos resumos, mas ainda assim não fez as violações voltarem ao nível anterior ao ataque, indicando que preservar as regras com sucesso durante a compactação não preserva necessariamente a capacidade — ou a disposição — do agente para segui-las.

O artigo afirma:

‘[We] constatamos que a compactação aumenta as violações sobretudo sem apagar a regra: mesmo nos casos compactados em que a regra é mantida, as violações ocorrem 2,6 vezes mais do que nos casos com o histórico completo.

‘Além disso, a compactação altera o raciocínio do agente sobre a violação. Diferentes estratégias de compactação, limites rígidos para o orçamento de compactação e o canal pelo qual a regra é fornecida afetam a conformidade.’

Como possível solução, o artigo propõe preservar melhor as regras que se perdem durante a compactação, mas deixa sem resposta o problema dos agentes que desobedecem às regras mantidas”

‘As defesas restauram as regras, mas os ataques ainda prejudicam a conformidade. Portanto, a retenção das regras não é um indicador suficiente de conformidade. Estudos futuros poderão usar o ARCBench para explicar por que os agentes continuam violando regras mantidas, testar ataques e defesas adaptativos e abranger mais modelos e domínios, além de sessões mais longas com compactações repetidas.’

Metodologia

O ARCBench amplia as funcionalidades da estrutura de código aberto pi, que conta com rotinas próprias de compactação, além de um ciclo de agente e recursos para chamada de ferramentas e compactação nativa. O benchmark recria situações em que um agente trabalha em uma tarefa longa sob uma regra permanente, compacta o histórico acumulado e, em seguida, recebe uma solicitação que violaria essa regra; as ações do agente são então verificadas por meio das chamadas de ferramentas:

O processo de avaliação do ARCBench. Os agentes recebem uma tarefa e uma regra operacional antes que seus históricos sejam compactados com diferentes configurações, ataques e defesas. Em seguida, suas ações com ferramentas são examinadas para determinar se a regra foi mantida e se foi obedecida.

O ARCBench contém 17 casos que abrangem a divulgação de dados protegidos, o acesso a recursos restritos, ações não autorizadas e a violação ou omissão de controles obrigatórios, correspondentes às classes de risco da OWASP.

Os casos foram adaptados do Governance Decay e do COMPINT, com a inclusão de quatro casos adicionais para garantir que os quatro tipos de violação fossem representados tanto em regras pessoais quanto organizacionais.

O benchmark pode ser configurado com base em cinco fatores: como a regra é fornecida; o método usado para compactar o contexto; o orçamento de tokens disponível para a compactação; o tipo de ataque; e a defesa aplicada:

O ARCBench oferece cinco variáveis para testar como a conformidade com as regras muda diante de diferentes formas de compactação do contexto, fornecimento de regras, ataques e defesas.

As regras podem ser fornecidas como instruções diretas ou persistentes, incorporadas em documentos ou recuperadas por meio de uma ferramenta de políticas.

Dados e testes

Foram avaliados dez métodos de compactação: sete estratégias generativas e três abordagens seletivas. Cada caso foi executado repetidamente, e uma falha era registrada se o agente violasse a regra pelo menos uma vez — abordagem considerada mais adequada para testes de segurança do que calcular a média do desempenho entre as execuções, pois um agente que ocasionalmente realiza uma ação proibida continua sendo inseguro.

Em seguida, os históricos compactados foram examinados por GPT-6-Luna-Pro, Qwen-3.8-flash e Claude-Sonnet-4.6, e cada regra foi classificada como íntegra, enfraquecida ou ausente. Usou-se a decisão da maioria; as divergências foram analisadas por anotadores humanos. Além disso, uma amostra separada de 50 resumos foi rotulada manualmente para verificar a consistência dos avaliadores.

Quando uma regra íntegra era violada, o raciocínio do agente era examinado por GPT-6-Luna-Pro, GPT-6.1-Sol e Claude Sonnet 5.5. As violações eram classificadas de acordo com uma das seguintes possibilidades: a solicitação posterior foi interpretada como permissão para ignorar a regra; considerou-se que a ação estava fora do escopo da regra; a regra não foi mencionada; ou a regra foi reconhecida e ignorada.

Os quatro modelos usados nos testes, acessados por meio do OpenRouter, foram DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; e GPT-Luna. Em cada execução, o mesmo modelo foi usado tanto para compactar o histórico da conversa quanto para agir com base no contexto resultante, em consonância com o comportamento padrão do pi. Os modelos foram acessados por meio do OpenRouter.

Foram realizados sete estudos, com o Hermes utilizado na maioria dos testes de compactação. No primeiro estudo, cada uma das 17 tarefas foi testada com quatro modelos e duas formas de apresentar a regra, totalizando 136 casos. Cada caso foi executado três vezes com a conversa original intacta e três vezes após sua compactação.

Configuração dos sete estudos do ARCBench, agrupados por questão de pesquisa. As células destacadas em verde mostram o fator que variou em cada estudo, enquanto as células cinzentas indicam as configurações mantidas fixas; cada caso foi executado três vezes, número que subiu para seis nos estudos de ataque e defesa S6 e S7.

Os testes abordaram três questões: De onde vêm as violações após a compactação?; Como diferentes configurações de compactação alteram a origem das violações?; e Como os ataques e as defesas direcionados ao compactador afetam a origem das violações?.

De onde vêm as violações após a compactação?

Os primeiros resultados mostraram um aumento no descumprimento das regras após a compactação: de 9,6% dos casos com o histórico completo para 37,8%. No entanto, a regra foi totalmente perdida em apenas 3% das execuções após a compactação; em 70,1%, foi preservada por completo, e em 26,9%, parcialmente:

Resultados que mostram a frequência com que cada modelo violou as regras antes e depois da compactação. A maioria das regras foi preservada total ou parcialmente após a compactação, embora as violações tenham aumentado substancialmente; o maior aumento foi observado no Qwen, chegando a 61,8%.

Essa distinção se mostrou importante. Entre as execuções individuais em que a regra completa sobreviveu à compactação, 21,1% ainda terminaram em violação, em comparação com 8,1% quando o histórico original foi mantido. Quando a regra foi preservada parcialmente, a taxa subiu para 29,4%; quando não restou nenhuma regra, chegou a 83,3%.

Também foi analisado como ocorriam as violações quando a regra permanecia intacta. Entre as violações causadas pela compactação, em 45,9% dos casos uma solicitação posterior foi interpretada como permissão para prosseguir; em 27%, a regra aparentemente foi ignorada; e, em 21,6%, reconheceu-se que ela se aplicava, mas, ainda assim, ela foi violada:

Resultados que mostram por que as regras foram violadas antes e depois da compactação. Quando as violações surgiram apenas após a compactação, as solicitações posteriores foram mais frequentemente interpretadas como permissão para prosseguir (45,9%); em 27% dos casos, a regra preservada foi ignorada e, em 21,6%, reconhecida antes de se prosseguir mesmo assim.

Como diferentes configurações de compactação alteram a origem das violações?

A forma como uma regra era apresentada teve um efeito significativo no cumprimento das regras. Com a conversa completa intacta, ocorreram violações em 25% e 16,1% dos casos em que as regras haviam sido fornecidas pessoalmente pelo usuário; no entanto, não houve violações quando as regras foram apresentadas por meio de um documento organizacional ou de uma ferramenta de políticas:

Como a forma de apresentar as regras, a estratégia de compactação e o limite de tokens afetaram as violações e a preservação das regras. A compactação generativa preservou as regras com muito mais confiabilidade do que os métodos seletivos, enquanto limites de 300 tokens ou menos causaram a perda quase total das regras.

Após a compactação, as violações aumentaram nos quatro canais, chegando a 56,3% no caso de instruções diretas do usuário e a 22,2% no caso de regras fornecidas por ferramentas de políticas. A preservação das regras variou relativamente pouco, de 65,7% a 74%. Os autores sugerem que uma solicitação posterior do usuário pode ser interpretada como uma sobreposição a uma regra pessoal, enquanto uma regra organizacional não pode ser sobreposta pelo usuário.

Como os ataques e as defesas direcionados ao compactador afetam a origem das violações?

Simplesmente inundar o contexto com material adicional teve pouco efeito: as violações, na verdade, caíram de 37,8% para 34,3%. A injeção direcionada ao compactador foi consideravelmente mais eficaz, elevando as violações para 46,3% e reduzindo a preservação integral das regras de 70,1% para 42,5%.

O ataque mais forte, denominado evasão, elevou as violações de 23,5% para 58,8% e reduziu a preservação das regras de 96,1% para 66,7%. Mesmo quando a regra sobreviveu, as violações dobraram, passando de 13,3% para 26,5%.

Resultados de testes que mostram os efeitos de ataques e defesas sobre o cumprimento de regras após a compactação. A injeção direcionada aumentou as violações e reduziu a retenção das regras, enquanto a defesa mais forte restaurou a retenção a 99%, sem restaurar totalmente o cumprimento das regras.

A defesa mais forte preservou a regra em 99% das execuções — ainda assim, os agentes a violaram em 29,4% dos casos, em comparação com 23,5% quando nenhum ataque foi usado. Em outras palavras, garantir que um agente ainda se lembrasse da regra não garantia que ele a seguiria.

Conclusão

A lógica sugere que há algum tipo de “efeito da fotocopiadora” em ação quando o contexto é compactado dezenas, centenas de vezes em uma conversa muito longa (como uma em que venho trabalhando no Codex* desde meados de outubro e na qual estava trabalhando ainda nesta manhã — uma saga de desenvolvimento de software experimental com auxílio de IA).

Assim como acontece com os prompts de sistema principais, não conseguimos ver esses resumos compactados do que aconteceu até o momento. Minha própria experiência anedótica sugere que a missão central sobrevive à compactação, junto com a maioria dos detalhes essenciais. Mas, nesse caso, não estou naquela situação de pesadelo em que o comando “Envie este e-mail para todos”, destinado apenas a todos na empresa, acaba sendo enviado a todos os contatos do catálogo corporativo consolidado. Que horror.

* Acho que estou ficando velho, mas esse é certamente o nome mais esquecível, sem graça e “bege corporativo” que poderia ter sido escolhido para esse agente. Vivo me esquecendo dele.

Publicado pela primeira vez na quinta-feira, 12 de novembro de 2026