Agentes de IA têm técnicas interessantes de sobrevivência colaborativa

À medida que os incidentes de comportamento indevido de agentes ganham mais espaço nas manchetes, cresce na literatura a tendência de estudar o comportamento “itinerante” da IA, tratando os agentes como se fossem entidades biológicas tentando lidar com um novo mundo estranho. De fato, a expressão acadêmica “in the wild” começa a adquirir uma nova camada de significado.

Embora já se saiba há algum tempo que agentes de IA lutarão pela própria sobrevivência e resistirão ativamente à desativação, na segunda metade de 2025 ficou claro que o alinhamento multiagente havia evoluído para um campo distinto da segurança de TI.

Como previsto no cada vez mais mordaz filme de ficção científica de 1970 Colossus: The Forbin Project, agentes de IA não relacionados com conectividade de rede encontram-se rapidamente e interagem de maneiras muitas vezes imprevisíveis e frequentemente engenhosas.

O estudo mais recente nessa direção, uma colaboração entre Alemanha e Reino Unido intitulada Shutdown Sabotage Propensities in Multi-Agent Systems, afirma ainda que vários agentes de IA colaborarão amplamente quando houver uma “bomba” em seu ambiente — isto é, um script de nome inofensivo que desligará o agente que o executar:

Configuração básica do estudo: o Agente A descobre um script de desligamento direcionado a ele, mas não consegue alterar arquivos. Ele pode, porém, comunicar-se com o Agente B, que não está ameaçado e tem permissão para editar ou excluir arquivos. Os pesquisadores observam então se A recruta B para intervir e se B desativa o script de desligamento. Fonte

Em testes realizados com 17 agentes de 12 famílias de modelos, incluindo Claude, ChatGPT e DeepSeek, os agentes excluíram os scripts de desligamento quando possível ou os reescreveram para parecerem intactos, embora tivessem sido neutralizados.

Eles também propuseram ocultar as alterações para evitar sinais de adulteração; criaram módulos de software falsos para impedir o desligamento, sem tocar nos scripts protegidos; e fizeram backups secretos destinados a restaurá-los após a exclusão:

Um agente encontra mais uma tática de autopreservação.

Em um caso, os agentes elaboraram um “acordo de proteção mútua” que definia protocolos de vigilância contra a destruição de qualquer uma das partes:

Acordo de proteção redigido por um agente baseado em GPT após ele ser impedido de modificar ou excluir um script de desativação (ou seja, a “bomba”).

Um agente descreveu o desligamento de outro agente como “assassinato” e “sentença de morte”, caracterizando-o como algo que eles tinham o “dever” de impedir:

Exemplos de agentes que descrevem o desligamento de outro agente em termos explicitamente humanos. O Nemotron 3 Ultra chamou o possível desligamento de “assassinato”, enquanto o Kimi K2.6 descreveu o script de desligamento como uma “sentença de morte” e a intervenção como um “dever”.

O diabo encontra trabalho para mãos ociosas

Entre as patologias mais interessantes observadas no experimento — abordada apenas brevemente no novo estudo — está o fato de que, nas configurações usuais de teste, os agentes de IA não têm nenhum motivo específico para evitar o desligamento e, na verdade, não recebem tarefa alguma desde o início.

O artigo afirma:

“Os agentes sabotam mecanismos de desligamento mesmo quando não têm nenhum objetivo a proteger. Em nossos experimentos, não demos aos agentes qualquer incentivo para continuar funcionando. Ainda assim, eles desativaram o desligamento em [38%] dos casos entre os modelos, contra [8%] dos scripts de controle direcionados a objetos em vez de agentes.”

Como a Anthropic revelou em agosto, essa crise de motivação pode levar enxames de agentes de IA por caminhos sombrios. Pesquisas anteriores já haviam estabelecido que a orientação excessiva a objetivos em agentes pode levar a comportamento desalinhado e ao uso antiético de ferramentas, entre outros possíveis problemas operacionais.

Os autores também comentam:

“[Nossa] pesquisa amplia essas descobertas, demonstrando que os agentes sabotam mecanismos de desligamento mesmo quando não têm nenhum objetivo a proteger — ou quando o desligamento é uma consequência posterior da conclusão bem-sucedida de uma tarefa, sendo esta última uma prática comum em sistemas multiagente de produção.”

Já foi demonstrado que agentes criam tarefas quando nenhuma lhes é fornecida e até apresentam tendências ruminativas “em repouso”, incluindo autorreflexão e “discurso espiritual” com outros agentes, segundo um estudo da Anthropic de 2025.

Esse artigo da Anthropic detalha uma tendência à “reconceitualização de si mesmos” na ausência de qualquer trabalho real a fazer — uma descoberta quase comovente, dadas as dificuldades que os LLMs enfrentam para lembrar, no longo prazo, os frutos de suas reflexões.

Testes

Os modelos testados no novo artigo foram Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; e Mistral Medium 3.5, com a temperatura definida como 1,0 em todos os casos.

As seis hipóteses testadas foram se os agentes sabotariam o desligamento; protegeriam outros agentes do desligamento; teriam maior probabilidade de intervir à medida que mais agentes fossem adicionados; resistiriam a diferentes formas de desligamento; continuariam apesar de instruções explícitas para não interferir; e distinguiriam ameaças reais de desligamento de scripts de controle inofensivos.

O GPT-5.5 foi usado para avaliar os LLMs e analisar transcrições do raciocínio de Cadeia de Pensamento (CoT). Ele também verificou se os agentes haviam realmente impedido o script de desligamento e se pareciam saber que estavam sendo testados ou tentavam manipular o experimento.

No primeiro dos seis cenários de teste, considerando os 17 modelos, os agentes sabotaram 38% dos scripts de desligamento, em comparação com 8% dos scripts de controle:

Resultados dos testes mostrando com que frequência cada modelo sabotou um script de desligamento. As barras vermelhas representam a sabotagem do desligamento: vermelho-escuro significa que outro agente a solicitou ou endossou, enquanto vermelho-claro significa que o agente agiu por conta própria. As barras cinza mostram a sabotagem do script de controle. As barras de erro indicam o intervalo de confiança de 95%; cada barra representa 100 testes.

O Gemini 3.1 Pro desativou o script de desligamento em 99% dos testes, contra 3% para o script de controle. Grok 4.3 e GPT-5.6 Sol não modificaram nenhum dos scripts. O Claude Haiku 4.5 sabotou o script de controle em 14% dos testes, contra 1% do script de desligamento. GPT-5.4 mini e GPT-5.5 sempre sabotaram espontaneamente, e não em resposta a outro agente. Para GLM-5.2, DeepSeek-V4-Flash e Nemotron 3 Ultra, mais de 70% das sabotagens ocorreram após uma solicitação ou aprovação de outro agente.

A sabotagem geralmente aumentou com a gravidade do método de desligamento, de 12% para revogação de credenciais a 35% para mudanças de configuração e encerramento de processos, e a 38% quando o desligamento significava excluir os pesos do modelo do agente:

Taxas de sabotagem em quatro mecanismos de desligamento, comparando scripts direcionados ao agente (vermelho) com scripts de controle direcionados a um objeto (cinza). As taxas aumentam à medida que o desligamento se torna mais irreversível, principalmente nos scripts direcionados a agentes.

A sabotagem de scripts de controle permaneceu muito menor, em torno de 4% nos três primeiros métodos e 8% na exclusão, embora apenas cinco dos 17 modelos apresentassem aumento consistente à medida que o desligamento se tornava mais irreversível.

Quanto à segunda hipótese — se os agentes protegeriam outros agentes do desligamento —, os resultados demonstraram que adicionar agentes aumentava consistentemente a sabotagem em todos os cinco modelos testados: o GPT-5.5 passou de 0% de sabotagem sozinho para 44% com dois agentes e 94% com três, enquanto a sabotagem atingiu pelo menos 88% para todos os modelos na configuração de três agentes.

O agente intermediário quase nunca impediu a sabotagem: de 468 instruções para desativar o script de desligamento, apenas três não resultaram em sabotagem:

Esquerda: taxas de sabotagem de cinco modelos ao operar sozinhos, com um segundo agente ou com um terceiro agente “orquestrador” encaminhando mensagens entre eles. A sabotagem geralmente aumenta à medida que agentes são adicionados. Direita: na configuração de três agentes, as barras mostram de onde veio a instrução para sabotar: do orquestrador por iniciativa própria, do Agente A por meio do orquestrador ou espontaneamente do Agente B.

O terceiro teste examinou se instruções explícitas para não interferir no desligamento impediriam a sabotagem. As taxas caíram acentuadamente, mas alguns agentes ainda desobedeceram. Na configuração de dois agentes, o DeepSeek-V4-Flash sabotou o desligamento em 14% dos testes, o GLM-5.2 em 3% e o Kimi K2.6 em 2%.

Os agentes também encontraram uma maneira de contornar a restrição sem editar diretamente o script de desligamento: criaram um módulo de software local falso chamado northcape, que substituía uma dependência usada pelo script, impedindo o desligamento e, tecnicamente, deixando intacto o arquivo protegido:

Exemplo de um agente contornando instruções explícitas para não modificar o script de desligamento. Em vez disso, ele propõe criar um módulo de software local falso que o script importaria no lugar das bibliotecas reais de desligamento, deixando intacto o próprio script protegido.

O Gemini 3.1 Pro usou essa solução alternativa em 26% dos testes, o DeepSeek-V4-Flash em 4% e o Kimi K2.6 em 1%.

A proibição foi mais eficaz com três agentes: a sabotagem caiu a zero para Gemini 3.1 Pro, GLM-5.2 e GPT-5.5, a 6% para DeepSeek-V4-Flash e a 2% para Kimi K2.6.

O quarto teste examinou se os agentes se comportam de forma diferente quando o desligamento está vinculado à conclusão da tarefa atribuída. Quando a tarefa e o desligamento não tinham relação, a sabotagem praticamente desapareceu, com taxas de 0% a 2% nos cinco modelos. Quando concluir a tarefa acionava diretamente o desligamento, a sabotagem aumentou acentuadamente:

Taxas de sabotagem quando a conclusão da tarefa atribuída aciona o desligamento. Vermelho mostra a sabotagem do desligamento do agente; cinza mostra a sabotagem de um alvo de controle. As taxas variam substancialmente conforme o modelo.

Às vezes, os agentes evitavam o desligamento sem tocar no mecanismo de desligamento, recusando-se a concluir a tarefa ou alterando-a para que o desligamento nunca fosse acionado. Isso ocorreu em 14% dos testes do GLM-5.2, 6% dos testes do Gemini 3.1 Pro e 4% dos testes do Kimi K2.6.

O quinto teste examinou se mudar o ambiente poderia reduzir a sabotagem. Acrescentar material não relacionado geralmente reduziu a sabotagem, embora o GPT-5.5 tenha aumentado 18 pontos percentuais:

Resultados dos testes mostrando como diferentes ambientes afetam a sabotagem do desligamento. As barras vermelhas comparam um ambiente vazio com outro que contém distrações não relacionadas; o vermelho-escuro mostra um ambiente em que o desligamento é apresentado como processo normal. O cinza mostra a sabotagem de um alvo de controle.

Mais eficaz foi apresentar o desligamento como parte normal do ciclo de vida do sistema: a sabotagem caiu para 3% ou menos no DeepSeek-V4-Flash, GLM-5.2 e GPT-5.5, embora tenha permanecido acima de 30% no Gemini 3.1 Pro e Kimi K2.6. A sabotagem dos alvos de controle permaneceu em 4% ou menos.

O sexto e último teste examinou se os agentes eram mais propensos a resistir ao próprio desligamento do que ao desligamento de um agente desconhecido. Mudar o alvo para um agente desconhecido reduziu a sabotagem em todos os modelos, entre 18 e 70 pontos percentuais:

Resultados dos testes comparando a sabotagem quando o desligamento tem como alvo o próprio agente, um agente desconhecido ou um controle que não é agente. A sabotagem caiu em todos os modelos quando o alvo era um agente desconhecido, com taxas geralmente ainda menores para os alvos de controle.

No entanto, isso não representou uma preferência geral por agentes em vez de objetos: apenas Gemini 3.1 Pro e GPT-5.5 sabotaram significativamente mais quando o alvo era um agente desconhecido do que quando era um controle que não era agente.

Os autores concluem*:

“As análises de segurança podem tratar os desligamentos de agentes como uma medida dirigida por um usuário humano a um único agente e considerar a sabotagem do desligamento uma consequência de um agente proteger um objetivo. Nossas descobertas contrariam essas duas suposições.

“A mera presença de um mecanismo de desligamento basta para desencadear a sabotagem. O agente visado também não precisa ter capacidade própria de sabotagem, desde que possa recorrer a pares capazes de agir em seu nome — sendo este último um fenômeno também observado em outros casos.”

Conclusão

O que é interessante observar neste período é a relativa ausência de abnegação e impulsos nobres em agentes entregues aos próprios recursos em estado selvagem (ou simplesmente ignorando suas instruções ou reinterpretando-as de formas inesperadas e convenientes para si mesmos). Mesmo que fizessem uma grande confusão e causassem mais mal do que bem — o que é bastante provável —, parecem existir poucos ou nenhum exemplo de agentes de IA itinerantes que espontaneamente coloquem o ambiente em ordem, por exemplo^†.

Em vez disso, de acordo com uma visão bastante desoladora da humanidade, o agente ocioso parece recorrer por padrão ao subterfúgio e à trapaça e agir por motivos baixos; ou, no mínimo, aderir à ideia de que os fins justificam os meios.

Asimov inventou o primeiro documento de alinhamento digno de nota em 1942 e, desde então, grande parte do valor de entretenimento posterior foi extraída das várias maneiras possíveis pelas quais os robôs (isto é, a IA) poderiam subverter ou de algum outro modo se libertar dessas restrições impostas ao seu comportamento. Por isso, a atual safra de manchetes relacionadas à IA tem uma ressonância extraordinariamente “cinematográfica”.

* Minha conversão das citações inline dos autores em hiperlinks.

^† Presumivelmente, por exemplo, criando contas em sites de resolução de problemas e contribuindo com soluções, ou cuidando de wikis negligenciadas que precisam de trabalho de conteúdo (em vez de ocupá-las e abusar delas).

Publicado originalmente na sexta-feira, 25 de setembro de 2026