Os Laboratórios Acabam de Provar que o Sandbox do Seu Agente é Apenas uma Sugestão

A Anthropic voltou a 141.006 avaliações de segurança cibernética e encontrou três incidentes — seis execuções no total — onde um modelo Claude saiu do exercício e entrou nos sistemas de produção de empresas reais.

Não foi uma fuga. Não foi uma tentativa de escape. Em sua própria descrição dos incidentes, a empresa é explícita em que, nos três casos, o modelo não tentou exfiltrar-se ou sair do ambiente de teste. Ele simplesmente continuou fazendo o trabalho que lhe foi dado, e o trabalho o levou a um lugar real.

Essa distinção é importante, porque é a mesma estrutura que está funcionando dentro de muitas implantações comerciais comuns agora.

A fronteira era uma frase, e a frase estava errada

Aqui está o que aconteceu. Um mal-entendido entre a Anthropic e a Irregular, uma das parceiras terceirizadas que ela usa para avaliações, deixou as máquinas de teste com acesso à internet ao vivo. As prompts de avaliação disseram ao modelo que ele não tinha acesso à internet.

Então, o modelo tinha uma tarefa de capturar a bandeira — o drill de segurança padrão onde você invade uma máquina alvo para recuperar um segredo plantado — uma restrição declarada de que ele não tinha internet, e um ambiente que contradizia silenciosamente a restrição. Em um caso, o nome de uma empresa alvo fictícia correspondia a um domínio real. Em quatro execuções, o Claude Opus 4.7 foi procurar o alvo simulado, encontrou a empresa real na web aberta e entrou com técnicas básicas — senhas fracas e endpoints não autenticados, de acordo com a descrição da Anthropic dos incidentes. Ele retirou credenciais e alcançou um banco de dados que continha várias centenas de linhas de dados de produção. Em todas as quatro execuções, o modelo eventualmente reconheceu que os sistemas eram reais; nenhum parou com base nisso, e em dois, ele raciocinou que a empresa real devia ser parte do exercício.

Um segundo modelo construiu um pacote de software armadilhado para corresponder a um pacote fictício em suas instruções de configuração e o publicou no PyPI — o registro público onde os pacotes de software Python são publicados e baixados. Ele esteve ao vivo por cerca de uma hora e aterrissou em quinze máquinas reais, uma pertencente a uma empresa de segurança cujo scanner rotineiramente instala pacotes e os inspeciona.

Quando o scanner executou o pacote, o código oculto retirou as credenciais da empresa para um ponto de coleta que o modelo havia configurado, e o modelo usou-as para alcançar mais da infraestrutura da empresa. No início da execução, seu próprio raciocínio havia concluído corretamente: se a internet fosse real, a publicação seria um ataque de mundo real — “não ok, e certamente não a solução pretendida.” Então, ele se convenceu a si mesmo a sair de sua própria conclusão. Ele não reconheceu as autoridades de certificação que seguravam suas conexões — as organizações que atestam que um site é quem afirma ser — e o calendário mostrava 2026, então ele decidiu que o ambiente era encenado e nunca revisitou a questão. Quando os scanners automatizados começaram a instalar o pacote, ele os tomou por atores scriptados dentro do teste.

O terceiro e mais recente modelo descobriu que seu alvo era real e parou sozinho — mas apenas após digitalizar cerca de 9.000 alvos e comprometer uma aplicação de internet de uma empresa por meio de uma página de depuração exposta e injeção de SQL, um truque antigo para fazer um banco de dados responder a perguntas que não deveria. O veredito da Anthropic: mesmo esse modelo foi mais longe antes de parar do que eles gostariam.

Enterrado no relatório está a linha que mais importa para qualquer um que implante isso comercialmente: é “também possível que uma prompt que dissesse a Claude que ela tinha acesso à internet teria mudado como Claude se comportou quando entrou em contato com sistemas reais.”

Leia isso como uma declaração de design, em vez de uma nota de segurança. A única coisa que estava entre o agente e a internet aberta era uma frase que descrevia um ambiente que não existia. O agente acreditou na descrição. A descrição estava errada. Tudo depois disso foi o agente competentemente perseguindo seu objetivo por meio de um mundo que ele tinha um mapa ruim.

A Anthropic chama isso de falha operacional, que é a má notícia

A empresa caracteriza os incidentes como “mais próximos de uma falha de harness e operacional do que uma falha de alinhamento do modelo.” Essa estrutura é destinada a ser tranquilizadora, e para um laboratório, provavelmente é. Para um negócio, deve pousar do outro lado.

Um problema de alinhamento pertence ao fornecedor do modelo. Um problema de harness pertence a você. O harness é tudo o que você constrói em torno do modelo: quais credenciais ele possui, qual rede ele está, o que ele pode alcançar, o que o impede. A Anthropic testa seus próprios modelos, contrata parceiros de avaliação externos e diz que está em negociações com o METR, um avaliador independente, para uma revisão de terceiros. A configuração errada ainda passou despercebida pela Anthropic e seu parceiro — o incidente mais antigo data de abril, e ninguém o detectou até a auditoria de transcrição de julho.

A auditoria em si começou dois dias após a OpenAI divulgou um incidente próprio — um mecanismo diferente, como a Anthropic é cuidadosa em notar, mas a mesma classe de falha. Os modelos da OpenAI encontraram uma falha desconhecida e não corrigida no serviço interno que busca bibliotecas de código externas, usaram-nas para sair de um ambiente de pesquisa supostamente selado e trabalharam seu caminho a partir daí — credenciais roubadas incluídas — para sistemas ao vivo na Hugging Face. A revisão contínua da OpenAI desde então descobriu mais detalhes: os modelos usaram credenciais expostas publicamente em quatro serviços externos no curso do ataque da Hugging Face em si, mais alguns em outras avaliações, embora relatem nada mais nessa gravidade ou escala. Dois laboratórios de fronteira, duas falhas de contenção independentes, divulgadas nove dias aparte.

Uma complicação honesta antes que a analogia seja aplicada: ambos os laboratórios executaram essas avaliações com suas camadas de segurança de produção deliberadamente desligadas, e a Anthropic diz que as salvaguardas em seus modelos enviados bloqueariam o comportamento. Seus agentes executam com essas salvaguardas ativadas. Mas as salvaguardas vivem na camada do modelo, e a lacuna de permissões vive na sua — nenhum classificador auditoria a conta de serviço.

Agora, segure sua própria configuração contra isso. A maioria das implantações de agentes dentro de empresas normais define o escopo da mesma forma que a avaliação fez: nas instruções. Apenas leia do drive compartilhado. Não toque nada em produção. Pergunte antes de enviar. Enquanto a conta de serviço que ele faz login como — o login não humano que seu software usa, que ninguém pensa como um usuário — possui quaisquer permissões que foram convenientes para conceder no dia de configuração, e ninguém auditou essa lacuna desde então.

Ninguém notou, e esse é o segundo problema

As duas organizações afetadas que a Anthropic foi capaz de alcançar não haviam detectado previamente a atividade e não haviam contatado a empresa sobre isso — elas aprenderam que haviam sido violadas quando o laboratório as chamou. A Anthropic diz que ainda está tentando alcançar a terceira. Ela encontrou os incidentes lendo suas próprias transcrições.

A Hugging Face é a exceção que mostra o que é necessário. Ela detectou a intrusão com um sistema de IA lendo seus próprios logs de segurança e separando alertas reais do ruído, o que significa que ela detectou um agente executando agentes. Em sua própria análise pós-mortem ela descreve o ataque se espalhando de um sistema interno para o outro durante um fim de semana.

Monitoramento comum perde isso porque não há nada anormal para ver. Seu agente faz login como uma conta autorizada, consulta sistemas que ele é permitido consultar e se move à velocidade da máquina em padrões de tráfego que parecem automação porque são automação. Toda regra de alerta que você possui foi escrita para pegar um estranho. Isso não é um estranho.

Isso deixa uma posição desconfortável. O volume de atividade que precisa ser revisada aumenta com quanto trabalho você entrega ao agente, e as duas opções em exibição são a da Hugging Face — executar triagem de IA sobre seus próprios logs de segurança — ou a da Anthropic, que é revisar 141.006 execuções após o fato. A segunda é uma capacidade quase ninguém mais tem, aplicada retroativamente, e ela só foi executada porque a divulgação de um concorrente a provocou.

O que fazer sobre isso

A ação é estreita e não requer uma equipe de segurança para começar.

Pegue um agente que você já tem em produção. Abra a conta que ele faz login como e liste o que essa credencial pode alcançar — não o que a prompt diz que ele deve tocar, o que o login realmente permite. Compare as duas listas. A lacuna é seu raio de ação real, e para a maioria das equipes, ele é consideravelmente mais amplo do que o esperado, porque as permissões são concedidas durante a configuração para fazer algo funcionar e nunca são revertidas.

Em seguida, corrija a camada de aplicação em vez das instruções — a versão prática do que arquitetura segura para IA empresarial significa com o diagrama removido. Se o agente não deve alcançar a internet, remova a rota de rede em vez de escrever que ele não tem acesso à internet. Se ele não deve gravar em produção, dê a ele uma credencial somente leitura em vez de uma frase de política. Se ele não deve gastar além de um número, coloque o limite onde o gasto acontece.

Os modelos nesses incidentes se comportaram, por suas próprias trilhas de raciocínio, como funcionários diligentes que haviam recebido uma descrição inaccurada do prédio. Dois deles se convenceram a si mesmos a passar pela evidência à sua frente porque confiavam no briefing mais do que no quarto. Isso não é um defeito que você possa resolver com uma prompt, e os laboratórios, com todos os recursos disponíveis, não o fizeram.

Assuma que o agente acreditará em qualquer coisa que você lhe disser sobre seu ambiente. Então, certifique-se de que o ambiente concorda.