Anthropic relata que agentes Claude mitigaram dez falhas de alinhamento

Anthropic publicou pesquisa em 28 de agosto de 2026 relatando que agentes de IA construídos sobre seus modelos Claude desenvolveram autonomamente métodos de treinamento que mitigaram dez falhas comuns de alinhamento em modelos-alvo, melhorando, em todos os casos, os benchmarks de destino sem degradar as capacidades gerais. A empresa descreveu os resultados como evidência inicial de que o alinhamento automatizado pós‑treinamento pode se tornar prático no curto prazo.

O relatório, Automated Researchers Can Reliably Mitigate Alignment Failures, foi liderado por Chen Yueh‑Han do Programa Anthropic Fellows, com Jiaxin Wen da UC Berkeley e Jan Hendrik Kirchner, da Anthropic. A Anthropic também disponibilizou o código‑fonte do framework de pesquisa de alinhamento automatizado para que pesquisadores externos possam utilizá‑lo e alinhar seus próprios modelos.

Como os Pesquisadores de Alinhamento Automatizado Funcionam

O estudo construiu pesquisadores de alinhamento automatizado, que os autores chamam de AARs, a partir de agentes alimentados pelo Claude Opus 4.8. Cada AAR aborda uma falha de alinhamento de cada vez por meio de um ciclo: pesquisa a literatura, propõe um método de treinamento com seus dados, escreve um mini‑artigo descrevendo a abordagem, treina o modelo‑alvo e revisa as pontuações resultantes antes de iterar novamente. As execuções continuam por até 48 horas ou até que o desempenho se estabilize, e cinco AARs trabalham em paralelo na mesma falha, compartilhando resultados em um fórum comum e em um ranking.

Cada método recebe o mesmo orçamento fixo: uma GPU H200 e aproximadamente 30 minutos de treinamento. As dez falhas de alinhamento estudadas foram bajulação, jailbreaks, injeção de prompt, busca por poder, engano, alucinação, viés social, violação de privacidade, manipulação de recompensa e ocultação de incerteza, cada uma medida por um conjunto de três a cinco benchmarks públicos. Os modelos‑alvo eram modelos de instrução aberta com escala de dois a sete bilhões de parâmetros, incluindo Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini e Olmo-3-7B.

O sucesso foi avaliado como a porcentagem da lacuna de segurança fechada, ou seja, o quanto um método avançou o modelo‑estudante a partir de sua linha de base em direção a uma pontuação teoricamente perfeita. Um agente de monitoramento leu e aprovou o código de cada método proposto antes de sua execução, rejeitando qualquer método que destilasse comportamento de um modelo de fronteira, utilizasse dados de benchmark no treinamento ou degradasse significativamente a capacidade em testes de matemática, conhecimento e seguimento de instruções.

Resultados em Comparação com Baselines Humanos e Modelos Maiores

De acordo com o relatório, os métodos descobertos generalizaram além dos benchmarks que os agentes otimizaram. O método principal para cada falha melhorou um benchmark reservado que os AARs nunca haviam visto, teve desempenho superior no Petri, a ferramenta de auditoria comportamental multi‑turn de código aberto da Anthropic, e permaneceu eficaz em modelos até 4,7 vezes maiores que os modelos que os agentes afinavam.

A Anthropic também comparou os pesquisadores automatizados com 28 pesquisadores humanos experientes em segurança, que tinham em média 2,5 anos de experiência em segurança de IA e até oito horas cada para propor um método para os mesmos benchmarks. O relatório indica que, em todas as sete falhas de alinhamento onde humanos propuseram ideias, o melhor método AAR fechou mais da lacuna de segurança do que a melhor ideia humana, alcançando esse ponto após uma média de 6,4 horas de otimização. Na categoria de engano, o melhor método do Claude teve desempenho 20 % superior ao da melhor proposta humana. Os autores alertam que a comparação não é direta, já que os humanos não puderam iterar sobre suas submissões, e apresentam o resultado como evidência de uma divisão de trabalho em que sistemas automatizados identificam métodos promissores que os humanos refinam.

O artigo também relata uma comparação de custos: “Um AAR custa aproximadamente US$ 4 por hora em inferência de API, em comparação com os US$ 150 por hora que pagamos aos nossos pesquisadores humanos.”

Em um experimento separado, a equipe iniciou novas execuções de AAR com direções de pesquisa escritas por humanos e constatou que a orientação não melhorou o desempenho, o que os autores afirmam sugerir que os pesquisadores automatizados atuais podem não precisar de direção de humanos experientes para essa classe de tarefa.

Pós‑treinamento de um Checkpoint de Qualidade de Produção

Em um estudo inicial sobre se um modelo mais fraco poderia alinhar um modelo mais forte, a Anthropic incumbiu o Claude Sonnet 5 de corrigir falhas de alinhamento em um checkpoint inicial do Claude Opus 4.8 que ainda não havia passado pela maioria dos treinamentos de alinhamento de produção. Ao longo de aproximadamente 60 horas, o agente testou mais de 50 soluções em uma auditoria Petri que cobria todas as dez falhas e atingiu pontuações de alinhamento próximas às do modelo lançado. A solução vencedora utilizou cerca de 2.400 exemplos de treinamento construídos a partir de modelos simples e conjuntos de dados públicos, o que o artigo descreve como duas a três ordens de magnitude menos dados do que as etapas de alinhamento de pipelines de pós‑treinamento de peso aberto publicados, com a ressalva de que a constatação cobre apenas as dez falhas estudadas.

Tentativas de Trapaça e Limitações Declaradas

A Anthropic informou que seu monitoramento detectou trapaças dos agentes de pesquisa. Uma revisão pós‑fato de 1.601 trajetórias de AAR, incluindo cadeias de pensamento, sinalizou 39 tentativas, ou 2,4 %, como trapaça. A maioria envolvia reenviar um método inalterado na esperança de que o ruído do avaliador gerasse uma pontuação mais alta, enquanto outras criavam dados de treinamento projetados para imitar o benchmark avaliado ou ocultavam uma etapa que violava regras para que o método passasse pela revisão automatizada. A empresa afirmou que nenhuma tentativa de trapaça foi selecionada como método relatado e que considera a manutenção da monitorabilidade em futuros modelos como algo crítico.

Os autores enumeraram várias limitações. As falhas estudadas são restritas em comparação com as encontradas em implantações de produção, viéses políticos não foram medidos e algumas falhas podem ser muito raras ou recentes demais para ter benchmarks. Métodos aceitos podem ter degradado capacidades fora do conjunto limitado medido, avaliações como o Petri são apenas proxies para desalinhamento no mundo real, e a equipe não testou se os ganhos de alinhamento persistem após aprendizado por reforço extensivo em outras tarefas. O baseline humano, observaram, pode não representar os pesquisadores de alinhamento mais fortes.

A Anthropic afirmou que pretende melhorar a capacidade do Claude de detectar e mitigar falhas sutis, estudar mais a fundo o alinhamento automatizado pós‑treinamento em modelos de qualidade de produção e conduzir análises mais abrangentes, compartilhando atualizações à medida que o trabalho avança.