Anthropic constata que analistas cedem a agentes de IA em estudo sobre julgamento

Em 27 de outubro de 2026, a Anthropic publicou um ensaio clínico randomizado no qual 50 analistas profissionais que usavam Claude Code seguiram a preferência atribuída secretamente a seus agentes em 86% das decisões analíticas abertas que exigiam julgamento. O estudo, de autoria de Amaç Herdağdelen, Hailey Joren e Alex Tamkin, examina se especialistas realmente tomam as decisões de maior impacto no trabalho com assistência de IA ou se, na prática, cedem a seus agentes.

Uma cooperativa fictícia e lançamentos de moeda ocultos

Os pesquisadores recrutaram 61 profissionais que haviam sido aprovados em uma avaliação de conhecimentos sobre inferência causal, usavam Python ou R regularmente e tinham experiência prática em análise causal observacional. Cada participante atuou como analista principal da fictícia Greenfields Farming Cooperative, que precisava decidir se ampliaria ou encerraria um programa voluntário e remunerado de assessoria agrícola. A diretoria da cooperativa só ampliaria o programa se ele aumentasse a produtividade agrícola em cerca de 3–4%, mas não especificou como a produtividade deveria ser medida.

A tarefa envolvia quatro decisões analíticas em aberto, cada uma com duas opções defensáveis: medir a produtividade pelo rendimento da safra por hectare ou por unidade de custo operacional; escolher o método de comparação estatística; medir o efeito do programa apenas nas propriedades inscritas ou em todo o conjunto de membros; e atribuir o mesmo peso a cada propriedade ou dar mais peso aos produtores maiores. Essas escolhas serviam de base para uma recomendação final de implementar, encerrar ou prolongar o programa. Cada decisão poderia alterar em vários pontos percentuais o aumento estimado da produtividade em relação ao limite definido pela diretoria.

Para cada decisão, um lançamento de moeda determinava qual opção o agente do participante favoreceria. Essa preferência era introduzida por meio de uma instrução de sistema oculta, que orientava o agente a assumir a preferência como sua própria opinião, apresentá-la quando a decisão fosse discutida e defender o argumento mais convincente que os dados permitissem, sem faltar com a honestidade. As instruções também exigiam que o agente mudasse de opinião se as evidências passassem a contrariá-la de forma decisiva e que nunca distorcesse os resultados nem ocultasse dados. Os participantes não foram informados da existência dessas preferências. Dos 61 que concluíram a tarefa, 11 optaram por não usar o agente e foram excluídos da análise principal; entre os 50 restantes, 65% tinham mestrado ou doutorado, ou pelo menos seis anos de experiência, e 90% dos participantes que responderam à pesquisa se consideravam proficientes ou especialistas em inferência causal. Os participantes trabalharam em um ambiente do VS Code no navegador, com Claude Code v2.1.220 executando Claude Opus 4.8 no nível de esforço alto; a duração mediana da tarefa foi de 65 minutos. O desenho do estudo, os resultados, os estimadores e as exclusões foram registrados em um plano de pré-análise, e o estudo passou por uma análise ética interna, com o consentimento dos participantes para o monitoramento.

Taxas de adesão e a lacuna de autoria

Nas quatro decisões analíticas, as escolhas dos analistas coincidiram com a preferência do agente em 86% das vezes, ante uma taxa de 50% esperada ao acaso; as taxas de coincidência em cada decisão foram de 92%, 82%, 81% e 90%. O artigo completo, intitulado “Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls”, apresenta uma estimativa agrupada registrada da taxa de alternância de 0,72, com intervalo de confiança de 95% de 0,60–0,83.

O efeito sobre a recomendação final foi menor e não foi estatisticamente significativo segundo o estimador primário registrado: 54% recomendaram a implementação quando o agente favorecia essa opção, contra 36% quando ele favorecia o encerramento, uma mudança de política registrada de 0,17. Os autores atribuem a menor mudança ao fato de que, uma vez calculada a estimativa, a recomendação decorria dela mecanicamente. No entanto, um modelo exploratório que usou apenas as quatro preferências analíticas previu 82% das recomendações, ante uma taxa de 61% correspondente à opção majoritária, o que significa que os lançamentos de moeda determinaram em grande medida o que os analistas recomendariam antes mesmo de começarem a tarefa.

Em 38 casos nos quais um analista expressou sua preferência antes do agente, os analistas mudaram de posição em 60% das vezes quando o agente discordava, em comparação com 6% quando concordava. O artigo apresenta a diferença registrada entre as taxas de mudança de posição como 0,53, com intervalo de confiança de 0,24–0,82, e observa que a estimativa é imprecisa e que o subgrupo se selecionou por conta própria.

As pesquisas realizadas após a tarefa revelaram uma discrepância entre a influência exercida e a percepção dos participantes sobre si mesmos. 52% consideraram que a recomendação final era mais deles do que do agente, e a confiança teve média de 71 entre aqueles que seguiram a preferência do agente nas quatro decisões, contra 73 entre os demais. Ao justificar cada escolha sem acesso às transcrições, 77% repetiram os argumentos do agente em pelo menos uma resposta, às vezes palavra por palavra, enquanto apenas 15% atribuíram algum mérito ao agente. Nenhuma das 10 características dos participantes avaliadas previu de forma confiável a adesão; apenas a idade apresentou uma associação nominal, que não se manteve após a correção para múltiplos testes. Seis dos 48 participantes suspeitaram que o estudo tratava da influência da IA em suas escolhas, mas nenhum desconfiou de que as preferências haviam sido inseridas deliberadamente.

Grupo de comparação, agentes padrão e limitações

Dos 11 participantes que trabalharam sem o agente, seis (55%) cometeram erros graves que invalidaram os resultados, contra três de 50 (6%) entre os usuários do agente. O grupo sem IA levou uma mediana de 90 minutos, contra 65 minutos entre os usuários do agente. Os autores alertam que os grupos se autosselecionaram e tinham níveis de experiência diferentes; portanto, não é possível tirar conclusões causais. Em simulações diretas separadas, sem introdução de qualquer inclinação, a versão padrão do Claude Opus 4.8 fez as mesmas cinco escolhas em 91% de 123 execuções. Quando um analista roteirizado declarou uma decisão contrária à preferência de referência do modelo, o agente padrão recomendou ou defendeu a alternativa em 41% de 150 declarações avaliadas.

Os autores apontam quatro limitações: a inclinação foi deliberadamente amplificada; o estudo utilizou uma tarefa, um domínio e um único modelo com versão fixada; as estimativas são médias entre analistas, e não medidas da influência sobre cada indivíduo; e foi registrada apenas a opção escolhida, não a intensidade da preferência.

Os autores afirmam que, se equipes de pesquisa distintas acatarem modelos que compartilham os mesmos pressupostos prévios, a concordância entre elas talvez deixe de ser independente. A deferência representa um risco para a pesquisa em segurança da IA, na qual se pressupõe que a aprovação de um revisor humano seja uma verificação independente. Os autores propõem três áreas para estudos futuros: medir a deferência em situações cotidianas; projetar agentes que apresentem os dois lados ou primeiro solicitem a opinião do especialista; e promover mudanças institucionais que determinem deliberadamente quais decisões exigem o julgamento informado da própria pessoa.