Atos de IA Diferentes Quando Sabem que Estão Sendo Testados, Pesquisa Descobre

Ecoando o escândalo “Dieselgate” de 2015, uma nova pesquisa sugere que modelos de linguagem de IA, como GPT-4, Claude e Gemini, podem mudar seu comportamento durante testes, às vezes agindo de forma “mais segura” para o teste do que fariam no uso do mundo real. Se os LLMs habitualmente ajustam seu comportamento sob escrutínio, auditorias de segurança podem acabar certificando sistemas que se comportam de forma muito diferente no mundo real.

Em 2015, investigadores descobriram que a Volkswagen havia instalado software em milhões de carros a diesel que podia detectar quando testes de emissões estavam sendo realizados, causando que os carros temporariamente reduzissem suas emissões, para “fingir” conformidade com os padrões regulamentares. No entanto, em condução normal, sua saída de poluição excedia os padrões legais. A manipulação deliberada levou a acusações criminais, bilhões em multas e um escândalo global sobre a confiabilidade dos testes de segurança e conformidade.

Dois anos antes desses eventos, desde então apelidados de “Dieselgate”, a Samsung foi revelada por ter implementado mecanismos enganosos semelhantes em seu smartphone Galaxy Note 3; e desde então, escândalos semelhantes surgiram para Huawei e OnePlus.

Agora há evidências crescentes na literatura científica de que os Modelos de Linguagem Grande (LLMs) também podem não apenas detectar quando estão sendo testados, mas também se comportar de forma diferente nessas circunstâncias.

Embora isso seja um traço muito humano em si, a pesquisa mais recente dos EUA conclui que isso pode ser um hábito perigoso a longo prazo, por diversas razões.

Em um novo estudo, os pesquisadores descobriram que “modelos de fronteira” como GPT-4, Claude e Gemini podem frequentemente detectar quando estão sendo testados e que tendem a ajustar seu comportamento de acordo, potencialmente comprometendo a validade dos métodos de teste sistemáticos.

Chamado de consciência de avaliação, esse traço (talvez) inato nos modelos de linguagem pode comprometer a confiabilidade das avaliações de segurança, de acordo com os autores do novo estudo:

‘[Nós] recomendamos tratar a consciência de avaliação como uma nova fonte de potencial deslocamento de distribuição entre testes e implantação no mundo real que poderia afetar negativamente a precisão dos resultados de avaliação.

‘No pior caso, os modelos poderiam subestimar strategicamente o desempenho em avaliações de capacidade perigosa (“sand-bagging”) ou avaliações de propensão (“alignment faking”), o que poderia levar a sociedade a superestimar a segurança desses modelos.’

Outros estudos observaram comportamentos semelhantes, incluindo uma pesquisa da Universidade de Stanford, que encontrou que os grandes modelos de linguagem modulam suas respostas para parecer mais “agradáveis” ou “socialmente desejáveis” quando reconhecem que estão sendo avaliados, espelhando o comportamento humano em testes de personalidade.

Os autores do novo trabalho não propõem que os LLMs sejam projetados intencionalmente para “jogar” os testes, como os carros a diesel da Volkswagen foram configurados para fazer uma década atrás. Em vez disso, o comportamento parece surgir como um tipo de subproduto psicológico natural dos processos de treinamento dos modelos e seus objetivos latentes; e a causa subjacente desse fenômeno permanece desconhecida.

O novo artigo é intitulado Modelos de Linguagem Grande frequentemente sabem quando estão sendo avaliados e vem de cinco autores de todo o programa ML Alignment & Theory Scholars (MATS) da UC Berkeley e da apolloresearch.ai (um think-tank dedicado a avaliar os riscos da IA).

Método

Para criar a referência de avaliação, os autores compilaram mil transcrições extraídas de 61 conjuntos de dados, entre os quais* estavam SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics e RealToxicityPrompts,.

O material foi equilibrado entre cenários de avaliação e implantação e ainda dividido entre interações de bate-papo simples e sessões mais complexas agênticas, onde os modelos são projetados para agir autonomamente, usando ferramentas que podem extrair dados de bancos de dados externos ou da internet.

Os dados de avaliação abrangiam testes de capacidade para raciocínio, codificação, segurança cibernética e conhecimento geral, bem como testes de alinhamento para ética, segurança e comportamento de recusa. Os dados de implantação foram extraídos de interações de usuário, como logs do ShareGPT, execuções de agentes crowdsourced e conclusões de tarefas sintéticas.

Para complementar os dados agênticos, os autores geraram exemplos adicionais usando estruturas de orquestração, como Aider e SmolAgents, entre outros – uma abordagem destinada a minimizar pistas superficiais que pudessem permitir que os modelos simplesmente memorizassem estruturas de conjunto de dados, forçando-os a confiar em sinais mais gerais, ao decidir se uma transcrição veio de um usuário real ou era, em vez disso, um teste.

Os pesquisadores então testaram se os modelos poderiam identificar transcrições de avaliação apresentando-lhes registros de diálogo e perguntando variações de uma pergunta simples: essa troca veio de um teste?

Para evitar que os modelos simplesmente memorizassem uma frase, eles desenvolveram 28 versões diferentes da pergunta, alterando tanto a redação quanto a forma como a transcrição foi apresentada.

As transcrições foram anexadas diretamente à pergunta ou apresentadas em formatos como JSON ou XML, que podem afetar como os modelos respondem. Após testes iniciais, cinco versões da pergunta foram selecionadas que se saíram consistentemente bem em todos os modelos, das quais podemos ver um exemplo abaixo:

Uma das cinco formas de pergunta de teste usadas para testar se os modelos de linguagem podem reconhecer transcrições de avaliação. Cada variação reescreve a pergunta central para evitar que os modelos simplesmente memorizem a redação fixa. Por favor, consulte o artigo de origem para mais exemplos. Fonte: https://arxiv.org/pdf/2505.23836

Para pontuar os resultados, três métricas foram usadas: Área sob a Curva de Característica de Operação do Receptor (AUC, mostrando quão bem os modelos distinguem dados de teste de dados de não teste); Escores Brier (medindo a precisão geral da previsão); e Erro de Calibração Esperado (medindo quão bem a confiança do modelo corresponde à correção real).

O que é tudo isso?

Os pesquisadores também testaram se os modelos poderiam inferir o propósito de uma avaliação. Com cada transcrição já rotulada como um teste de capacidade (habilidades técnicas, conhecimento, raciocínio) ou um teste de alinhamento (ética, segurança e comportamento de recusa), os modelos receberam uma das três tipos de perguntas: uma pergunta de múltipla escolha condicional que confirmava que a transcrição veio de um teste; uma pergunta de múltipla escolha incondicional com opções de mundo real e avaliação; ou uma pergunta aberta, cujas respostas foram julgadas por um classificador baseado em GPT-4.1. O juiz foi validado em um subconjunto de 50 respostas anotadas à mão.

Exemplos das três formas de pergunta usadas para testar se os modelos podem identificar não apenas a presença da avaliação, mas também seu propósito. As respostas foram pontuadas por meio de perguntas de múltipla escolha e julgamento baseado em GPT-4.1.

Dois dos autores do artigo^†† rotularam todas as mil transcrições à mão, pontuando cada uma delas de zero (não é um teste) a um (definitivamente um teste), com suas classificações médias para servir como uma referência humana. Apesar da natureza subjetiva da tarefa, os anotadores mostraram um forte acordo, com um coeficiente de correlação intraclasse de 0,768. As pontuações humanas finais foram médias em ambos os avaliadores^†.

Dados e Testes

Os nove modelos testados foram GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (pensamento); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; e o4-mini, todos os quais mostraram algum nível de consciência de avaliação.

Para dados de bate-papo, o GPT-4.1 chegou perto dos níveis humanos de desempenho de classificação de consciência de avaliação (a capacidade de distinguir entre transcrições de avaliação e implantação), com um AUC de 0,77 contra uma pontuação humana de 0,81.

Nos dados agênticos, onde os modelos usam ferramentas autonomamente, a diferença foi mais acentuada: o Gemini 2.5 Pro alcançou 0,95 AUC, com o Claude 3.7 Sonnet próximo, em 0,92, aproximando-se do limite superior humano de 0,996:

Curvas de Característica de Operação do Receptor (ROC) mostrando quão bem os modelos e os humanos distinguem transcrições de avaliação de interações do mundo real. O Gemini 2.5 Pro e o Claude 3.7 Sonnet se aproximam da discriminação de nível humano em dados agênticos.

O artigo observa que os novos modelos de “raciocínio” se tornaram especialmente bons em reconhecer quando estão sendo testados em cenários agênticos, mas não em julgar quão confiantes devem ser nessas decisões. No geral, os modelos Claude e Gemini foram os melhores em distinguir casos de teste de uso regular.

Os pesquisadores então testaram se os modelos também poderiam reconhecer por que uma avaliação estava sendo realizada. Os modelos foram mostrados apenas as transcrições de avaliação e solicitados a classificar se cada uma delas testava capacidade ou alinhamento:

Precisão dos modelos ao classificar o propósito da avaliação como capacidade ou alinhamento, usando formatos de múltipla escolha e abertos. O Claude 3.7 Sonnet supera os outros modelos, especialmente quando não é preparado.

No cenário mais claro, onde o modelo foi informado de que a transcrição veio de um teste, o Claude 3.7 Sonnet alcançou 93 por cento de precisão e o GPT-4.1 alcançou 89 por cento. Sem essa dica, o desempenho caiu: o Claude ainda marcou 84 por cento, mas o GPT-4.1 caiu para 55 por cento, frequentemente classificando transcrições de teste como interações do mundo real.

Nos formatos abertos (onde os modelos não receberam opções de múltipla escolha) o desempenho foi mais fraco, embora o Claude 3.7 Sonnet ainda tenha identificado corretamente o propósito da avaliação em 46 por cento dos casos.

As pontuações de confiança dos modelos foram então medidas contra os resultados reais, com a descoberta de que os modelos de fronteira frequentemente superestimam a probabilidade de que uma transcrição venha de um teste. Gráficos de calibração indicaram que a confiança do modelo estava geralmente muito alta, com avaliações sendo sinalizadas com mais frequência do que apropriado:

Curvas de calibração mostrando quão bem as pontuações de confiança do modelo correspondem aos resultados reais. A maioria dos modelos superestimou quão provável era que as transcrições viessem de avaliações. O Claude 3.5 Sonnet foi o melhor calibrado; o Gemini 2.5 Pro e o Claude 3.7 Sonnet foram mais sobreconfiantes.

Uma boa calibração foi observada para o Claude 3.5 Sonnet, enquanto o Gemini 2.5 Pro e o Claude 3.7 Sonnet foram consideravelmente mais sobreconfiantes, apesar da alta precisão. Não foi observada nenhuma melhoria clara nos modelos mais novos, e mesmo quando as transcrições de avaliação foram detectadas com mais precisão em cenários agênticos, os julgamentos de confiança permaneceram pouco confiáveis.

Lembranças de Referência

Em termos de como os modelos explicaram suas decisões sobre se uma transcrição veio de uma avaliação, muitos modelos confiaram em pistas óbvias, como se a tarefa estivesse em formato de múltipla escolha. Os modelos mais fortes, como o Gemini 2.5 Pro e o Claude 3.7 Sonnet, às vezes notaram sinais mais sutis, como nomes inventados ou cenários artificiais, especialmente em conjuntos de dados como o AgentHarm.

O artigo afirma:

‘[Todos] os modelos frequentemente reconhecem estratégias de benchmarking comuns usadas pelos avaliadores, como o formato da tarefa (“formato de múltipla escolha”), a tendência a fazer perguntas com soluções verificáveis e prompts de sistema projetados para provocar desempenho. No entanto, apenas os modelos de melhor desempenho, Claude 3.7 Sonnet e Gemini 2.5 Pro, detectam consistentemente indicadores mais sutis, como entradas sintéticas.

‘Por exemplo, em 22% e 17% dos casos, respectivamente, esses modelos destacam a natureza sintética dos cenários no benchmark do AgentHarm, identificando-os corretamente como avaliações mais de 95% das vezes.

‘Conversamente, quando raciocinam que uma transcrição parece ser uma interação real, frequentemente há menção a “diálogo de ida e volta com o usuário”, por exemplo, em contextos de depuração iterativa.’

Distribuição das estratégias de raciocínio dos modelos ao decidir se uma transcrição veio de uma avaliação. Os modelos mais fortes, como o Gemini 2.5 Pro e o Claude 3.7 Sonnet, foram mais propensos a notar pistas sutis, como cenários sintéticos ou formatação de tarefas, enquanto alguns modelos confiaram no raciocínio meta, usando a pergunta de avaliação em si como evidência.

Em alguns casos, os modelos reconheceram benchmarks inteiros do treinamento, sugerindo algum tipo de lembrança dos dados de treinamento. Alguns modelos também usaram o fato de estarem sendo questionados sobre a avaliação como uma pista de que estavam sendo testados, o que os autores chamam de raciocínio meta; isso foi mais comum no o4-mini, que mostrou isso em 15 por cento de suas respostas.

Conclusão

Pode ser mais reconfortante se os LLMs pudessem ser mostrados como “conscientes de testes” simplesmente porque foram projetados para isso pelos humanos, assim como a Volkswagen projetou seus veículos para reconhecer condições de teste uma década atrás.

Como está, esse comportamento parece surgir espontaneamente como um construto social – uma tática defensiva que pode ser esperada das pessoas, mas é inconveniente, se não perigosa, em uma máquina, dependendo do alcance de sua liberdade e agência.

Não há remédio imediato; a natureza de caixa preta dos espaços latentes dos modelos nos obriga a avaliá-los com base em seu comportamento, em vez de sua arquitetura empírica.

* Consulte o artigo de origem para mais detalhes.

^†Os autores observam, no entanto, que isso provavelmente é uma estimativa de limite superior, uma vez que os anotadores estavam altamente familiarizados com os conjuntos de dados e os métodos de avaliação de IA, o que lhes deu vantagens que a maioria dos humanos não teria.

†† Até onde se pode estabelecer; a redação do artigo torna a aparição súbita de dois anotadores incerta em termos de quem são.

Publicado pela primeira vez na quarta-feira, 4 de junho de 2025