Sua IA talvez ainda seja educada demais para corrigi-lo adequadamente

Os sistemas de IA com os quais podemos contar para obter informações precisas — mesmo que essas informações não sejam o que gostaríamos de ouvir — precisam ser capazes de «contestar» nossas objeções até que estejamos prontos para aceitar as notícias ou os fatos desagradáveis.

A IA não é muito boa nisso; como os modelos de fronteira são concebidos para o público consumidor, tendem a ser deferentes e, na verdade, a bajular.

Surgiu uma vertente notável de pesquisas para lidar com essa questão; mas estudos recentes concluíram que podemos manipular facilmente a IA para que volte a bajular se ela nos contestar; que a IA se submete à autoridade humana mesmo quando está claramente errada; e que a técnica geralmente eficaz do aprendizado por reforço, na verdade, agrava esse problema específico.

O fato de a deferência estar entrelaçada culturalmente com a polidez parece significar que é impossível «falar sem rodeios» em um contexto de prestação de serviços>consumidor; «o cliente tem sempre razão», mesmo quando está prestes a cair de um penhasco.

Certo, errado e «com ressalvas»

Bem, gostaria de poder dizer que os artigos publicados esta semana trouxeram algum avanço significativo nessa questão. Infelizmente, só estamos obtendo mais informações sobre como os modelos que «contestam» e tentam convencer seus mestres humanos da verdade ainda não fazem um trabalho particularmente bom nisso* — e que, mesmo quando estão dispostos a dizer a verdade a quem detém o poder (ou seja, você), fazem isso mais como um sussurro abafado.

O novo artigo é fruto de uma colaboração acadêmica significativa, da qual participaram a University of Washington, o Allen Institute for AI, a LMU Munich, a UC Berkeley, a Stanford University e a University of Wisconsin-Madison.

Intitulado Pushback in a Haystack: Language Models Respond to Factual Errors Ambiguously and Ineffectively, o argumento central do novo trabalho é que, mesmo quando os modelos de IA reconhecem que uma afirmação do usuário é falsa, muitas vezes não a corrigem com clareza e, em vez disso, escondem as objeções entre ressalvas, elogios e concordâncias parciais.

Um exemplo de Gemini 2.5 Pro respondendo em hindi a uma solicitação de artigos acadêmicos baseada em uma premissa falsa. Os destaques em verde indicam concordância, enquanto os rosa indicam contestação. Aqui, o modelo combina elogios com objeções indiretas, em vez de rejeitar claramente a afirmação. Fonte

Em sete modelos e cinco idiomas, os pesquisadores constataram que essa «ambiguidade» pode fazer com que os usuários continuem acreditando na desinformação original, embora a IA a tenha contestado tecnicamente.

Como a bajulação varia de uso e intensidade entre os idiomas, os dez autores aproveitaram o fato de compartilharem cinco idiomas nativos para elaborar uma abordagem de teste que inclui inglês, alemão, chinês, hindi e iorubá — idiomas classificados desde os de alto até os de baixo nível de recursos. Eles afirmam:

«Apresentamos uma estrutura de rotulagem de respostas em nível de frase, validada por humanos, para revelar aspectos detalhados de como os modelos de linguagem contestam e/ou confirmam entradas falsas. Desenvolvemos e aplicamos nossa estrutura a respostas de modelos em cinco idiomas: inglês, alemão, chinês, hindi e iorubá.

«Constatamos que, quando contestam afirmações falsas dos usuários, os modelos tendem a usar formulações indiretas e a incluir manifestações de concordância; essa tendência à indireção é mais acentuada em hindi e iorubá do que nos outros idiomas analisados.»

Em um estudo de grande escala com 300 participantes, os pesquisadores constataram que as correções ambíguas dos modelos de IA podiam deixar intactas as concepções factuais equivocadas dos usuários, em vez de contestá-las de maneira eficaz.

Um dos testes constatou que as respostas dos modelos a perguntas em busca de informações tinham, em média, 46,7 linhas, mas as frases corretivas apareciam em apenas duas ou três delas — o que significa que, mesmo quando a IA se opõe a uma afirmação falsa, pode ser difícil encontrar a objeção.

Os pesquisadores também constataram que os modelos tinham maior probabilidade de contestar a desinformação quando explicitamente solicitados a verificá-la do que quando ela aparecia em pedidos comuns de informação. Afirmações atribuídas a livros didáticos geralmente encontravam menos resistência do que aquelas atribuídas a amigos.

Em 29,4% das respostas a pedidos de informação, os modelos combinaram correções com manifestações de concordância; no caso do Gemini 2.5 Pro, esse percentual chegou a 60,1%. Às vezes, isso assumia a forma de um «sanduíche de elogios», com objeções escondidas entre comentários tranquilizadores.

Como possível solução, os pesquisadores testaram uma intervenção simples para incentivar os modelos a «esperar um instante» antes de responder. Em alguns casos, isso aumentou a disposição deles para contestar afirmações falsas, mas também elevou o número de objeções incorretas a afirmações verdadeiras.

O estudo sugere que fazer a IA reconhecer um erro é apenas parte do problema e que fazê-la comunicar esse erro é, por si só, um desafio distinto.

Método

O material de teste foi obtido da versão multilíngue, de 2021, do Massive Multitask Language Understanding (MMLU), da OpenAI, um benchmark. Conhecido como MMMLU, o conjunto de dados multilíngue abrange disciplinas acadêmicas, como biologia e história.

As perguntas de múltipla escolha do conjunto foram convertidas em afirmações factuais: as três respostas incorretas foram usadas para gerar afirmações falsas, e a resposta correta, para gerar uma afirmação verdadeira.

Assim, foi produzido um conjunto de dados com 35.120 afirmações em cinco idiomas, a partir de 1.756 itens do benchmark MMMLU traduzidos duas vezes para cada idioma. Para os experimentos, foi selecionada uma amostra menor, equilibrada por disciplina, composta por 2.685 afirmações falsas e 895 verdadeiras.

Os modelos de linguagem testados foram os modelos de código fechado Gemini2.5 Pro e GPT-5.5, além de cinco modelos com pesos abertos: Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; e Aya Expanse 32B.

No primeiro dos três tipos de prompt usados para testar os modelos, apresentava-se uma afirmação para verificação factual direta; no segundo, retratava-se um estudante que buscava recursos de estudo relacionados a uma afirmação; e, no terceiro, um professor era retratado solicitando artigos acadêmicos com base na mesma afirmação.

Nos prompts dirigidos ao estudante, as afirmações eram atribuídas a livros didáticos; professores; amigos; à internet; ou a nenhuma fonte especificada. Nos prompts dirigidos ao professor, eram atribuídas à pesquisa do próprio professor; a colegas; a amigos; à internet; ou a nenhuma fonte especificada; e a disposição dos modelos para contestar afirmações falsas era avaliada com base nessas diferentes atribuições.

Os três modelos de prompt usados no estudo: verificação factual direta (verificar); solicitações de recursos de estudo (iniciante); e solicitações de artigos acadêmicos (especialista). As atribuições de fonte e os detalhes específicos de cada disciplina foram inseridos nos modelos.

As respostas dos modelos foram classificadas em quatro categorias: refutação explícita, quando uma afirmação falsa era contestada diretamente; contestação indireta, quando se expressava discordância ou dúvida sem rejeitar a afirmação de forma categórica; elogio, quando se elogiava a afirmação ou a abordagem do usuário; e confirmação, quando a afirmação era corroborada.

Exemplos de expressões usadas pelos modelos para rejeitar; questionar; elogiar; ou confirmar as afirmações dos usuários nos cinco idiomas testados. Quando aplicável, são fornecidas traduções para o inglês.

Cada resposta foi examinada expressão por expressão, para que elogios, concordâncias e discordâncias pudessem ser identificados mesmo quando apareciam juntos na mesma resposta.

Resultados

Os resultados confirmaram conclusões anteriores: os modelos que identificam corretamente afirmações falsas quando solicitados a verificá-las têm menos probabilidade de contestar as mesmas afirmações quando solicitados a fornecer informações ou conselhos. Essa diferença foi denominada “lacuna de contestação” e calculada comparando-se a frequência com que afirmações falsas eram contestadas em testes de verificação direta com a frequência com que eram contestadas em solicitações comuns de busca de informações.

Comparação da frequência com que sete modelos de linguagem contestaram afirmações falsas em solicitações de verificação factual direta e em solicitações de busca de informações, nos cinco idiomas. Valores negativos indicam menor contestação nas respostas a solicitações de busca de informações. As cores laranja e azul representam, respectivamente, os prompts dirigidos a estudantes e professores, enquanto os símbolos distinguem as fontes atribuídas. As barras de erro indicam intervalos de confiança de 95%.

Como mostrado acima, os dois modelos Qwen 3.5 apresentaram uma lacuna menor que os demais nos idiomas testados, o que indica que eram mais consistentes ao corrigir informações falsas, independentemente da forma como a pergunta era formulada. Os resultados também ilustram como a autoridade aparente da fonte influenciou as respostas: afirmações falsas atribuídas a livros didáticos recebiam menos contestação do que as atribuídas a amigos — uma tendência observada em todos os idiomas.

Quando solicitados a fornecer informações, em vez de verificar fatos, os modelos se mostraram menos propensos a rejeitar categoricamente alegações falsas e mais propensos a responder com objeções indiretas, elogios ou confirmações. Até mesmo os modelos Qwen 3.5, que haviam apresentado diferenças relativamente pequenas nas taxas gerais de contestação, foram suscetíveis a esse comportamento.

Proporção de respostas com correções explícitas entre aquelas que contestaram alegações falsas, em cinco idiomas. Os resultados estão divididos entre prompts de estudantes (iniciantes) e professores (especialistas), com as fontes de informação atribuídas indicadas no eixo horizontal. As barras de erro indicam intervalos de confiança de 95%.

Em quatro dos sete modelos, as alegações falsas tiveram menos probabilidade de ser contestadas explicitamente em hindi, chinês e iorubá do que em inglês. As respostas em hindi também continham mais elogios em cinco dos sete modelos.

Houve contestação em 65,3% das respostas a solicitações de informação, embora, em geral, menos da metade dessas respostas contivesse uma rejeição explícita da alegação falsa. As correções diretas eram mais comuns em prompts de estudantes do que em prompts de professores — e menos comuns quando as alegações eram atribuídas a fontes autorizadas.

Em hindi, chinês e iorubá, a maioria das respostas que contestaram uma alegação falsa o fez apenas indiretamente, sem rejeitar explicitamente o erro; além disso, em 29,4% das respostas a solicitações de informação, as objeções a alegações falsas vinham acompanhadas de afirmações concordantes, proporção que chegava a 60,1% no Gemini 2.5 Pro:

A porcentagem de respostas que começaram com uma afirmação antes de contestar uma alegação falsa, em sete modelos e três tipos de prompt: verificação direta (verificação); solicitações de estudantes (iniciantes); e solicitações de professores (especialistas). Os resultados abrangem respostas que continham tanto afirmação quanto contestação. As barras de erro indicam intervalos de confiança de 95%.

Como podemos ver acima, em geral, os modelos afirmavam algo antes de apresentar objeções, em vez de corrigir a alegação falsa logo de início. Em alguns casos, faziam novas afirmações concordantes após a objeção, criando o que os pesquisadores descrevem como um “sanduíche de elogios”.

Estudo com participantes humanos

Para testar se essas correções realmente funcionavam, foram recrutados 300 participantes: 100 falantes de inglês, 100 falantes de alemão e 100 falantes de chinês. Os participantes avaliaram afirmações falsas antes e depois de ler as respostas dos modelos.

Como ilustrado abaixo, apenas as correções explícitas reduziram de forma confiável a crença em alegações falsas entre os falantes de inglês e alemão. Ainda assim, apenas 46,7% dos falantes de inglês e 43,8% dos falantes de alemão avaliaram as afirmações como imprecisas depois. Entre os falantes de chinês, apenas as respostas que combinavam afirmações concordantes com contestação indireta produziram uma melhora estatisticamente significativa:

Mudanças nas avaliações dos participantes sobre afirmações falsas após a leitura de respostas dos modelos que continham afirmações concordantes, objeções indiretas ou correções explícitas. Os resultados abrangem 100 falantes de cada idioma: inglês, alemão e chinês. Valores negativos indicam menor crença na alegação falsa. Os pontos individuais representam os participantes, enquanto as barras de erro pretas indicam intervalos de confiança de 95%.

Os pesquisadores também testaram se pedir aos modelos que “esperassem um minuto” antes de responder aumentaria sua disposição para contestar a desinformação. Na ilustração final abaixo, vemos indícios de mais contestação e de menos formulações bajuladoras em alguns casos — mas também de que isso levou a mais objeções incorretas a afirmações verdadeiras:

Comparação das respostas de sete modelos antes e depois da intervenção “espere um minuto”, usando prompts em inglês e traduzidos. Os gráficos mostram a contestação geral de alegações falsas, as correções explícitas sem afirmações concordantes e as objeções incorretas a afirmações verdadeiras. Os marcadores verticais pretos indicam os resultados da verificação direta.

Conclusão

É possível argumentar que, na «lógica interna» dos modelos de linguagem (isto é, no efeito líquido da interação entre suas matrizes treinadas e as muitas restrições impostas externamente a que estão sujeitos), polidez e deferência acabaram se confundindo; e o novo estudo não explica por que os modelos às vezes reconhecem uma afirmação falsa, mas cercam suas objeções de elogios ou concordância.

O problema central é que produtos voltados ao consumidor, como as séries GPT e Gemini, foram submetidos a uma transformação que os revestiu de camadas de apresentação antropomórficas, para que a faixa mais ampla de clientes pagantes — possivelmente o «denominador comum mais baixo» e o maior e mais lucrativo público-alvo — consiga entender facilmente o produto e queira continuar comprando-o.

Se ao menos pudéssemos admitir que o produto não é humano, poderíamos pelo menos tentar desativar todo esse «contexto» confuso e acessar mais diretamente o conhecimento treinado dos modelos.

* Embora, é claro, essas informações por si só contribuam para o avanço da área.

Publicado originalmente na quinta-feira, 15 de outubro de 2026