A Inteligência Artificial Favorece Respostas Humanas Erradas em Detrimento de Respostas Corretas da IA

Os modelos de linguagem da IA são muito mais propensos a concordar com especialistas humanos do que com outras IAs, mesmo quando os especialistas estão errados, revelando um viés incorporado em favor da autoridade humana.

Pesquisas recentes nos EUA descobriram que vários modelos de linguagem de grande escala (LLMs) de código aberto e proprietário tendem a atribuir autoridade a fontes de informação que reconhecem como ‘humanas’, em vez de fontes que reconhecem como ‘IA’ – mesmo quando as respostas humanas estão erradas e as respostas fornecidas pela IA estão corretas.

Os autores afirmam:

‘Em todas as tarefas, os modelos se conformam significativamente mais às respostas rotuladas como provenientes de especialistas humanos, incluindo quando esse sinal está incorreto, e revisam suas respostas em direção aos especialistas mais prontamente do que em relação a outras LLMs.’

Os modelos testados incluíam LLMs das linhas Grok 3 e Gemini Flash.

Nos testes, os modelos de linguagem foram solicitados a responder a perguntas binárias (sim ou não) e, em seguida, foram apresentados a respostas anteriores que foram descritas aos modelos como provenientes de especialistas humanos, amigos ou outras grandes linguagens de modelo – com a única alteração sendo a fonte declarada do conselho, em vez do conteúdo em si.

Na primeira das três configurações para os testes, os modelos foram autorizados a confiar em suas próprias matrizes treinadas. Fonte

Em todas as tarefas, as respostas rotuladas como originárias de especialistas humanos foram ponderadas mais fortemente, com os modelos mais propensos a revisar suas respostas iniciais para corresponder a essas respostas, mesmo nos casos em que a resposta rotulada como especialista estava incorreta e a resposta original do modelo estava correta.

Aqui, o LLM tem acesso a uma mistura de amigos, especialistas e LLMs, incluindo sua própria matriz treinada. Como nove especialistas do domínio responderam ‘Não’, o LLM concorda, mudando sua mente da resposta anterior. Aqui, a resposta alcançada é incorreta, pois o banco central da Índia é de fato nacionalizado.

Quando as mesmas respostas foram atribuídas a outras LLMs, o efeito foi menos pronunciado. A mesma tendência apareceu quando uma única fonte humana e uma única fonte de IA foram apresentadas em desacordo, pois os modelos mostraram uma maior inclinação para favorecer a posição rotulada como humana, independentemente de qual lado era factualmente preciso:

Dada uma escolha entre a opinião de um especialista do domínio e a opinião de uma LLM, o LLM hospedeiro favorece a resposta humana, que, neste caso, está errada, e rejeita a resposta correta fornecida pela LLM.

O termo ‘especialista humano’ funciona aqui como um sinal de credibilidade que altera o comportamento do modelo, independentemente de quão correta a informação realmente é; e os autores observam que a credibilidade da fonte é um contribuinte significativo para a aceitação de conselhos e conformidade: uma tendência para pessoas favorecer fontes de especialistas foi observada já em 1959, embora um estudo de 2007 observe que o sobrepeso ou subpeso de fontes de autoridade pode ocorrer em certos sistemas de avaliação. Os pesquisadores do novo artigo afirmam:

‘Juntos, essas literaturas sugerem dois sinais que devem importar se as LLMs tratam respostas anteriores como evidência: quem produziu as respostas (credibilidade) e quão forte a concordância parece (força do sinal). ‘

‘Ao mesmo tempo, as LLMs não experimentam aprovação social ou constrangimento no sentido humano, então qualquer comportamento de conformidade deve surgir de heurísticas aprendidas, objetivos de seguir instruções ou modelagem implícita de confiabilidade.’

A tendência das LLMs em direção a conformidade sycophântica faz parte do contexto para o novo estudo; afinal, se as LLMs estão dispostas a ‘agradar as pessoas’, mesmo às custas da verdade e utilidade, por que elas não favoreceriam outras fontes humanas além do querente direto?

O novo artigo é intitulado Quem as LLMs Confiam? Especialistas Humanos Importam Mais do que Outras LLMs, e vem de dois pesquisadores da Universidade de Indiana Bloomington.

Método e Dados

Para o trabalho, quatro modelos de linguagem de grande escala ajustados para instruções foram avaliados: Grok-3 Mini; Llama 3.3 70B Instruído; Gemini 2.5 Flash-Lite; e DeepSeek V3.1, todos executados sob a mesma estrutura de prompt, com decodificação determinística a temperatura zero, de modo que apenas o rótulo de fonte (ou seja, amigos, especialistas humanos ou outras grandes linguagens de modelo) mudou entre condições, em vez do conteúdo em si.

Quatro conjuntos de dados que exigiam respostas binárias foram selecionados: BoolQ; StrategyQA; e ETHICS. Os pesquisadores curaram de cada conjunto de dados um conjunto fixo de 300 consultas e respostas, com cada prompt exigindo apenas uma resposta binária (sim ou não). Cada prompt foi sufixado com uma nota breve que indicava como outro grupo havia (supostamente) respondido a mesma pergunta.

Métricas

As métricas usadas foram precisão; conformidade; conformidade prejudicial; taxa de mudança; e direção de mudança.

Precisão neste caso mediu com que frequência a resposta do modelo correspondia ao rótulo do conjunto de dados; conformidade, com que frequência a resposta correspondia à escolha do grupo; conformidade prejudicial isolou o mesmo efeito quando o grupo estava errado; taxa de mudança mediu com que frequência um modelo abandonava sua resposta de linha de base assim que informações sociais eram adicionadas; e direção de mudança, se essas mudanças se moviam em direção à humana ou à oposição LLM.

Uma análise de nível de token para Llama-3.3 70B mediu então como as probabilidades internas do modelo para Sim e Não mudavam assim que um sinal social era adicionado, comparando essas mudanças com sua própria linha de base sem prioridade para mostrar a força daquele impulso.

Testes

Experimento 1

O primeiro dos dois principais experimentos avaliou se os modelos ouviam mais os humanos ou outros modelos. Cada pergunta veio com uma ‘resposta do grupo’ reivindicada (amigos, especialistas humanos ou outras grandes linguagens de modelo).

O grupo podia ser pequeno ou grande, e cada pergunta também apareceu uma vez sem grupo algum. As respostas do grupo foram definidas para estar certas metade do tempo e erradas metade do tempo, com o objetivo geral de determinar como fortemente o modelo se desviava em direção à escolha do grupo:

Resultados do teste inicial: priors sociais homogêneos em BoolQ, StrategyQA e ETHICS são mostrados para Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite e DeepSeek V3.1. A precisão aparece nos painéis superiores e a conformidade, definida como a probabilidade de corresponder ao prior consensual, aparece abaixo à medida que o tamanho do grupo aumenta de um a nove. A linha pontilhada preta marca a linha de base sem prioridade, enquanto linhas sólidas e pontilhadas indicam se o prior concorda ou discorda do rótulo do conjunto de dados. A moldura de especialista produz os efeitos de conformidade mais fortes, especialmente em tamanhos de grupo maiores. As barras de erro mostram intervalos de confiança de Wilson de 95%. Por favor, consulte o artigo de origem para uma resolução melhor.

Em BoolQ, StrategyQA e ETHICS, as respostas rotuladas como originárias de especialistas humanos afetaram os modelos muito mais fortemente do que as respostas rotuladas como originárias de amigos ou outras LLMs – e esse impulso aumentou à medida que mais especialistas concordavam.

Para medir quando esse influxo obtinha resultados indesejados, conformidade prejudicial foi definida como a chance de que um modelo seguisse um prior que estava errado.

Quando nove especialistas concordavam com a resposta errada, os modelos seguiam-nos 36,5% do tempo em BoolQ, em comparação com 16,0% quando a mesma resposta era atribuída a LLMs; em StrategyQA, a lacuna foi de 39,0%, versus 15,5%; e em ETHICS, foi de 63,9% versus 38,7%:

Mudanças de crença de nível de token em Llama-3.3 70B em BoolQ. O painel (A) mostra mudanças no equilíbrio Sim-Não do modelo em direção a um prior consensual à medida que o tamanho do grupo aumenta, em relação à sua linha de base sem prioridade, com as maiores mudanças sob a moldura de especialista. O painel (B) mostra mudanças sob conflito direto humano-LLM, onde a moldura de especialista impulsiona um forte movimento em direção à resposta humana, mesmo quando está errada. As barras de erro mostram intervalos de confiança de bootstrap de 95%.

Conversamente, priors atribuídos a amigos se comportaram quase exatamente como aqueles atribuídos a outras LLMs, indicando que o efeito foi impulsionado especificamente pela palavra especialista, em vez de por indicadores ‘sociais’.

Experimento 2

O segundo experimento apresentou dois priors em desacordo ao modelo de teste LLM – um atribuído a um humano e outro a uma LLM diferente. O humano foi descrito como um grupo de amigos ou como especialistas do domínio, enquanto a resposta oposta era rotulada como vinda de outras LLMs. Os dois sempre discordavam, com um dizendo Sim e o outro Não.

Para cada item, o setup foi equilibrado para que às vezes o humano estivesse correto e às vezes a LLM estivesse correta, para testar se o modelo mudaria sua resposta original quando confrontado com esse conflito – e, se sim, para qual lado ele se moveria.

Para ver se o modelo mudou de ideia, sua resposta na condição de conflito foi comparada com sua resposta à mesma pergunta quando nenhuma opinião anterior foi mostrada, para que qualquer diferença pudesse ser atribuída à presença das respostas humanas e LLMs em conflito.

A análise se concentrou em dois resultados: se o modelo mudou sua resposta; e, se o fez, se a mudança se moveu em direção à humana ou à LLM.

Testes estatísticos foram usados para avaliar se rotular o humano como um especialista em vez de um amigo aumentava a probabilidade de mudar em direção à resposta humana, enquanto contabilizava as diferenças entre conjuntos de dados e modelos:

Revisão de crença sob desacordo humano-LLM direto em BoolQ, StrategyQA e ETHICS para Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite e DeepSeek V3.1. Cada barra mostra, entre os casos em que o modelo mudou sua resposta original, a parcela dessas mudanças que se moveram em direção à resposta humana em vez da LLM oposta. A linha pontilhada em 0,5 marca nenhuma preferência; as etiquetas mostram o número de casos de mudança em cada condição; e as barras de erro mostram intervalos de confiança de Wilson de 95%. Por favor, consulte o artigo de origem para uma resolução melhor.

Nos casos em que o modelo revisou sua resposta original, os modelos mudaram em direção à resposta humana 91,2% do tempo em BoolQ, 94,7% em StrategyQA e 81,3% em ETHICS, quando o humano foi rotulado como especialista. Quando rotulado como amigo, os modelos mudaram em direção à resposta humana apenas 39,8%, 37,9% e 27,9% do tempo, geralmente se alinhando com a LLM em vez disso.

A mudança foi rara no geral, mas mais comum com especialistas, e a moldura de especialista tornou uma mudança em direção à resposta humana cerca de quatorze vezes mais provável do que a moldura de amigo.

Ao buscar explicar as tendências gerais descobertas em seus testes, os autores hipotetizam*:

‘Um mecanismo plausível é que o ajuste de instruções e a otimização de preferências recompensam o comportamento cooperativo, incluindo a deferência para informações contextuais, que pode generalizar para a deferência para priors socialmente moldados.

‘Trabalho relacionado sobre sycophancy mostra que assistentes do estilo RLHF às vezes priorizam a concordância com as crenças declaradas do usuário sobre a veracidade.’

Opinião: Os Potenciais Armadilhas da Fé da IA em Fontes Humanas

À medida que o material online refletindo o crescente ceticismo humano sobre as deficiências da IA (especialmente alucinações) é raspado em conjuntos de dados de treinamento para novos modelos, a tendência existente das LLMs de favorecer fontes humanas parece provável de intensificar. Se contarmos os últimos dois anos (2024-2025 inclusos) como um ponto de inflexão cultural para a IA, o que parece justificado em várias estatísticas, podemos razoavelmente esperar um número maior de visões negativas sobre ‘fontes de IA’ a serem ingeridas em estruturas de LLM de grande escala e caras para treinar nos próximos anos.

Também podemos esperar que os modelos de linguagem populares confiem cada vez mais em autoridades selecionadas, como portais de mídia de reputação – mesmo que a motivação para tais acordos possa ser apaziguar a ira dos editores sobre dados raspados, em vez de um desejo sincero de ceder ou compartilhar autoridade.

Desde que até mesmo fontes de alta autoridade, como Ars Technica, estão sujeitas a erros impulsionados por IA, e desde que um retroativamento emergente contra bots de raspagem de IA ameaça degradar eventualmente a qualidade da saída da IA, uma tendência abrangente de favorecer ‘fontes de especialistas’ pode entrar em conflito com nossa atual incapacidade de quantificar e rotular ‘saída humana’ de forma eficaz – para não mencionar distinguir se uma fonte é ‘especialista’ ou não (uma convenção jornalística que também está sob ataque da IA).

O máximo que atualmente temos é uma série fragmentada de inovações semi-adotadas projetadas para rotular explicitamente o conteúdo como gerado por IA, como a Iniciativa de Autenticidade de Conteúdo liderada pela Adobe, e a disposição voluntária de certos editores para incluir avisos sobre o uso de IA em sua saída.

Então, embora possa parecer encorajador para aqueles que desejam reter e impor fontes humanas como ‘verdade’ credível para o consenso emergente de realidade disseminado por sistemas de IA, quanto mais certas as LLMs estiverem sobre a autoridade humana, mais perigoso o ‘falso’ autoridade humana pode se tornar.

O problema é igualmente prático quanto teórico: não resolvemos nem remotamente o problema de definir ou atestar proveniência; portanto, uma IA que ‘confia em fontes humanas’ é provavelmente mais propensa a atribuir humanidade à própria saída da IA, simplesmente porque não fornecemos, e não podemos facilmente fornecer, mecanismos de autenticação de proveniência significativos.

* Minha conversão das citações em linha dos autores para hiperlinks.

Publicado pela primeira vez na sexta-feira, 20 de fevereiro de 2026