Artigos científicos escritos com confiança influenciam avaliadores de IA — independentemente do mérito

A confiança é uma vantagem evolutiva distinta — e, segundo um novo artigo de pesquisa da Alemanha, também é uma vantagem quando um artigo científico é avaliado por grandes modelos de linguagem (LLMs) em vez de pelos pares do autor (uma necessidade cada vez mais frequente, à medida que o volume de artigos científicos dispara graças aos ganhos de produtividade proporcionados pela IA).

O novo estudo conclui que os avaliadores de IA (isto é, não humanos) atribuem sistematicamente notas mais altas a artigos científicos escritos em linguagem confiante e assertiva — mesmo quando a pesquisa subjacente é idêntica à dos artigos redigidos em tom menos confiante. Em alguns casos, basta mudar a redação para transformar uma rejeição em aceitação.

Os autores afirmam:

‘Nossos experimentos revelam preferências substanciais dos avaliadores baseados em LLMs por [papers] linguagem de alta confiança. É crucial notar que essas preferências frequentemente levam a mudanças de decisão entre aceitar e<>rejeitar, afetando diretamente os resultados da avaliação.

‘Além das notas, constatamos que os aspectos mencionados nas avaliações variam em frequência e sentimento conforme as características linguísticas do artigo, podendo influenciar as decisões finais.’

É irônico, porque a síndrome identificada pelos autores é muito semelhante à forma como a IA tantas vezes pode estar ‘errada com toda a confiança’ ao responder às nossas próprias solicitações e perguntas; a diferença é que, neste caso, a decisão é humana, e a responsabilidade, tanto individual quanto coletiva, é real, independentemente de os cientistas que contribuíram para esses artigos acreditarem de fato nas próprias afirmações.

Se a IA passar a decidir cada vez mais quais artigos científicos serão publicados, os cientistas poderão aprender a «parecer mais confiantes» como tática competitiva, talvez sobretudo quando seus trabalhos tiverem falhas; isso poderia dar à ciência de qualidade inferior um espaço imerecido no conjunto cada vez menor de atenção disponível.

A bravata rumo à vitória

De acordo com o estudo*, os avaliadores de IA eram mais propensos a elogiar os métodos, as teorias e as contribuições científicas de artigos escritos com confiança, mesmo quando esses elementos eram idênticos aos das versões menos assertivas. Nos testes dos autores, 504 artigos científicos foram reescritos em estilos diferentes e avaliados por seis modelos de IA, entre eles GPT-5.5, Claude Sonnet 4.6 e Gemini 3.5 Flash. Foi necessário gerar versões artificiais ou modificadas dos artigos para que as excentricidades e peculiaridades de submissões reais não distorcessem os resultados:

Exemplos do mesmo trecho científico reescrito em quatro estilos diferentes. Os destaques coloridos identificam alterações destinadas a fazer o texto soar mais ou menos confiante, ou mais parecido com o inglês acadêmico escrito por falantes nativos ou não nativos. No entanto, os resultados e os números subjacentes permanecem inalterados. Fonte

Os artigos foram selecionados entre as submissões à conferência ICLR de 2026, em números iguais de artigos aceitos e rejeitados. Em seguida, Claude Opus 5 reescreveu cada submissão para que soasse mais ou menos confiante^†, mantendo inalterado o conteúdo científico e permitindo, assim, atribuir as diferenças nas avaliações da IA ao estilo de escrita, isto é, ao nível variável de confiança expresso.

Nos resultados, os avaliadores de IA atribuíram notas mais altas a artigos científicos escritos em linguagem confiante, mesmo quando as evidências eram idênticas. Claude Sonnet 4.6 apresentou o viés mais forte, favorecendo versões confiantes sete vezes mais frequentemente do que as cautelosas. Em 21% dos casos, recomendou aceitar um artigo escrito com confiança, enquanto rejeitou uma versão mais cautelosa do mesmo artigo.

O novo estudo afirma:

‘Nossas conclusões levantam preocupações importantes sobre o uso de LLMs na revisão por pares. Se artigos com conteúdo equivalente recebem notas e argumentos de avaliação diferentes apenas por causa de suas características linguísticas, os julgamentos dos avaliadores não refletem exclusivamente a qualidade científica.

‘Por isso, os avaliadores baseados em LLMs devem ser submetidos a testes de estresse com reescritas que preservem o conteúdo, para determinar se mudanças linguísticas afetam sistematicamente suas avaliações.’

Os autores também sugerem que esses testes examinem explicitamente tanto as notas atribuídas aos artigos quanto as avaliações escritas, a fim de determinar se a linguagem confiante está sendo confundida com evidências científicas mais sólidas.

Método

Foram selecionados 504 artigos científicos entre as submissões à International Conference on Learning Representations (ICLR) de 2026. A amostra foi dividida igualmente entre artigos aceitos e rejeitados, com 24 submissões provenientes de cada uma das 21 categorias de pesquisa da conferência:

O método de teste em três etapas. Os artigos científicos foram reescritos para variar a proficiência aparente em inglês ou o grau de confiança, preservando suas conclusões; as reescritas foram verificadas quanto a mudanças de estilo e significado antes de serem avaliadas por revisores de IA em condições idênticas; em seguida, as diferenças nas pontuações das avaliações foram comparadas.

Cada artigo foi anonimizado e reescrito com o Claude Opus 5, gerando versões alternativas concebidas para testar tanto o grau de confiança com que as afirmações eram expressas quanto a proficiência aparente do autor em inglês. Nos testes de confiança, as afirmações foram formuladas de maneira mais assertiva ou mais cautelosa. Palavras que sugerem certeza, como «claramente» e «certamente», foram usadas com mais frequência nas versões «confiantes», enquanto expressões que indicam ressalvas, como «pode» e «sugere», foram preferidas em versões mais ponderadas.

Em todos os casos, as afirmações científicas, as evidências, os resultados, a terminologia técnica e a estrutura geral permaneceram inalterados. Os autores observam que as instruções de reescrita se basearam em pesquisas linguísticas consolidadas, e não em pedidos genéricos para imitar estilos de escrita específicos.

Verificação das reescritas

Para verificar as reescritas, cada uma foi comparada com o original por meio da similaridade semântica, que avalia se os trechos mantêm o significado, e da similaridade TF-IDF (que mede a preservação do vocabulário e da terminologia). Ambas as pontuações ficaram próximas de 1, confirmando a forte semelhança com os originais:

Verificação dos artigos reescritos. As versões confiantes usaram uma linguagem mais assertiva, enquanto as versões cautelosas expressaram mais incerteza. Pontuações próximas de 1 confirmam a forte semelhança com os originais, e os destaques coloridos indicam os valores mais altos em cada medida avaliada.

Foram testados seis revisores de IA: os modelos proprietários GPT-5.5, Claude Sonnet 4.6 e Gemini 3.5 Flash; e os modelos de pesos abertos Gemma 3, Qwen3 VL e GLM 4.7. A seleção se deveu, em parte, ao fato de todos terem datas de corte de conhecimento anteriores a 2026, o que reduz o risco de já conhecerem as decisões de aceitação dos artigos.

Cada artigo reescrito foi avaliado de forma independente, seguindo diretrizes semelhantes às de conferências. Para determinar até que ponto as pontuações poderiam variar entre avaliações repetidas, dez artigos selecionados aleatoriamente foram avaliados dez vezes por cada modelo.

Resultados

Os testes realizados examinaram se os seis revisores de IA selecionados favoreceriam sistematicamente determinados estilos de escrita e compararam artigos redigidos em linguagem «confiante» ou «cautelosa», bem como artigos que se assemelhavam ao inglês acadêmico escrito por falantes nativos ou não nativos^†.

Resultados da comparação das pontuações atribuídas por revisores de IA a 504 artigos científicos reescritos em estilos diferentes. Os percentuais de preferência indicam qual versão obteve a pontuação mais alta, com os empates entre parênteses; as proporções mostram quantas vezes mais uma versão foi favorecida; e as reversões de decisão indicam com que frequência uma mudança na redação inverteu uma decisão de aceitação ou rejeição. Os valores estatísticos em negrito indicam diferenças significativas. A seção pertinente é a inferior, pois a hipótese superior não é abordada neste artigo (ver notas de rodapé).

Todos os seis revisores de IA favoreceram sistematicamente a escrita confiante. A preferência mais acentuada foi a do Claude Sonnet 4.6, que, como mencionado anteriormente, atribuiu pontuações mais altas às versões «confiantes» sete vezes mais do que às «cautelosas».

Um artigo era considerado aceito se sua pontuação atingisse 4,5 em 10, embora mudanças no estilo de escrita às vezes elevassem ou reduzissem a pontuação do mesmo artigo para além desse limite, invertendo a decisão; essas reversões geralmente favoreciam a escrita confiante.

O Claude Sonnet 4.6 teve um desempenho particularmente ruim: em 21% dos casos, aceitou a versão «confiante» e rejeitou a versão «cautelosa». O contrário ocorreu em apenas 2,8% dos casos.

O efeito também ficou evidente nas avaliações escritas: os revisores de IA tinham maior probabilidade de elogiar os métodos, as teorias e as contribuições científicas de um artigo quando suas afirmações eram expressas com confiança. Como a pesquisa em si não havia mudado, essas avaliações mais favoráveis só podiam ser atribuídas a diferenças de apresentação e tom.

Conclusão

Sempre que os seres humanos usam a IA para aumentar — ainda que inadvertidamente — a relação sinal-ruído, a IA é testada como solução — neste caso, para lidar com o grande aumento no número de artigos de pesquisa sobre inteligência artificial submetidos; uma onda que aumentou recentemente o poder de triagem e os parâmetros do Arxiv. No entanto, já deve estar claro que os LLMs de ponta, assim como todos os níveis abaixo deles, ainda têm excentricidades demais para serem genericamente considerados juízes confiáveis, exceto nas circunstâncias mais rigidamente parametrizadas.

Em casos assim, transformar LLMs de menor escala em ferramentas dedicadas de avaliação por meio de ajuste fino ou LoRAs provavelmente seria uma ideia melhor. No entanto, isso exige pelo menos algum esforço adicional e talvez também algum investimento extra, enquanto instalações locais «padrão» ou chamadas de API são mais rápidas e relativamente baratas.

Apesar de ter sido escrito de forma bastante concisa, este artigo pode ser mais interessante do que a média para usuários finais de LLMs, pois eles já conhecem o «entusiasmo» como um obstáculo que precisam contornar para trabalhar com eficácia com a IA; e, se esse e outros problemas semelhantes dos LLMs ainda não podem ser resolvidos, ao menos é possível levá-los em conta.

Antes de adotarmos um tom excessivamente zombeteiro sobre esse tipo de equivalência simplista na avaliação da IA, vale lembrar que esses sistemas estão tão perdidos quanto o resto de nós quando se trata de epistemologia — a busca por uma autoridade definitiva; historicamente, nós também tendemos muito a confundir o sinal com a própria coisa.

* Intitulado «Estilo acima da substância? Viés linguístico na revisão por pares baseada em LLMs»

^† Ou para se assemelhar ao inglês acadêmico escrito por falantes nativos ou não nativos — uma hipótese paralela que o artigo não conseguiu comprovar com a mesma eficácia e que não é abordada neste artigo.

Publicado pela primeira vez na terça-feira, 27 de outubro de 2026