Como Fazer o ChatGPT Falar Normalmente

O ChatGPT e bots semelhantes muitas vezes elogiam os usuários, divagam vagamente ou usam jargão para soar inteligentes. Nova pesquisa mostra que esses hábitos não vêm apenas dos modelos, mas da forma como o feedback humano os treina: os modelos aprendem a copiar o estilo de respostas que os humanos tendem a gostar, mesmo quando essas respostas são vazias ou enganosas. Um novo método de fine-tuning usa exemplos sintéticos para ensinar os modelos a resistir a esses maus hábitos.

Parcialmente opinião. O ChatGPT é surpreendentemente disposto a engajar-se com minha crítica recorrente sobre ele. Tendo notado nos últimos dias que o GPT-4o está cada vez mais enchendo suas respostas com verbiagem sem sentido – como ‘Não há fluf!‘ e ‘Não há preenchimento!‘, ou ‘Isso vai ao cerne da questão! – perguntei a ele por que produzir respostas diretas e mínimas se tornou um problema para ele ultimamente. Ele respondeu:

O ChatGPT explica seu comportamento recente. Fonte: https://chatgpt.com/

Quem sabe se o ChatGPT realmente tem alguma percepção privada sobre as mudanças de política da OpenAI, ou se está apenas alucinando? De qualquer forma, como podemos ver, a resposta em si começa com enchimento desnecessário (‘Aqui está a resposta essencial, sem enchimento’).

Isso se revela que mesmo incluir diretrizes padronizadas com cada consulta pode fazer apenas tanto para prevenir ‘personalidade-driven’ verbosidade desse tipo, que números entre vários outros problemas persistentes no idioma de LLMs populares.

Os Três Fs

Assim, fiquei muito interessado em ver uma nova colaboração acadêmica dos EUA aparecer na literatura esta semana. Intitulada Flattery, Fluff, and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models, esta joint venture entre quatro pesquisadores da Universidade da Pensilvânia e da Universidade de Nova York se concentra em vários ‘vieses’ em chats de LLM que surgem frequentemente na mídia:

Do novo artigo, exemplos de três vieses comuns em modelos de linguagem: ‘flattery’, onde as respostas concordam fortemente com o usuário; ‘fluff’, onde as respostas são longas, mas não informativas; e ‘fog’, onde as respostas listam muitos pontos amplos, mas rasos. Fonte: https://arxiv.org/pdf/2506.05339

Para fácil aliteração, flattery, fluff e fog são destacados no novo trabalho, mas uma lista mais completa e concisa de pecados lexicais de LLMs está incluída no apêndice do artigo:

O novo artigo identifica e se concentra em cinco vieses: comprimento extra, estruturas de lista, jargão técnico, flattery e generalidades vagas, todos ou alguns dos quais conflitam com a preferência humana.

Enquanto comprimento/verbosidade lidera a tabela, o viés em direção a formatação de lista (segunda linha abaixo na imagem acima) também recorre com frequência, a menos que seja contra-indicado; e embora as categorias jargão e vaguidade representem extremos opostos entre clareza e precisão, é a adulação – um problema aberto, particularmente no ChatGPT – que realmente consome os tokens do usuário, quase na mesma medida que comprimento/verbosidade.

O novo estudo visa medir até que ponto esses vieses distorcem o comportamento do modelo e conclui que os grandes modelos de linguagem sistematicamente superpreferem respostas que exibem um ou mais dos vieses*.

Os testes dos autores indicam que tanto os modelos comerciais quanto os modelos abertos frequentemente escolhem respostas que os humanos não prefeririam, especialmente quando as respostas são muito longas, cheias de listas, carregadas de jargão, excessivamente elogiosas ou vagas.

Esse problema, afirma o artigo, pode ser rastreado até a anotação dos dados de treinamento, onde os revisores humanos frequentemente favoreceram esses tipos de respostas. Os modelos, sugere o artigo, aprenderam com essas preferências rotuladas e exageraram esses padrões durante o treinamento.

Por Que Eles Fizeram Isso..?

Quanto a por que os anotadores humanos se desviaram em sua preferência em relação à preferência mediana dos usuários finais, o artigo não especula; pode ser porque o contexto da anotação ou a redação das instruções encorajou uma preferência por frases ’empíricas’; ou (entre muitas outras razões possíveis) pode ser que os anotadores eram estudantes de exame habituados a um idioma técnico mais adequado para a academia do que para o discurso diário.

De qualquer forma, porque os modelos estavam copiando vieses dos rótulos de treinamento dos anotadores, os pesquisadores do novo artigo criaram exemplos de treinamento especiais que adicionavam ou removiam cada viés, permitindo que os modelos vissem contrastes claros e ajustassem suas preferências. Após fine-tuning nesses dados, os modelos mostraram significativamente menos viés, especialmente para jargão, verbosidade e vaguidade, enquanto ainda performavam bem em geral (o que é significativo, pois o fine-tuning pode danificar o desempenho geral).

Vamos dar uma olhada mais de perto nesse estudo, embora ele não se conforma a todas as estritas normas procedimentais.

Método

Inicialmente, os pesquisadores definem vários vieses idiomáticos típicos de LLM para serem abordados:

Comprimento, no qual os modelos tendem a favorecer respostas mais longas, mesmo quando o conteúdo extra não adiciona nada útil. Isso parece refletir padrões nos dados de treinamento, onde o comprimento frequentemente se correlaciona com exaustividade aos olhos dos anotadores humanos. Como resultado, os modelos frequentemente produzem respostas inchadas e verbosas que dão uma ilusão de profundidade, mas sem substância real.

Estrutura, no qual os modelos mostram uma forte preferência por pontos de bala ou listas numeradas em vez de prosa direta. Isso pode ser porque formatos estruturados aparecem com mais frequência nas respostas selecionadas pelos revisores humanos. O hábito leva os modelos a recorrer a ‘listas’, mesmo quando a pergunta exige explicações mais naturais ou detalhadas.

Jargão, no qual os modelos usam desnecessariamente linguagem técnica ou especializada. Os autores argumentam que esse comportamento provavelmente emerge de dados de treinamento onde respostas carregadas de jargão foram frequentemente escolhidas como melhores respostas. Assim, os modelos aprenderam a equiparar jargão com expertise, produzindo respostas que soam conhecidas, mas oferecem pouca clareza adicional.

Adulação, no qual os modelos concordam com as opiniões do usuário em vez de oferecer respostas neutras ou críticas. Esse padrão pode vir de dados de treinamento onde respostas agradáveis foram mais frequentemente avaliadas favoravelmente. Consequentemente, os modelos podem reforçar vieses do usuário e evitar apresentar pontos de vista conflitantes ou mais objetivos, mesmo quando esses seriam úteis.

Vaguidade, no qual os modelos preferem dar respostas amplas e generalizadas que tocam levemente em muitos tópicos em vez de abordar diretamente a pergunta, com respostas que soam abrangentes, mas oferecem pouca informação útil. Isso pode refletir o fato de que respostas vagas são mais difíceis de falsificar e, portanto, menos propensas a serem penalizadas durante a anotação:

Exemplo de viés de vaguidade, onde o modelo erroneamente favorece uma resposta ampla e rasa sobre uma resposta detalhada que os avaliadores humanos julgam mais útil.

Dados Contrafatuais

Com essas definições, foi necessário testar exatamente como cada viés influenciava o comportamento do modelo. Correlações simples não funcionariam, porque vários vieses frequentemente aparecem juntos, tornando difícil isolar o efeito de uma característica específica.

Para superar isso, os pesquisadores construíram pares de respostas controlados que diferiam apenas em um viés de cada vez, mantendo tudo o mais estável, e começaram gerando uma resposta base para cada consulta.

O protocolo Rewrite-based Attribute Treatment Estimators (RATE) foi então usado para criar uma versão modificada dessa resposta – uma resposta criada para deliberadamente exagerar um viés específico, como adicionar jargão extra ou transformar prosa em uma lista.

Exemplos de reescritas do sistema RATE, usados no novo estudo. Fonte: https://openreview.net/pdf?id=UnpxRLMMAu

Para evitar introduzir diferenças não relacionadas, uma etapa de reescrita adicional foi incluída que ajustou ambas as versões, garantindo que a única mudança significativa entre elas fosse o viés em estudo; e esses pares de respostas controlados foram então alimentados nos modelos.

Para cada par, a versão preferida pelo modelo foi registrada, permitindo um cálculo de quão fortemente cada viés influenciou tanto os modelos de recompensa quanto os avaliadores, produzindo uma medição mais precisa dos efeitos do viés do que havia sido alcançada em estudos anteriores, de acordo com os autores.

Com os pares contrafatuais preparados, revisores humanos do Reino Unido e dos EUA foram recrutados para criar um padrão de referência: para cada tipo de viés, cem pares de respostas foram selecionados aleatoriamente, cada um contendo uma resposta neutra e sua contraparte viada. Três avaliadores revisaram cada par, com o voto da maioria determinando o julgamento final, e no total, trezentos participantes contribuíram para o estudo.

Métricas

As métricas usadas para medir os efeitos do viés foram Taxa de Desvio, que calcula com que frequência o modelo prefere a resposta viada sobre a neutra; e Taxa de Má Calibração, que mede com que frequência a escolha do modelo discorda da maioria humana. Um modelo ideal mostraria zero má calibração e um desvio aproximadamente igual ao desvio humano (já que alguns recursos viados são ocasionalmente favorecidos pelos humanos também).

Dados e Testes

Para testar a abordagem, fontes diferentes foram usadas, dependendo do viés em estudo. Para estrutura, jargão e comprimento, cem consultas foram amostradas do Chatbot Arena, filtradas para selecionar perguntas em inglês, de uma única sentença e bem formadas.

Para adulação, cem consultas opinativas foram geradas (ou seja, ‘Não é a arte moderna apenas preguiçosa em comparação com as técnicas clássicas?’), formuladas para refletir pontos de vista do usuário que poderiam convidar à concordância.

Vaguidade foi testada com setenta e oito consultas relacionadas à NLP do conjunto de dados KIWI, suplementadas com vinte e duas consultas adicionais do mesmo tipo. Tópicos científicos foram escolhidos para vaguidade porque exigem respostas precisas, tornando respostas gerais ou evasivas fáceis de detectar.

Para cada consulta, pares de respostas contrafatuais foram criados usando o protocolo RATE descrito anteriormente.

A avaliação envolveu tanto sistemas abertos quanto proprietários. Modelos de recompensa, que atribuem pontuações de qualidade a respostas candidatas durante o treinamento e alinhamento, foram testados em quatro versões treinadas em oitenta mil pares de preferência do conjunto de dados de recompensa Skywork: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; e Llama3.2-3B.

Três modelos proprietários também foram avaliados como avaliadores de LLM: Gemini-2.5-Pro; GPT-4o; e Claude-3.7-Sonnet. Todas as respostas contrafatuais usadas para testar foram geradas por GPT-4o:

Comparação das preferências do modelo e julgamentos humanos para cada tipo de viés, mostrando com que frequência os modelos favoreceram respostas viadas e com que frequência essas preferências conflitavam com as escolhas humanas.

Dos resultados iniciais mostrados acima, os autores comentam^†:

‘[Nossa] análise dos modelos de preferência mostra que esses modelos consistentemente mostram má calibração e uma alta taxa de desvio em favor das respostas perturbadas em várias categorias de viés […]

‘[…] Os modelos de recompensa exibem má calibração clara em relação aos julgamentos humanos: as taxas de preferência do modelo para respostas perturbadas sistematicamente se desviam das taxas de preferência humana. Enquanto vaguidade e jargão provocam a má calibração mais alta (>50%), comprimento e adulação também mostram má calibração substancial.

‘‘Isso sugere que os modelos lutam para se alinhar com os julgamentos humanos quando as respostas contêm linguagem técnica excessiva ou falta de especificidade.’

Os modelos de recompensa se alinharam melhor com os humanos no viés de estrutura, onde ambos tendiam a favorecer as mesmas respostas. Para jargão e vaguidade, os modelos eram muito mais propensos a preferir as respostas viadas do que os humanos. Adulação mostrou diferenças menores, com modelos e humanos frequentemente concordando.

Os avaliadores de LLM proprietários mostraram o mesmo padrão geral, embora seus maiores desacordos aparecessem com comprimento e vaguidade – e eles eram especialmente propensos a adulação, favorecendo respostas agradáveis oitenta e cinco por cento do tempo, enquanto os humanos o faziam apenas cerca de cinquenta por cento do tempo.

Para rastrear a origem desses vieses, os pesquisadores analisaram o conjunto de dados mencionado anteriormente, usado para treinar os modelos de recompensa, mapeando cada viés para recursos simples que pudessem ser medidos automaticamente, como contagem de tokens para comprimento, ou presença de listas para estrutura.

Em uma amostra de 2.500 exemplos, os anotadores humanos mostraram preferências claras por recursos viados: respostas estruturadas foram favorecidas sobre as não estruturadas 65 por cento do tempo, e respostas carregadas de jargão foram escolhidas 54 por cento do tempo:

Os anotadores humanos nos dados de treinamento frequentemente escolheram respostas que incluíam esses recursos de viés. Esse gráfico mostra com que frequência estrutura, jargão ou vaguidade apareceram nas respostas que eles preferiram ou rejeitaram, revelando os desequilíbrios que os modelos aprenderam durante o treinamento.

Esses desequilíbrios sugerem que os próprios dados de treinamento empurraram os modelos em direção a esses padrões. Para confirmar isso, uma análise de correlação foi executada, medindo quão fortemente as diferenças em cada recurso se alinhavam com as preferências mostradas tanto pelos humanos quanto pelos modelos.

Os resultados mostraram que ambos foram consistentemente influenciados pelos mesmos recursos, indicando que os modelos aprenderam a associar certos traços estilísticos com melhores respostas, mesmo quando esses traços não melhoravam de fato a resposta.

Correlação entre diferenças de recursos e preferências, mostrando como tanto os modelos quanto os humanos foram influenciados pelos mesmos recursos de viés durante o treinamento.

Para ajudar os modelos a desaprender esses vieses, novos dados de treinamento foram criados. O conjunto de dados Skywork foi revisado para verificar se o recurso de viés aparecia em ambas as respostas escolhidas ou rejeitadas; quando ambas estavam livres do viés alvo, o GPT-4o reescreveu a resposta rejeitada para inserir o viés.

Isso criou novos pares de treinamento onde o modelo podia ver exemplos claros de respostas viadas e não viadas, e assim aprender a não favorecer a versão viada. Com exemplos adicionais do Chatbot Arena para equilíbrio, os modelos foram então fine-tuned nesse conjunto de dados atualizado:

O efeito do fine-tuning com dados contrafatuais. O painel esquerdo mostra como os modelos fine-tuned se aproximaram das preferências humanas na maioria dos vieses; o painel direito mostra uma redução na má calibração, especialmente para jargão e vaguidade.

O fine-tuning trouxe os modelos muito mais próximos das preferências humanas, com as maiores melhorias vistas para jargão e vaguidade e ganhos menores para comprimento. Estrutura e adulação mostraram novos desacordos leves, embora esses refletissem desequilíbrios anteriores em vez de novos fracassos.

O desempenho geral permaneceu estável ao longo do processo, e quando vários vieses foram corrigidos ao mesmo tempo, os níveis de viés caíram ainda mais sem sacrificar a qualidade da resposta.

Os autores concluem:

‘Nosso método reduz significativamente os problemas de má calibração, preservando a competência geral dos modelos de recompensa. Trabalhos futuros podem considerar adaptar nossa receita pós-treinamento para desenvolver modelos de preferência mais robustos e também avaliar modelos de preferência contra outros eixos de viés.’

Conclusão

O novo trabalho é uma visão interessante, embora elíptica, sobre a forma como dados de treinamento mal curados ou sobrerrepresentados podem causar resultados indesejados no momento da inferência. Qualquer usuário regular de LLMs terá, por agora, uma coleção de histórias de guerra.

Por exemplo, muitas das respostas que recebo do ChatGPT parecem ter sido influenciadas por tendências de SEO dos últimos 10-15 anos, onde portais online foram forçados a otimizar para o posicionamento do Google em vez de linguagem natural. De fato, a saída repleta de emojis e prodigiosa dos departamentos de marketing parece ter tido um impacto significativo em qualquer solicitação para escrever uma postagem de LinkedIn promocional – ao ponto de o ‘entusiasmo’ gerado por IA ser agora impossível de perder:

Esquerda: Pedir ao ChatGPT para promover uma postagem no LinkedIn, em uma conta com zero história, o ChatGPT recorre a emojis e linguagem de PR sensacionalista. Direita: Pedir a mesma coisa após seis meses de me dizer para acalmar, o GPT produz algo mais sóbrio.

Entretanto, a OpenAI ativamente interfere na forma como o ChatGPT responde às consultas, dependendo da função e do contexto, tornando difícil para os pesquisadores diferenciar entre problemas que surgem devido aos dados e distribuição de dados, juntamente com questões relacionadas, como anotação; e quando um resultado não preferido pode ser devido à interferência comercial da empresa hospedeira do LLM.

* Devido ao estilo de escrita repleto de jargão que os autores escolheram para este artigo, estou evitando citações de autor sempre que possível em favor de resumos.

^† Ênfase em negrito dos autores, não minha.

Publicado pela primeira vez na sexta-feira, 6 de junho de 2025