A Verbosidade Diminui a Precisão nos Grandes Modelos de Linguagem

Pesquisa recente descobriu que forçar os Grandes Modelos de Linguagem a dar respostas mais curtas melhora notavelmente a precisão e a qualidade de suas respostas.

Quem já tentou parar um chatbot de “tagarelar” reconhecerá as conclusões de uma nova pesquisa: forçar a IA a dar respostas mais curtas a torna mais precisa.

Investigando os motivos pelos quais os chatbots de IA maiores performam pior nesse aspecto do que os menores, em certos casos (conhecidos como escala inversa), a pesquisa encontrou que forçar 31 modelos de linguagem populares a darem respostas mais curtas causou uma melhoria de até 26,3% na precisão de suas respostas:

‘Os resultados fornecem evidências causais convincentes: as restrições de brevidade melhoraram a precisão dos grandes modelos em 26,3 pontos percentuais e reduziram a lacuna de escala inversa em 67% (de 44,2% para 14,8%, teste t pareado: t = 7,80, p < 0,0001).'

A verbosidade excessiva é uma reclamação frequente entre os usuários finais, não apenas entre aqueles que usam modelos comerciais como o ChatGPT, onde os fóruns de suporte apresentam esse tópico com frequência.

O domínio mais afetado pela remediação da verbosidade nas respostas é matemática, onde os AIs testados foram limitados a responder em 50 palavras ou menos. Para compreensão de leitura tarefas, eles foram restritos a apenas 10 palavras em suas respostas.

O artigo define a tendência da IA para a verbosidade como pensamento excessivo, onde a mensagem central não é apenas obscurecida pela verbiagem, mas às vezes até afetada negativamente por ela. O modelo menor é, observa o artigo, a solução menos necessária, ou funciona.

A pesquisa conclui que não há nada arquitetônico que precise ser abordado para aplicar essa solução sistematicamente. No entanto, em uma sessão de chat de um usuário, uma diretriz para a brevidade provavelmente precisaria ser repetida, enquanto um prompt de sistema globalmente aplicado – que precisaria ser implementado como um padrão de engenharia em plataformas como o ChatGPT – poderia tornar respostas mais curtas o comportamento padrão.

Ventos Tempestuosos

Nada disso explica exatamente por que os modelos maiores tendem à verbosidade, desde que isso afeta também os modelos de código aberto. O artigo sugere que os protocolos e práticas comuns em técnicas de Aprendizado por Reforço com Feedback Humano (RLHF) podem oferecer uma explicação*:

‘Uma origem plausível é o treinamento de alinhamento RLHF, onde os anotadores humanos recompensam a completude desproporcionalmente em modelos maiores com maior capacidade de atuar em sinais de recompensa de comprimento–consistentes com as diferenças de verbosidade sendo maiores em variantes de modelo de instrução do que em variantes de base.

‘Trabalho anterior documenta viés de comprimento sistemático em recompensa modelos, onde os anotadores confundem comprimento com qualidade.

‘Modelos maiores, tendo maior capacidade de atender a sinais de recompensa de comprimento, podem internalizar a geração verbosa mais profundamente do que os modelos menores, produzindo o sobre-pensamento dependente de escala que observamos.’

Em humanos, a verbosidade pode ocorrer para preencher um silêncio, ou para mascarar sentimentos de desconforto, devido a doenças mentais, ou para ocultar a falta de conhecimento. Em efeito, uma IA só poderia ser influenciada por esses fatores através da absorção de dados de treinamento que refletem/manifestam esses traços.

Em corpora de dados, outras motivações existem para respostas prolixas, como o incentivo de SEO para produzir conteúdo de texto mais longo, por exemplo em posts de receitas, onde o comprimento se torna (requentemente erroneamente) associado à autoridade.

O que não pode ser completamente descartado é que as plataformas baseadas em API, incentivadas a impulsionar os usuários para um nível de assinatura mais alto e mais caro, ou encorajam ou não supervisionam a verbosidade, pois aumenta o uso de tokens quite barato, sem a necessidade de raciocínio excessivo ou chamadas de RAG^†.

O novo artigo é intitulado Restrições de Brevidade Invertem Hierarquias de Desempenho em Modelos de Linguagem, e vem do Departamento de Ciência da Computação do Instituto Politécnico da Suécia em Chattogram, no Bangladesh.

Método

Para testar as teorias do artigo, 31 modelos de linguagem foram avaliados – muitos para listar em texto aqui, mas ilustrados na imagem abaixo:

Os Grandes Modelos de Linguagem (LLMs) testados em várias partes dos testes para o novo artigo.

Os modelos foram avaliados contra cinco coleções de benchmark: GSM8K, para raciocínio matemático; BoolQ, para compreensão de leitura; CommonsenseQA, para raciocínio de senso comum; ARC-Easy, cobrindo perguntas científicas; e MMLU-STEM, também para conhecimento científico.

As respostas foram geradas usando decodificação gulosa para garantir saídas determinísticas, então extraídas com regras específicas de tarefa, com precisão medida como a porcentagem de respostas corretas contra verdade fundamental.

Os modelos foram divididos por tamanho, com aqueles com até 10 bilhões de parâmetros tratados como ‘pequenos’, e aqueles acima de 70 bilhões como ‘grandes’, com base em lacunas de desempenho observadas.

A escala inversa foi quantificada comparando o desempenho desses grupos em cada problema, marcando casos onde modelos menores superaram modelos maiores; o tamanho do efeito estatístico foi usado para confirmar que essas lacunas refletiam diferenças consistentes e significativas, e não ruído.

Descartando a Recuperação

Para descartar a possibilidade de que os modelos estivessem simplesmente recuperando dados de treinamento, três verificações separadas foram realizadas, examinando como variadas as respostas eram; como muito seu comprimento flutuava; e como os erros eram feitos. Se os modelos estivessem confiando em padrões memorizados, as respostas tenderiam a se repetir ou seguir templates fixos; em vez disso, as respostas provaram ser em sua maioria únicas entre os modelos, com variação notável no comprimento, de uma resposta para outra.

Os erros também foram inspecionados diretamente, com a maioria das falhas tomando a forma de explicações longas e incorretas, em vez de respostas curtas e evasivas – indicando que os modelos estavam gerando raciocínio real, em vez de recuperar respostas armazenadas.

Dados e Testes

Testando para perguntas individuais em vez de pontuações de cabeçalho, uma grande parte das tarefas de benchmark se revelou não informativa, com 27,1% falhando em separar os modelos em todos, porque todos os sistemas tiveram sucesso ou todos os sistemas falharam, deixando nenhum sinal real sobre o desempenho relativo:

A quebra de nível de problema em cinco benchmarks mostrou que uma parcela substancial de tarefas falhou em distinguir entre os modelos, enquanto uma parcela menor, mas consistente, exibiu escala inversa, onde os modelos menores superaram os maiores. A distribuição geral em 1.485 problemas indica que 7,7% exibem escala inversa. Fonte

Entre as perguntas que sim diferenciaram os modelos, a maioria se comportou como esperado, com sistemas maiores performando melhor, mas um grupo menor mostrando o padrão oposto, com modelos menores saindo à frente. Em todos os problemas, a escala inversa apareceu em 7,7% dos casos, indicando que o efeito não é marginal.

A Escala Inversa Aparecendo

Em todos os cinco benchmarks, 115 problemas foram encontrados onde os modelos menores superaram os maiores, fazendo parte de 7,7% de todas as 1.485 tarefas, indicando que a escala inversa não é um tipo de ocorrência rara ou marginal nesse contexto.

De fato, o efeito apareceu em todas as bases de dados: mais fortemente em BoolQ, e mais fracamente em CommonsenseQA, ARC-Easy, GSM8K e MMLU-STEM, indicando que é generalizada, mas varia por tarefa:

A escala inversa apareceu em todos os benchmarks, variando de 3,9% em MMLU-STEM a 11,3% em BoolQ, com 115 problemas no total. As lacunas de desempenho favoreceram os modelos menores em 28,4 pontos percentuais em média. A precisão declinou à medida que o tamanho do modelo aumentou, com os modelos menores atingindo 66,1%, em comparação com 41,5% para os maiores.

O tamanho da lacuna provou ser substancial, com os modelos menores à frente em 28,4 pontos percentuais em média, e todos os casos mostrando a mesma direção de vantagem, apontando para uma queda consistente no desempenho, em vez de erros ocasionais ou ad hoc.

O mesmo padrão se manteve em diferentes famílias de modelos, incluindo Llama, Qwen, Gemma e Mistral, onde as versões maiores underperformaram as menores, com a precisão tendendo a cair à medida que o tamanho do modelo aumentou nesses problemas.

A lacuna entre os modelos pequenos e grandes foi grande o suficiente para que a chance fosse improvável para explicá-la; e porque o mesmo padrão apareceu em diferentes benchmarks, tarefas e famílias de modelos, a escala inversa emergiu como um efeito consistente, em vez de aleatório.

Ao olhar dentro de cada família de modelos, as versões maiores repetidamente performaram pior do que as menores nesses problemas, sugerindo que a queda pode estar relacionada à escala em si, em vez de diferenças de design.

Os resultados também apontam para um limite para cada tarefa, onde o aumento do tamanho do modelo começa a prejudicar o desempenho, mostrando que os modelos maiores não sempre levam a melhores resultados.

Examinando o Pensamento Excessivo

Tendo estabelecido que os modelos maiores às vezes performam pior em certos domínios, a análise se voltou para o porquê disso acontece, propondo que o problema não é a falta de capacidade, mas sim a explicação excessiva – ou seja, casos onde respostas mais longas começam a obscurecer o raciocínio correto.

Ao longo dos dados, respostas mais longas foram vinculadas a uma menor precisão nesses problemas difíceis, mesmo que os modelos grandes e pequenos produzissem números semelhantes de etapas de raciocínio, sugerindo que o problema não é quanto raciocínio é feito, mas como ele é expresso:

Respostas mais curtas melhoraram o desempenho dos modelos maiores e reduziram a lacuna com os menores, cortando a diferença de 44,2 pontos percentuais para 14,8 (e em alguns casos revertendo-a completamente), enquanto os formatos de resposta direta estreitaram ainda mais. Os ganhos mais fortes apareceram em GSM8K e MMLU-STEM, onde as classificações se invertiam a favor dos modelos maiores, e as verificações de comprimento de resposta confirmaram que a intervenção funcionou, com as saídas caindo de cerca de 197 tokens para menos de 80, vinculando a verbosidade reduzida à precisão melhorada.

Quando as respostas foram forçadas a ser mais curtas, os modelos maiores melhoraram significativamente, reduzindo uma lacuna de desempenho considerável, e, em alguns casos, quase eliminando-a. Em contraste, os modelos menores mudaram muito pouco, indicando que a verbosidade estava ativamente prejudicando os sistemas maiores.

O efeito provou variar por tarefa, com alguns benchmarks se beneficiando fortemente de respostas mais curtas, e outros exigindo um grau de explicação; mas em vários casos, a classificação entre os modelos menores e maiores se reverteu completamente uma vez que a verbosidade foi restringida, revelando que os modelos maiores tinham uma capacidade oculta que estava sendo mascarada pela elaboração excessiva.

Uma análise adicional mostrou que os modelos maiores tendiam a produzir saídas mais longas em geral, apesar de usarem ligeiramente menos etapas de raciocínio explícitas, indicando um estilo de raciocínio mais difuso e menos estruturado.

Em contraste, os modelos menores deram respostas mais curtas e diretas, sugerindo que a forma como o raciocínio é expresso, em vez da quantidade de raciocínio em si, impulsiona a queda no desempenho.

Os autores concluem em geral que as restrições de brevidade trazem benefícios de precisão, e consideram que isso poderia se tornar uma característica fundamental nos modelos de linguagem, em vez de uma restrição repetitiva e aplicada pelo usuário que não sobrevive às sessões; e eles afirmam:

‘As restrições de brevidade ajudam os modelos maiores dramaticamente, enquanto afetam pouco os modelos menores.

‘Se a verbosidade fosse incidental e não causal, mudanças de precisão uniformes seriam esperadas em ambas as categorias de tamanho. A resposta diferencial confirma que o pensamento excessivo é um modo de falha específico da escala, e não um efeito de dificuldade da tarefa.’

Conclusão

Além das versões de código aberto testadas pelos pesquisadores, o problema de verbosidade parece, anecdoticamente, com alguma frequência em muitos modelos principais além do ChatGPT, incluindo Claude, Gemini e Grok.

Se essas plataformas estão ignorando o problema da verbosidade porque isso aumenta o uso de tokens e incentiva gastos mais altos^†, não parece razoável que elas aceitem a queda na precisão que acompanha esse ‘incentivo’.

Será interessante ver se algum método empírico pode determinar com certeza de onde vem a tendência para a verbosidade. Quem já tentou fazer um chatbot realmente conversar, em vez de ‘blogar’ respostas verbosas e multi-etapas para o usuário, perceberá que o modelo foi gravado com ‘guias de tudo em um’ e ‘soluções aceitas’ em seus dados de treinamento.

Será muito interessante ver se um modelo treinado especificamente em conversas passo a passo pode realmente se afastar da tendência verbosa e resumida. No entanto, parece provável que algumas restrições ou filtros precisem ser colocados no peso que o modelo é treinado para dar à resposta ‘decidida’, para que ele treine diretamente também no material precedente – essencialmente, o raciocínio explícito explícito em conversas baseadas em turnos.

Como os dados apropriados parecem ser raros, talvez a única maneira de avançar com essa abordagem seja por meio de dados sintéticos, onde as conclusões finais ‘compounds’ são desmontadas conversacionalmente – ironicamente, de maneira semelhante às podcasts de IA que o Google NotebookLM pode interpretar a partir da entrada de texto simples.

* Minha conversão das citações em linha dos autores para links.

^† Mas sejamos honestos, a diferença entre os custos reais de fornecimento de IA e as taxas de assinatura é atualmente tão grande que isso apenas danificaria a reputação da base de usuários sem resolver a economia subjacente grave dessa fase da ‘conversão’ e ‘convergência’ da IA.

Publicado pela primeira vez no domingo, 5 de abril de 2026