Verbositet minskar noggrannhet i stora språkmodeller

Nya studier visar att om man tvingar stora språkmodeller att ge kortare svar, förbättras noggrannheten och kvaliteten på deras svar avsevärt.

Den som har försökt att stoppa en chatbot från att “prata för mycket” känner igen slutsatserna från ny forskning: att tvinga AI att ge kortare svar gör den mer exakt.

Forskarna undersökte varför större AI-chatbotar presterar sämre i detta avseende än mindre, i vissa fall (kända som invers skalförändring), och fann att om man tvingar 31 populära stora språkmodeller (LLM) att ge kortare svar, förbättrades noggrannheten på deras svar med upp till 26,3%:

‘Resultaten visar övertygande kausala bevis: begränsningar av verbositet förbättrade stor modells noggrannhet med 26,3 procentenheter och minskade gapet för invers skalförändring med 67% (från 44,2% till 14,8%, parvis t-test: t = 7,80, p < 0,0001).'

Överdriven verbositet är en vanlig klagomål bland slutanvändare, inte minst bland de som använder kommersiella modeller som ChatGPT, där supportforum innehåller detta ämne ofta.

Det område som påverkas mest av att minska verbositeten i svaren är matematik, där de testade AI-modellerna begränsades till att svara på 50 ord eller mindre. För läsförståelse-uppgifter begränsades de till att svara med endast 10 ord.

Forskningsrapporten definierar AI:s tendens till verbositet som överanalys, där det centrala budskapet inte bara döljs av verbiage, utan ibland även påverkas negativt av det. Ju mindre modellen är, observerar rapporten, desto mindre behövs denna lösning, eller fungerar den.

Forskningen slutsats är att det inte finns något arkitektoniskt som behöver åtgärdas för att tillämpa denna lösning systematiskt. Men i en användares chatsession skulle en direktiv mot verbositet troligen behöva upprepas, medan en globalt tillämpad systemprompt – som skulle behöva implementeras som en ingenjörsstandard på plattformar som ChatGPT – kunde göra kortare svar till standardbeteende.

Blåsiga vindar

Ingenting av detta förklarar exakt varför större modeller tenderar till verbositet, eftersom detta är något som påverkar öppen källkodsmodeller också. Rapporten föreslår att protokoll och vanliga metoder i förstärkt inlärning från mänsklig feedback (RLHF) kan erbjuda en förklaring*:

‘En trolig ursprung är RLHF-justeringsutbildning, där mänskliga annotatorer belönar noggrannhet oproportionerligt i större modeller med större kapacitet att agera på längd-belöningsignalerna – förenligt med verbositets skillnader som är större i instruktionsjusterade än basmodellvarianter.

‘Tidigare arbete dokumenterar systematisk längdbias i belönings modeller, där annotatorer sammanblandar längd med kvalitet.

‘Större modeller, med större kapacitet att tillfredsställa längd-belöningsignalerna, kan internalisera verbos generering mer djupt än mindre modeller, vilket producerar den skalfördelade överanalysen vi observerar.’

Hos människor kan verbositet förekomma för att fylla i en tystnad, eller för att maskera känslor av obehag, på grund av psykisk ohälsa, eller för att dölja brist på kunskap. I verkligheten kan en AI endast påverkas av dessa faktorer genom absorption av träningsdata som reflekterar/manifest dessa egenskaper.

I dataset-samlingar finns andra motiv för prolixa svar, såsom SEO-incitamentet att producera längre textinnehåll, till exempel i receptinlägg, där längd blir (ofta felaktigt) associerad med auktoritet.

Vad som inte kan uteslutas är att API-baserade plattformar, som inciteras att sporra användare till en högre och dyrare prenumerationsnivå, antingen uppmuntrar eller inte övervakar verbositet, eftersom det ökar tokenanvändning ganska billigt, utan behov av överdriven resonemang eller RAG-samtal^†.

Den nya rapporten har titeln Brevity Constraints Reverse Performance Hierarchies in Language Models och kommer från datavetenskapsavdelningen vid Sweden Polytechnic Institute i Chattogram, Bangladesh.

Metod

För att testa rapportens teorier utvärderades 31 språkmodeller – för många för att lista i textform här, men avbildade i bilden nedan:

De stora språkmodellerna (LLM) som testades i olika delar av försöken för den nya rapporten.

Modellerna utvärderades mot fem benchmark-samlingar: GSM8K, för matematiskt resonemang; BoolQ, för läsförståelse; CommonsenseQA, för sunt förnuft; ARC-Easy, som täcker vetenskapsfrågor; och MMLU-STEM, också för vetenskaplig kunskap.

Svar genererades med girig dekodning för att säkerställa deterministiska utdata, och sedan extraherades med uppgiftsspecifika regler, med noggrannhet mätt som andelen korrekta svar mot grundfakta.

Modellerna delades upp efter storlek, med de som var på eller under tio miljarder parametrar behandlades som “små”, och de som var över sjuttio miljarder som “stora”, baserat på observerade prestandagap.

Invers skalförändring kvantifierades genom att jämföra prestandan hos dessa grupper på varje problem, och markerade fall där mindre modeller presterade bättre än större; statistisk effektstorlek användes sedan för att bekräfta att dessa gap reflekterade konsekventa, meningsfulla skillnader snarare än brus.

Uteslutning av återkallande

För att utesluta möjligheten att modellerna enbart återkallade träningsdata, genomfördes tre separata kontroller, som undersökte hur varierande svaren var; hur mycket deras längd fluktuerade; och hur fel gjordes. Om modellerna förlitade sig på memoriserade mönster, skulle svaren tendera att upprepa eller följa fasta mallar; istället visade sig svaren vara mestadels unika över modellerna, med märkbar variation i längd, från ett svar till ett annat.

Fel inspekterades också direkt, och de flesta misslyckanden tog formen av långa, felaktiga förklaringar, snarare än korta, undvikande svar – vilket indikerar att modellerna genererade faktiskt resonemang, snarare än att hämta lagrade svar.

Data och tester

Testning för enskilda frågor snarare än rubriksiffror, visade sig en stor andel av benchmark-uppgifter vara oinformativa, med 27,1% som misslyckades med att skilja modellerna åt alls, eftersom antingen alla system lyckades eller alla system misslyckades, vilket lämnade inget riktigt signal om relativ prestanda:

Problemnivåuppdelning över fem benchmarkar visade att en betydande andel av uppgifterna misslyckades med att skilja modellerna åt, medan en mindre men konsekvent del visade invers skalförändring, där mindre modeller presterade bättre än större. Den totala fördelningen över 1 485 problem visar att 7,7% visar invers skalförändring. Källa

Bland frågorna som verkligen differentierade modellerna, betedde sig de flesta som förväntat, med större system som presterade bättre, men en mindre grupp visade den motsatta mönster, med mindre modeller som kom ut som vinnare. Över alla problem visade sig invers skalförändring i 7,7% av fallen, vilket indikerar att effekten inte är marginal.

Invers skalförändring visas

Över de fem benchmarkarna, hittades 115 problem där mindre modeller presterade bättre än större, vilket utgör 7,7% av alla 1 485 uppgifter, vilket visar att invers skalförändring inte är något sällsynt eller marginellt fenomen i detta sammanhang.

I verkligheten visade sig effekten i varje dataset: mest starkt i BoolQ, och svagare i CommonsenseQA, ARC-Easy, GSM8K och MMLU-STEM, vilket visar att det är ett brett fenomen, men varierar beroende på uppgift:

Invers skalförändring visade sig över alla benchmarkar, från 3,9% i MMLU-STEM till 11,3% i BoolQ, med 115 problem i totalt. Prestandagapen favörde mindre modeller med i genomsnitt 28,4 procentenheter. Noggrannheten minskade när modellstorleken ökade, med små modeller som nådde 66,1%, jämfört med 41,5% för större modeller.

Storleken på gapet visade sig vara betydande, med mindre modeller som ledde med i genomsnitt 28,4 procentenheter, och varje fall visade samma riktning på fördel, vilket tyder på en konsekvent minskning av prestanda, snarare än tillfälliga eller ad hoc-fel.

Samma mönster visade sig över olika modellfamiljer, inklusive Llama, Qwen, Gemma och Mistral, där större versioner presterade sämre än mindre, med noggrannhet som tenderade att minska när modellstorleken ökade på dessa problem.

Gapet mellan små och stora modeller var tillräckligt stort för att slumpen skulle kunna förklara det; och eftersom samma mönster visade sig över olika benchmarkar, uppgifter och modellfamiljer, visade sig invers skalförändring som en konsekvent snarare än slumpmässig effekt.

När man tittar inom varje modellfamilj, presterade större versioner konsekvent sämre än mindre på dessa problem, vilket tyder på att minskningen kan vara kopplad till skalan i sig, snarare än skillnader i design.

Resultaten pekar också på en gräns för varje uppgift, där ökning av modellstorlek börjar skada prestanda, vilket visar att större modeller inte alltid leder till bättre resultat.

Undersökning av överanalys

Efter att ha etablerat att större modeller ibland presterar sämre på vissa domäner, vände analysen till varför detta händer, och föreslog att problemet inte är brist på förmåga, utan för mycket förklaring – d.v.s. fall där längre svar börjar oscillera korrekt resonemang.

Över hela datamaterialet, var längre svar kopplade till lägre noggrannhet på dessa svåra problem, även om stora och små modeller producerade ungefär lika många resonemangssteg, vilket tyder på att problemet inte är hur mycket resonemang som görs, utan hur det uttrycks:

Kortare svar förbättrade stora modellers prestanda och minskade gapet med mindre modeller, från 44,2 procentenheter till 14,8 (och i vissa fall vände det helt), medan direkt svarsformat minskade det ytterligare. De starkaste vinsterna visade sig i GSM8K och MMLU-STEM, där rankningarna vändes till fördel för större modeller, och kontroller av svarslängd bekräftade att ingreppet fungerade, med utdata som minskade från cirka 197 token till under 80, vilket kopplar minskad verbositet till förbättrad noggrannhet.

När svaren tvingades att vara kortare, förbättrades stora modeller kraftigt, och minskade ett betydande prestandagap, och i vissa fall eliminerade det nästan helt. Omvänt förändrades små modeller mycket lite, vilket tyder på att verbositet aktivt skadade större system.

Effekten visade sig variera beroende på uppgift, med vissa benchmarkar som drog nytta av kortare svar, och andra som krävde en viss grad av förklaring; men i flera fall vändes rankningen mellan små och stora modeller helt, när verbositet begränsades, vilket visar att större modeller hade en dold förmåga som maskerades av överelaborering.

Ytterligare analys visade att stora modeller tenderade att producera längre utdata overall, trots att de använde något färre explicita resonemangssteg, vilket tyder på en mer diffus och mindre strukturerad stil av resonemang.

Omvänt gav små modeller kortare, mer direkta svar, vilket tyder på att sättet resonemang uttrycks, snarare än mängden resonemang i sig, driver minskningen av prestanda.

Författarna slutsats är att begränsningar av verbositet bringar noggrannhetsvinster, och överväger att detta kunde bli en grundläggande funktion i språkmodeller, snarare än en upprepad, användarapplikation som inte överlever över sessioner; och de påstår:

‘[Brevitet] begränsningar hjälper stora modeller dramatiskt medan de knappt påverkar små modeller.

‘Om verbositet vore ovidkommande snarare än orsak, skulle enhetliga noggrannhetsförändringar förväntas över båda storlekskategorierna. Den differentierade reaktionen bekräftar att överanalys är en skalfördelad felmod, inte en uppgiftssvårighetsfaktor.’

Slutsats

Utöver de öppna källkodsmodeller som testades av forskarna, verkar problemet med verbositet, anekdotiskt, med en viss frekvens över många stora modeller utöver ChatGPT, inklusive Claude, Gemini och Grok.

Om dessa plattformar försummar verbositetsproblemet för att det ökar tokenanvändning och uppmuntrar högre utgifter^†, verkar det inte rimligt att de skulle acceptera den minskning av noggrannhet som följer med denna “uppmuntran”.

Det vore intressant att se om någon empirisk metod kunde fastställa med säkerhet var tendensen till verbositet kommer ifrån. Den som har försökt att få en chatbot att faktiskt prata, snarare än att “blogga” verbos, flerstegssvar till användaren, har insett att modellen har blivit allvarligt präglad av “allt-i-ett”-användarhandböcker och “accepterade lösningar” i sin träningsdata.

Det vore därför mycket intressant att se om en modell som specifikt tränats på steg-för-steg-samtal kunde undvika den verbosa, sammanfattningsbenägna tendensen. Men det verkar troligt att vissa begränsningar eller filter skulle behöva placeras på den vikt som modellen tränas till att ge på det “beslutade” svaret, så att den tränar direkt på det föregående materialet – i princip, det explicita resonemang som är explicit i turordningsbaserade samtal.

Eftersom lämpliga data av detta slag verkar vara sällsynta, kan den enda vägen framåt med denna metod vara via syntetiska data, där “sammansatta” slutkonklusioner plockas isär konversationsmässigt – ironiskt nog, på samma sätt som AI-podcasts som Google NotebookLM kan tolka från vanlig textinmatning.

* Min konvertering av författarnas inline-citat till hyperlänkar.

^† Men låt oss vara ärliga, gapet mellan faktiska AI-leveranskostnader och prenumerationsavgifter är för närvarande så stort att detta bara skulle skada användarbasens rykte utan att lösa de allvarliga underliggande ekonomiska problemen i denna fas av “konvertering” och “konvergens” i AI. Publicerad första gången söndag, 5 april 2026