Verbosity Nedsætter Præcision i Store Sprogmodeller

Nyt forskning viser, at det at tvinge store sprogmodeller til at give kortere svar, mærkbart forbedrer præcisionen og kvaliteten af deres svar.

Enhver, der har forsøgt at stoppe en chatbot fra at “snakke for meget”, vil genkende konklusionerne af ny forskning: At tvinge AI til at give kortere svar gør den mere præcis.

Ved at undersøge årsagerne til, hvorfor større AI-chatbots performere dårligere end mindre på visse områder (kendt som omvendt skala), fandt forskningen ud af, at det at tvinge 31 populære store sprogmodeller (LLM’er) til at give kortere svar, resulterede i en forbedring af op til 26,3% i præcisionen af deres svar:

‘Resultaterne giver overbevisende kausale beviser: Korthedskrav forbedrede stor modelpræcision med 26,3 procentpoint og reducerede omvendt skala-lukningen med 67% (fra 44,2% til 14,8%, parret t-test: t = 7,80, p < 0,0001).'

Overflødigt sprogbrug er en hyppig klage blandt slutbrugere, ikke mindst blandt dem, der bruger kommercielle modeller som ChatGPT, hvor support-forum viser dette emne hyppigt.

Det domæne, der er mest berørt af at afhjælpe sprogbrug i svar, er matematik, hvor de testede AI-modeller var begrænset til at svare på 50 ord eller mindre. For læseforståelse-opgaver var de begrænset til kun 10 ord i deres svar.

Papiret definerer AI’s tendens til sprogbrug som overthinking, hvor den centrale besked ikke blot skjules af sprogbrug, men undertiden også påvirkes negativt af det. Jo mindre modellen er, observerer papiret, jo mindre er dette problemet, eller virker det.

Forskningen konkluderer, at der ikke er noget arkitektonisk, der behøver at blive adresseret for at anvende denne løsning systematisk. Imidlertid ville en bruger i en chatsession sandsynligvis skulle gentage en direktiv til korthed, hvorimod en globalt anvendt systemprompt – som ville kræve implementering som en ingeniørdefault på platforme som ChatGPT – kunne gøre kortere svar til standardadfærd.

Blæsende Vind

Ingen af dette forklarer præcis, hvorfor større modeller tenderer mod sprogbrug, da dette er noget, der påvirker åbne kilde-modeller såvel. Papiret foreslår, at protokoller og almindelige praksisser i Forstærkning Læringsfra Menneskelig Feedback (RLHF)-teknikker kunne give en forklaring*:

‘En plausibel oprindelse er RLHF-alignmentstræning, hvor menneskelige annotatorer belønner udførlighed uretfærdigt i større modeller med større kapacitet til at handle længde-belønnings-signaler–konsistent med sprogbrugsforskelle, der er større i instruktions-justerede end basis-model-variationer.

‘Tidligere arbejde dokumenterer systematisk længdeforvrængning i belønnings modeller, hvor annotatorer forveksler længde med kvalitet.

‘Større modeller, der har større kapacitet til at tilfredsstille længde-belønnings-signaler, kan internalisere sprogbrugs-generering mere dybt end mindre modeller, og producere den skala-afhængige overthinking, vi observerer.’

Hos mennesker kan sprogbrug optræde for at fylde en stilhed, eller for at maskere følelser af ubehag, på grund af mentalt sygdom, eller for at skjule en mangel på viden. I virkeligheden kunne en AI kun være påvirket af disse faktorer gennem absorption af træningsdata, der reflekterer/manifestere disse træk.

I dataset-samlinger findes andre motiver for lange svar, såsom SEO-incitamentet til at producere længere tekstindhold, f.eks. i opskrifter, hvor længde bliver (ofte fejlagtigt) associeret med autoritet.

Hvad der ikke kan helt afvises, er, at API-baserede platforme, der er inciteret til at skubbe brugere mod en højere og mere dyr abonnementsniveau, enten opmuntrer eller ikke overvåger sprogbrug, da det øger token-brug ret billigt, uden behov for overflødigt reasoning eller RAG-kald^†.

Den nye artikel er titlen Korthedskrav omvender præstationshierarkier i sprogmodeller, og kommer fra Department of Computer Science på Sweden Polytechnic Institute i Chattogram, i Bangladesh.

Metode

For at teste artiklens teorier blev 31 sprogmodeller evaluering – for mange til at nævne i tekstform her, men afbildet i billedet nedenfor:

De store sprogmodeller (LLM’er), der blev testet i forskellige dele af forsøgene for den nye artikel.

Modellerne blev evaluering mod fem benchmark-samlinger: GSM8K, for matematisk reasoning; BoolQ, for læseforståelse; CommonsenseQA, for fælles fornuft; ARC-Easy, der dækker videnskabs-spørgsmål; og MMLU-STEM, også for videnskabelig viden.

Svar blev genereret ved hjælp af grædigt dekodning for at sikre deterministiske outputs, derefter udtrukket med opgave-specifikke regler, med præcision målt som andelen af korrekte svar i forhold til ground truth.

Modellerne blev delt op efter størrelse, med dem, der var på eller under ti milliarder parametre, behandlet som “små”, og dem, der var over syv milliarder, som “store”, baseret på observerede præstationsgap.

Omvendt skala blev kvantificeret ved at sammenligne præstationen af disse grupper på hver opgave, markerer tilfælde, hvor mindre modeller overgik større, og statistisk effektstørrelse blev brugt til at bekræfte, at disse gap reflekterer konsistente, meningsfulde forskelle og ikke støj.

Afvise Hukommelse

For at udelukke muligheden for, at modellerne blot genkaldte træningsdata, blev tre separate kontroller udført, der undersøgte, hvor meget svarene var forskellige; hvor meget deres længde fluktuerede; og hvordan fejl blev begået. Hvis modellerne blot afhængig af memorerede mønstre, ville svarene tende til at gentage eller følge faste skabeloner; i stedet viste svarene sig at være mest unikke over modeller, med bemærkelsesværdig variation i længde fra ét svar til et andet.

Fejl blev også inspicerede direkte, og de fleste fejl var lange, forkerte forklaringer, snarere end korte, undvigende svar – hvilket indikerer, at modellerne faktisk genererede rigtig reasoning, snarere end at hente gemte svar.

Data og Tests

Ved at teste for enkeltvis spørgsmål snarere end overskrifts-scores, viste det sig, at en stor del af benchmark-opgaverne var upålidelige, da 27,1% ikke kunne skille modellerne fra hinanden, da enten alle systemer lykkedes eller alle systemer fejlede, og derfor ikke gav nogen reel signal om relativ præstation:

Problem-niveau-opdeling over fem benchmarks viste, at en betydelig andel af opgaver ikke kunne skille modellerne fra hinanden, mens en mindre, men konsistent del viste omvendt skala, hvor mindre modeller overgik større. Den samlede fordeling over 1.485 problemer indikerer, at 7,7% viser omvendt skala. Kilde

Blandt de spørgsmål, der gjorde skel mellem modeller, opførte de fleste sig, som forventet, med større systemer, der performerede bedre, men en mindre gruppe viste det modsatte mønster, hvor mindre modeller kom ud bedst. Over alle problemer optrådte omvendt skala i 7,7% af tilfældene, hvilket indikerer, at effekten ikke er marginal.

Omvendt Skala Overfladen

Over de fem benchmarks blev 115 problemer fundet, hvor mindre modeller overgik større, og udgjorde 7,7% af alle 1.485 opgaver, hvilket indikerer, at omvendt skala ikke er en sjælden eller marginal forekomst i denne kontekst.

I virkeligheden optrådte effekten i hver dataset: stærkest i BoolQ og svagere i CommonsenseQA, ARC-Easy, GSM8K og MMLU-STEM, hvilket indikerer, at det er udbredt, men varierer efter opgave:

Omvendt skala optrådte over alle benchmarks, fra 3,9% i MMLU-STEM til 11,3% i BoolQ, med 115 problemer i alt. Præstationsgapene favoriserede mindre modeller med en gennemsnitlig forskel på 28,4 procentpoint. Præcisionen faldt, da modelstørrelsen øgedes, med små modeller, der nåede 66,1%, sammenlignet med 41,5% for større modeller.

Størrelsen af gapet viste sig at være betydelig, med mindre modeller foran med en gennemsnitlig forskel på 28,4 procentpoint, og hver sag viste den samme retning af fordel, hvilket peger på en konsistent nedgang i præstation, snarere end tilfældige eller ad hoc-fejl.

Den samme mønster holdt over forskellige model-familier, herunder Llama, Qwen, Gemma og Mistral, hvor større versioner underperformerede mindre modeller, med præcision, der tendede til at falde, da modelstørrelsen øgedes på disse problemer.

Gapet mellem små og store modeller var stort nok til, at tilfældighed ikke kunne forklare det; og da samme mønster optrådte over forskellige benchmarks, opgaver og model-familier, optrådte omvendt skala som en konsistent snarere end tilfældig effekt.

Ved at se på hver model-familie, performerede større versioner gentagne gange dårligere end mindre modeller på disse problemer, hvilket tyder på, at nedgangen kan være knyttet til skala selv, snarere end til forskelle i design.

Resultaterne peger også på en grænse for hver opgave, hvor en øgning af modelstørrelse begynder at skade præstation, hvilket viser, at større modeller ikke altid fører til bedre resultater.

Undersøgelse af Overthinking

Efter at have etableret, at større modeller undertiden performerede dårligere på visse domæner, vendte analysen sig til, hvorfor dette sker, og foreslog, at problemet ikke er manglende evne, men for meget forklaring – dvs. tilfælde, hvor længere svar begynder at skjule korrekt reasoning.

Over data var længere svar forbundet med lavere præcision på disse svære problemer, selvom store og små modeller producerede omtrent samme antal reasoning-skridt, hvilket tyder på, at problemet ikke er, hvor meget reasoning der udføres, men hvordan det udtrykkes:

Kortere svar forbedrede stor model-præstation og reducerede gapet med små modeller, fra 44,2 procentpoint til 14,8 (og i nogle tilfælde omvendt det helt), mens direkte svar-formater reducerede det yderligere. De stærkeste gevinster optrådte i GSM8K og MMLU-STEM, hvor rangordningen vendte til fordel for større modeller, og svar-længde-kontroller bekræftede, at interventionen virkede, med outputs, der faldt fra omkring 197 tokens til under 80, hvilket forbinder reduceret sprogbrug med forbedret præcision.

Når svar blev tvunget til at være kortere, forbedrede store modeller sig markant, reducerede et betydeligt præstationsgap, og i nogle tilfælde næsten eliminerede det. Omvendt ændrede små modeller sig meget lidt, hvilket indikerer, at sprogbrug aktivt skadede større systemer.

Effekten viste sig at variere efter opgave, med nogle benchmarks, der fordelte stærkt af kortere svar, og andre, der krævede en vis grad af forklaring; men i flere tilfælde vendte rangordningen mellem små og store modeller helt, da sprogbrug blev begrænset, hvilket afslørede, at større modeller havde en skjult kapacitet, der blev maskeret af over-udfoldning.

Yderligere analyse viste, at store modeller tendede til at producere længere outputs samlet, på trods af, at de brugte lidt færre eksplicitte reasoning-skridt, hvilket indikerer en mere diffus og mindre struktureret stil af reasoning.

Omvrendt gav små modeller kortere, mere direkte svar, hvilket tyder på, at hvorledes reasoning udtrykkes, snarere end mængden af reasoning selv, driver nedgangen i præstation.

Forfatterne konkluderer generelt, at korthedskrav giver præcisionsfordele, og overvejer, at dette kunne blive en grundlæggende funktion i sprogmodeller, snarere end en gentagen, bruger-tilføjet begrænsning, der ikke overleverer over sessioner; og de siger:

‘[Korthed] krav hjælper store modeller dramatisk, mens de knap nok påvirker små modeller.

‘Hvis sprogbrug var tilfældigt og ikke årsagssammenhæng, ville man forvente ensartede præcisionsændringer over begge størrelseskategorier. Den differential respons bekræfter, at overthinking er en skala-specifik fejltilstand, snarere end en opgave-sværheds-effekt.’

Konklusion

Ud over de åbne kilde-versioner, der blev testet af forskerne, ser sprogbrugs-problemet ud til at optræde med en vis hyppighed over mange større modeller, herunder Claude, Gemini og Grok.

Uanset om disse platforme overser sprogbrugs-problemet, fordi det øger token-brug og opmuntrer til højere og dyrere abonnementsniveauer^†, ser det ikke ud til at være rimeligt, at de ville acceptere den tilsvarende nedgang i præcision.

Det ville være interessant at se, om nogen empirisk metode kunne bestemme med sikkerhed, hvor sprogbrugstendensen kommer fra. Enhver, der nogensinde har forsøgt at få en chatbot til at tale, snarere end at “blogge” verbose, multi-trins svar til brugeren, vil have erkendt, at modellen er blevet alvorligt præget af “alt-i-én”-brugervejledninger og “accepterede løsninger” i dens træningsdata.

Det ville derfor være meget interessant at se, om en model, der specifikt er trænet på trin-for-trin-samtaler, faktisk kunne undgå den verbose, sammenfatnings-tendens. Imidlertid ser det ud til, at nogle begrænsninger eller filtre ville skulle være påkrævet for at vægte, hvor meget modellen skulle trænes til at give på det “besluttede” svar, så den træner direkte også på det forudgående materiale – essentielt, den eksplicitte reasoning, der er udtrykt i trin-for-trin-samtaler.

Da data af denne type synes at være sjældent, kan det måske kun gå fremad med denne tilgang via syntetisk data, hvor “sammensatte” slutkonklusioner bliver taget fra hinanden i samtale – ironisk nok på samme måde, som AI-podcast, som Google NotebookLM kan fortolke fra almindelig tekstinput.

* Min konvertering af forfatternes inline-citationer til hyperlinks.

^† Men lad os være ærlige, forskellen mellem de faktiske AI-ydelsesomkostninger og abonnementsgebyrer er i øjeblikket så stor, at dette kun ville skade bruger-base-reputation uden at løse de alvorlige underliggende økonomiske problemer i denne fase af ‘konvertering’ og ‘konvergens’-fasen af AI.

Først udgivet søndag, 5. april 2026