Verbositet Reduserer Nøyaktighet i Store Språkmodeller

Ny forskning viser at det å tvinge store språkmodeller til å gi kortere svar, merkbart forbedrer nøyaktigheten og kvaliteten på svarene.

Alle som har prøvd å stoppe en chatbot fra å “prate for mye” vil kjenne igjen konklusjonene fra ny forskning: å tvinge AI til å gi kortere svar gjør den mer nøyaktig.

Ved å undersøke årsakene til hvorfor større AI-chatboter fungerer dårligere enn mindre ene i visse tilfeller (kjent som invers skala), fant forskningen ut at å tvinge 31 populære store språkmodeller (LLM) til å gi kortere svar, førte til en forbedring på opptil 26,3% i nøyaktigheten av svarene:

‘Resultatene gir overbevisende årsakssammenheng: korthetsbegrensninger forbedret stor modellnøyaktighet med 26,3 prosentpoeng og reduserte invers skala-gapet med 67% (fra 44,2% til 14,8%, parvis t-test: t = 7,80, p < 0,0001).’

Overflod av ord er en vanlig klage blant sluttbrukere, ikke minst blant de som bruker kommersielle modeller som ChatGPT, hvor støtteforumene viser dette emnet ofte.

Det domenet som er mest berørt av å kurere verbositet i svarene, er matematikk, hvor AI-testene var begrenset til å svare på 50 ord eller mindre. For leseforståelse-oppgaver, var de begrenset til å svare på bare 10 ord.

Papiret definerer AI-s tendens til å være verbalt som overtenkning, hvor den sentrale meldingen ikke bare skjules av ordrikdom, men noen ganger også negativt påvirket av det. Jo mindre modellen er, observerer papiret, jo mindre er denne kurven nødvendig, eller fungerer.

Forskningen konkluderer med at det ikke er noe arkitektonisk som må adresseres for å anvende denne løsningen systematisk. Imidlertid, i en brukers chatsession, ville en direktiv mot korthet sannsynligvis måtte gjentas, mens et globalt anvendt systemprompt – som ville måtte implementeres som en ingeniørdefault på plattformer som ChatGPT – kunne gjøre kortere svar til standardatferd.

Vindfulle Vinder

Ingenting av dette forklarer eksakt hvorfor større modeller tenderer mot verbositet, siden dette er noe som påvirker åpne kildekode-modeller også. Papiret foreslår at protokoller og vanlige praksiser i Forsterkingslæring fra Menneskelig Tilbakemelding (RLHF)-teknikker kunne gi en forklaring*:

‘En plausibel opprinnelse er RLHF-justeringsopplæring, hvor menneskelige annotatorer belønner grundighet uforholdsmessig i større modeller med større kapasitet til å handle på lengde-belønningssignaler–i overensstemmelse med verbositetsforskjeller som er større i instruksjonstrente enn basismodellvarianter.

‘Tidligere arbeid dokumenterer systematisk lengdeforvrengning i belønning modeller, hvor annotatorer forveksler lengde med kvalitet.

‘Større modeller, med større kapasitet til å tilfredsstille lengde-belønningssignaler, kan internalisere verbalt generering dyptere enn mindre modeller, og produsere den skalaavhengige overtenkning vi observerer.’

Hos mennesker kan verbositet oppstå for å fylle en stillhet, eller for å maskere følelser av ubehag, på grunn av psykisk sykdom, eller for å skjule en mangel på kunnskap. I virkeligheten kunne en AI bare bli påvirket av disse faktorene gjennom absorpsjon av treningdata som reflekterer/manifestere disse trekkene.

I datasett-samlinger, finnes andre motivasjoner for lange svar, som SEO-innsentivet til å produsere lengre tekstinnhold, for eksempel i oppskriftsposter, hvor lengde blir (ofte feilaktig) assosiert med autoritet.

Hva som ikke kan fullstendig diskonteres, er at API-baserte plattformer, incentivisert til å nøsse brukere til en høyere og mer kostbar abonnementsnivå, enten oppmuntre eller ikke overvåker verbositet, siden det øker tokenbruk ganske billig, uten behov for ekstrem resonnement eller RAG-anrop^†.

Den nye papiret heter Korthetsbegrensninger omvender ytelseshierarkier i språkmodeller, og kommer fra Avdelingen for datavitenskap ved Sverige Polyteknisk Institutt i Chattogram, i Bangladesh.

Metode

For å teste papirets teorier, ble 31 språkmodeller evaluert – for mange til å liste i tekstform her, men avbildet i bildet nedenfor:

De store språkmodellene (LLM) testet i ulike deler av prøvene for den nye papiret.

Modellene ble evaluert mot fem benchmark-samlinger: GSM8K, for matematisk resonnement; BoolQ, for leseforståelse; CommonsenseQA, for sunn fornuft; ARC-Easy, som dekker vitenskapsspørsmål; og MMLU-STEM, også for vitenskapelig kunnskap.

Svar ble generert ved hjelp av grådig dekoding for å sikre deterministiske utdata, og deretter trukket ut med oppgave-spesifikke regler, med nøyaktighet målt som andelen korrekte svar mot bakgrunnssannhet.

Modellene ble delt i størrelse, med de som var på eller under ti milliarder parameter behandlet som “små”, og de over sytti milliarder som “store”, basert på observerte ytelsesgap.

Invers skala ble kvantifisert ved å sammenligne ytelsen til disse gruppene på hver oppgave, og markerte tilfeller hvor mindre modeller overgikk større ene; statistisk effektstørrelse ble deretter brukt til å bekrefte at disse gapene reflekterte konsistente, meningsfulle forskjeller, og ikke bare støy.

Utelukkende Tilbakekall

For å utelukke muligheten for at modellene bare husket treningdata, ble tre separate sjekker utført, som undersøkte hvor varierte svarene var; hvor mye lengden deres fluktuerte; og hvordan feil ble gjort. Hvis modellene bare hadde husket mønster, ville svarene tendert til å gjenta eller følge faste maler; i stedet viste svarene seg å være mest unike over modellene, med merkbare variasjoner i lengde fra ett svar til et annet.

Feilene ble også inspisert direkte, og de fleste feilene tok formen av lange, feilaktige forklaringer, snarere enn korte, unndragende svar – noe som indikerer at modellene faktisk genererte resonnement, snarere enn å hente lagrede svar.

Data og Tester

Ved å teste for enkeltspørsmål snarere enn overskriftspoeng, viste det seg at en stor andel av benchmark-oppgavene var uinformativ, med 27,1% som ikke klarte å skille modellene fra hverandre, fordi enten alle systemene lyktes eller alle systemene feilet, og dermed ikke ga noen virkelig signal om relativ ytelse:

Oppgave-nivåoppdeling over fem benchmark-samlinger viste at en betydelig andel av oppgavene ikke klarte å skille mellom modellene, mens en mindre, men konsistent del, viste invers skala, hvor mindre modeller overgikk større ene. Den totale fordelingen over 1 485 problemer indikerer at 7,7% viser invers skala. Kilde

Blant spørsmålene som gjorde skille mellom modellene, oppførte de fleste seg som forventet, med større systemer som utførte bedre, men en mindre gruppe viste det motsatte mønsteret, hvor mindre modeller kom ut på topp. Over alle problemer, opptrådte invers skala i 7,7% av tilfellene, noe som indikerer at effekten ikke er marginal.

Invers Skala Overflaten

Over de fem benchmark-samlingene, ble 115 problemer funnet hvor mindre modeller overgikk større ene, og utgjorde 7,7% av alle 1 485 oppgaver, noe som indikerer at invers skala ikke er noen sjelden eller marginell hendelse i denne sammenhengen.

I virkeligheten, viste effekten seg i hver datasett: sterkest i BoolQ, og svakere i CommonsenseQA, ARC-Easy, GSM8K og MMLU-STEM, noe som indikerer at det er utbredt, men varierer med oppgaven:

Invers skala opptrådte over alle benchmark-samlinger, fra 3,9% i MMLU-STEM til 11,3% i BoolQ, med 115 problemer i alt. Ytelsesgapene favort mindre modeller med en gjennomsnittlig differanse på 28,4 prosentpoeng. Nøyaktigheten sank med økende modellstørrelse, med små modeller som nådde 66,1%, sammenlignet med 41,5% for større ene.

Størrelsen på gapet viste seg å være betydelig, med mindre modeller som ledet med en gjennomsnittlig differanse på 28,4 prosentpoeng, og hver enkelt tilfelle viste samme retning av fordel, noe som peker på en konsistent nedgang i ytelse, snarere enn tilfeldige eller ad hoc-feil.

Sammenhengen holdt over ulike modellfamilier, inkludert Llama, Qwen, Gemma og Mistral, hvor større versjoner underpresterte mindre ene, med nøyaktighet som tenderte til å synke med økende modellstørrelse på disse problemene.

Gapet mellom små og store modeller var stort nok til at tilfeldighet ikke kunne forklare det; og fordi samme mønster opptrådte over ulike benchmark-samlinger, oppgaver og modellfamilier, opptrådte invers skala som en konsistent effekt, snarere enn en tilfeldig.

Ved å se på hver modellfamilie for seg, underpresterte større versjoner jevnt mindre ene på disse problemene, noe som tyder på at nedgangen kan være knyttet til skalaen selv, snarere enn til forskjeller i design.

Resultatene peker også på en grense for hver oppgave, hvor økende modellstørrelse begynner å skade ytelsen, og viser at større modeller ikke alltid fører til bedre resultater.

Undersøkelse av Overtenkning

Etter å ha etablert at større modeller noen ganger utfører dårligere på visse domener, vendte analysen seg mot å se på hvorfor dette skjer, og foreslo at problemet ikke er mangel på evne, men for mye forklaring – dvs. tilfeller hvor lengre svar begynner å skjule riktig resonnement.

Over hele datamengden, ble lengre svar knyttet til lavere nøyaktighet på disse vanskelige problemene, selv om store og små modeller produserte omtrent like mange resonnementstrinn, noe som tyder på at problemet ikke er hvor mye resonnement som utføres, men hvordan det uttrykkes:

Kortere svar forbedret stor modell-ytelse og reduserte gapet med små modeller, og kutte differansen fra 44,2 prosentpoeng til 14,8 (og i noen tilfeller snudde det helt), mens direkte svar-formater smalnede det ytterligere. De sterkeste gevinster opptrådte i GSM8K og MMLU-STEM, hvor rangeringene snudde til fordel for større modeller, og sjekket på svarens lengde bekreftet at intervensjonen fungerte, med utdata som falt fra rundt 197 token til under 80, og knyttet reduksjon i verbositet til forbedret nøyaktighet.

Når svarene ble tvunget til å være kortere, forbedret større modeller seg kraftig, og reduserte et betydelig ytelsesgap, og i noen tilfeller nesten eliminerte det. Omvendt, endret små modeller seg lite, noe som tyder på at verbositet aktivt skadet større systemer.

Effekten viste seg å variere med oppgaven, med noen benchmark-samlinger som dro nytte av kortere svar, og andre som krevde en viss grad av forklaring; men i flere tilfeller, snudde rangeringen mellom små og store modeller helt, når verbositet ble begrenset, og avdekket at større modeller hadde skjult evne som ble skjult av over-utdanning.

Ytterligere analyse viste at større modeller tenderte til å produsere lengre utdata totalt, selv om de brukte litt færre eksplisitte resonnementstrinn, noe som tyder på en mer diffus og mindre strukturert stil av resonnement.

Om vendt, ga små modeller kortere, mer direkte svar, noe som tyder på at måten resonnement uttrykkes, snarere enn mengden resonnement selv, driver nedgangen i ytelse.

Forfatterne konkluderer generelt at korthetsbegrensninger bringer nøyaktighetsgevinster, og mener at dette kunne bli en grunnleggende egenskap i språkmodeller, snarere enn en gjentakende, bruker-applisert begrensning som ikke overleverer over sesjoner; og de sier:

‘[Korthetsbegrensninger] hjelper store modeller dramatisk, mens de knapt berører små modeller.

‘Hvis verbositet var tilfeldig og ikke årsaksmessig, ville man forvente ensartede endringer i nøyaktighet over begge størrelse-kategorier. Den differensierte responsen bekrefter at overtenkning er en skala-spesifikk feilmodus, og ikke en oppgave-vanskelighets-effekt.’

Konklusjon

Utenfor de åpne kildekode-versjonene som forskerne testet, ser verbositetsproblemet ut til å oppstå med en viss hyppighet over mange store modeller, inkludert Claude, Gemini og Grok.

Uansett om disse plattformene overseer verbositetsproblemet fordi det øker tokenbruk og oppmuntre høyere og mer kostbare abonnementsnivåer, ser det ikke ut til å være rimelig at de ville akseptere nedgangen i nøyaktighet som følger med denne “nudgingen”.

Det ville være interessant å se om noen empirisk metode kunne fastslå med sikkerhet hvor verbositets-tendensen kommer fra. Alle som har prøvd å få en chatbot til å faktisk chatte, snarere enn å “blogge” verbale, fler-trinns svar til brukeren, vil ha innsett at modellen har blitt alvorlig preget av “all-i-én” brukerveiledninger og “aksepterte løsninger” i sin treningdata.

Det ville derfor være svært interessant å se om en modell som er spesifikt trent på trinnvis samtaler, kunne faktisk styre bort fra den verbale, sammenfattnings-tendensen. Imidlertid, ser det ut til at noen begrensninger eller filter ville måtte plasseres på vekten som modellen er trent til å gi på “bestemt” svar, så den kan trenes direkte på forutgående materiale – essensielt, det eksplisitte resonnement som er åpenbart i trinnvis samtaler.

Ettersom passende data av denne typen ser ut til å være sjeldne, kan det kanskje bare være fremover med denne tilnærmingen via syntetisk data, hvor “sammensatte” sluttkonklusjoner deles opp samtalemessig – ironisk nok, på samme måte som AI-podcastene som Google NotebookLM kan tolke fra ren tekst-inndata.

* Min konvertering av forfatternes inline-citater til lenker.

^† Men la oss være ærlige, forskjellen mellom faktiske AI-leveringskostnader og abonnementsgebyrer er for tiden så stor at dette bare ville skade brukerbasens omdømme uten å løse de alvorlige underliggende økonomiske problemene i denne fasen av “omvandling” og “sammenstilling” av AI.

Først publisert søndag, 5. april 2026