AI-chattmodeller kan öka kostnaderna genom oändligt svamlande

Populära AI-chattmodeller slösar i hemlighet bort stora mängder betalda token på meningslösa ord. De drabbade modellerna är medvetna om att de gör detta, men kan inte stoppa sig själva.

Stora resonemangsmodeller (SRM) som ChatGPT-5 och Google Gemini tar mer betalt för resonemang – att gå igenom ett problem steg för steg, vilket kräver betydligt mer beräkningskraft än att bara snabbt förutsäga nästa ord. Den simulerade resonemangsprocessen tar längre tid och kostar mer att köra; följaktligen betalar användarna för den “extra tänktiden”.

Men om du har använt en state-of-the-art LLM nyligen, kan du ha märkt att din token-allokering ofta spenderas på svamlande och onödiga ord, snarare än att fokusera på att lösa de problem som du ställer till modellen. Detta kan ta formen av överdriven smickrande, långa och/eller redundant svar – eller till och med en sorts “svamlande”, som om AI:n hade blivit överraskad och försöker prata sig ur en besvärlig situation.

Naturligtvis skulle vi föredra att våra LLM:s erkänner nederlag, följer eller erbjuder alternativa vägar, eller begär förtydligande. Men även att få en AI av detta slag att erkänna att den inte känner till ett svar är en betydande utmaning i sig.

Under tiden kan användare på lägre eller gratis nivåer upptäcka att de har bränt igenom sina token i en snabb takt, oavsett hur målinriktade eller ekonomiska deras frågor och interaktioner var, eftersom AI:n själv älskar att prata; och i detta fall är prat inte billigt.

Ordsvall

Med avseende på det ovannämnda “svamlandet”, erbjuder ett nytt akademiskt samarbete en rationell och en lösning, genom att föreslå att LLM:s med resonemangsförmåga är benägna att bränna igenom dina token när de fastnar i en “ordsvallsloop” – en tillstånd av förvirring där resonemangsprocessen förlorar sig i rekursiva blindgator – på din bekostnad*.

Forskarna bakom den nya artikeln har funnit att en betydande del av token som bearbetas i en typisk LLM består av upprepningar och redundanser – och att modellen själv verkar förstå att den är i knipa, trots att den inte kan stoppa den dyra loopen.

Artikeln säger:

‘Vi visar att en betydande del av dessa token är meningslösa självupprepningar – vad vi kallar “ordsvall” – som tömmer dekoderingsbudgeten utan att lägga till värde. Intressant nog observerar vi att LRM:s är självmedvetna när de fastnar i dessa loopar: de dolda tillstånden av <\n\n> token som följer varje resonemangsklunk visar mönster som tillåter oss att upptäcka ordsvallsbeteende på ett enkelt sätt via en enkel linjär klassificerare.

‘När det väl är upptäckt, kan en enkel avkortning följt av en enkel återgenereringsprompt ge betydande längdförkortningar med minimal kvalitetsförlust.’

Lösningen som erbjuds i den nya artikeln är en intervention som kan avbryta den spiralformade processen i en felaktig LRM på ett enkelt sätt, utan att behöva ingripa i utbildningsdata eller orsaka någon av de skador som kan uppstå genom finjustering av en AI-modell. Ramverket, som kallas Ordsvallsavkortare, har publicerats på GitHub.

Även om den initiala artikeln fokuserar på DeepSeek-varianter som Qwen och Llama, hävdar artikeln att det oönskade beteendet troligen är tillämpligt på en betydligt större grupp liknande modeller (inklusive populära API-baserade erbjudanden som ChatGPT och Google Gemini).

Som artikeln noterar, har tidigare erbjudanden som Demystifying Long Chain-of-Thought Reasoning in LLMs och Small Models Struggle to Learn from Strong Reasoners också använt den lilla mängden offentligt tillgängliga Chain-of-Thought (CoT) resonemangsmodeller för att etablera ett bredare problem inom denna modellklass^†:

‘[LRM:s] tenderar att slösa bort en enorm mängd dekoderingsbudget, enbart genom att upprepa sig själva ordagrant, med små variationer, eller engagera sig i oändliga uppräkningar av fall tills all budget har förbrukats – vi kallar ett sådant beteende för Ordsvall, en term som ofta används för att beskriva offentliga talespersoner som ger långa, svävande och jargongfyllda svar som saknar substans eller tydlig mening.

‘Den “Original”-kolumnen i [tabellen nedan] visar att när vi svarar på GPQA-Diamond, observerar vi att 55%+ av token som genereras av DeepSeek-R1-Distill-modellerna är markerade som “ordsvallstoken”, där de inte tillför något värde ur ett semantiskt perspektiv.’

Andelen utdata-token som identifieras som semantiskt redundant när man svarar på GPQA-Diamond. Ordsvallsavkortare minskar denna överbelastning från över 55% till under 6% över alla testade DeepSeek-R1-Distill-modeller, enligt författarna. Källa

Författarna noterar att försök att förkorta resonemangsprocesser samtidigt som man bevarar svarskvalitet har blivit en stark underström i forskningslitteraturen, nämligen lång-till-kort (L2S); och de observerar att medan deras projekt har liknande mål som ett antal tidigare initiativ, är deras eget det första som erbjuder en ad hoc-lösning som inte kräver ingripande i utbildningsprocessen, modellredigering eller andra möjliga ingrepp i en LLM:s grundläggande arkitektur; och i den mån tror de att deras tillvägagångssätt bör bli allmänt bland tillämpliga system^†:

‘Vi tror att det inte är alltför långsökt att hävda att [Ordsvallsavkortare] – eller en liknande komponent – är ett måste för alla LRM-tillämpningar med användarupplevelse i åtanke ‘

Den nya artikeln heter Ordsvallsavkortare: Resonemangsmodeller slösar bort en massa dekoderingsbudget på meningslösa upprepningar, medvetet, och kommer från sex forskare vid University of Minnesota, Rice University, Stevens Institute of Technology och Lambda, Inc.

Tidigare överväganden

För att spåra benägenheten hos resonemangs-LLM:s att upprepa sig själva, delade författarna upp modellernas utdata i klunkar där det fanns dubbla radbrytningar, och sedan kontrollerade de hur lika varje klunk var till tidigare klunkar:

Uppskattad andel resonemangsklunkar som markerats som ordsvall under två dekodningstemperaturer (τ = 0,0, 0,6). Klassificeren markerar en klunk som ‘ordsvall’ när den liknar en tidigare del av modellens utdata, vilket tyder på upprepning snarare än framsteg. Resultaten visar att detta beteende är utbrett över dataset och modellstorlekar.

Om en klunk var för lik, markerades den som “ordsvall” (i praktiken en meningslös upprepning).

Forskarna noterar att när en modell väl har gått in i “ordsvalls”-läge, är den mycket osannolik att ta sig ur det utan yttre hjälp, utan förblir i den dyra loopen tills användarens dekoderingsbudget är förbrukad^††:

‘Det är onödigt att säga att detta presenterar ett katastrofalt problem för användare, eftersom en idealiskt mycket kortare tänkande-sektion nu maximeras med meningslösa upprepningar. Så användaren betalar i princip den maximala kostnaden för ett (sannolikt) felaktigt svar, samtidigt som de uthärdar den längsta slut-till-slut-fördröjningen.’

Andelen ordsvallsklunkar som visas före och efter avkortningspunkten (dvs. ögonblicket när upprepad utdata börjar dominera). De flesta upprepningar sker efter denna punkt, vilket visar att när en modell går in i en ordsvallsloop, återhämtar den sig sällan utan ingripande.

Författarna berättar om sin överraskning när de upptäckte att resonemangs-LLM:s visade tecken på att vara medvetna om sitt ordsvalls-tillstånd. Men det är just denna medvetenhet, och det sätt som den kommer in i modellens troliga resonemangstillstånd, som möjliggör ett system för ingripande:

‘Lättheten i denna linjära klassificerare öppnar dörren för pågående upptäckt, där vi kan ingripa med olika operationer för att hantera modeller som fastnat i ordsvallsloopar.’

Metod

För att upptäcka förekomsten av ordsvall under inferens, tränade författarna en enkel linjär klassificerare som körs på det dolda tillståndet för varje dubbel radbrytningstoken.

Varje klunk som inträffade efter att modellen hade gått in i en upprepningsloop behandlades som ordsvall, med denna avkortningspunkt (som kallas avkortningspunkt) som användes för att markera utbildningsdata. Tusen resonemangsspår genererades med hjälp av S1-benchmarken, och varje spår delades upp i klunkar separerade av radbrytningar.

Konceptuell schema för Ordsvallsavkortare. Under generering analyseras det dolda tillståndet vid varje dubbel radbrytningstoken för att upptäcka upprepningssegment. När två ordsvallsklunkar har markerats i rad, avbryts genereringen. En fast återgenereringsprompt läggs sedan till, vilket tillåter modellen att fortsätta och slutföra sitt svar utan att överskrida budgeten.

Om en klunk var mycket lik en tidigare, markerades den som ordsvall. När den första ihållande upprepningen identifierades, markerades alla efterföljande klunkar också som ordsvall för att reflektera beständigheten av dessa loopar.

Klassificeren implementerades som ett enda fullständigt anslutet lager och tränades på de dolda tillstånden för de efterföljande token från den sista transformatorblocken. En separat klassificerare tränades för varje modell, med denna data, och ingen finjustering utfördes under utvärdering.

Data och tester

Träning och inferens använde fyra NVIDIA A100 (80G VRAM)-GPU:er, under Adam-optimeraren, med en inlärningshastighet på 1×10^-2, för 50 epoker.

Utvärderingsdataseten var ‘Grade School Math’ 8000, a.k.a., GSM8K; MATH-500; GPQA-DIAMOND; och AIME25 (2025).

Modeller som testades var DeepSeek-R1-Distill-Qwen-1.5B; DeepSeek-R1-Distill-Qwen-7B; och DeepSeek-R1-Distill-Llama-8B, alla under MIT-licens.

Mått som användes var noggrannhet och AUROC.

Noggrannhet och AUROC för ordsvalls-klassificeren på Qwen-7B över fyra benchmark och två dekodningstemperaturer. Hög poäng visar att uppkomsten av upprepning kan pålitligt upptäckas från det dolda tillståndet för den efterföljande radbrytningstoken.

Av de resultat som visas här, kommenterar författarna:

‘[Resultattabellen ovan] visar att den linjära klassificeren är extremt noggrann i att upptäcka ordsvallsklunkar; men [resultattabellen nedan] visar att återgenereringsprompten hjälper till att återställa den uppgiftsnoggrannhet som förlorades på grund av brutalt avkortande.’

Noggrannhet för Qwen-7B på varje benchmark vid τ = 0,6, jämförande prestation före ordsvall (Original), efter avkortning (Avkortad) och efter tillämpning av återgenerering (Återgenererad). Vinster från återgenerering är blygsamma men konsekventa, och återställer pre-loop-prestanda i de flesta fall.

I resultattabellen nedan kan vi se att Ordsvallsavkortare förbättrade eller bevarade noggrannhet samtidigt som den skarpt minskade utdatans längd, med upp till 57%:

När Ordsvallsavkortare används vid girig dekodning (τ = 0), minskar den utdatans längd, ibland med mer än hälften, samtidigt som den behåller noggrannheten eller förbättrar den något, en prestanda som förblir konsekvent bland olika modeller och uppgifter (AIME25 utelämnas på grund av förutsägbart instabila resultat under denna inställning).

De största vinsterna syntes i längre svar, särskilt på GPQA-Diamond, där nästan hälften av texten togs bort utan att prestandan påverkades. Nedan kan vi se liknande resultat när slumpmässighet lades till under generering:

Vid högre temperatur (τ = 0,6), fortsätter Ordsvallsavkortare att förkorta utdata med 10-30 procent, med noggrannhet som förblir stabil eller något förbättrad över alla modeller och benchmark (AIME25-resultat är genomsnittliga för att minska variansen).

Här förblev noggrannheten stabil, med kortare utdata som uppnåddes. Över hela linjen fortsatte systemet att fungera även när modellens svar blev mer upprepande; och författarna noterar att eftersom klassificeren bara kontrollerar en token per mening, körs den extremt snabbt, även när den används under live-generering.

Artikeln observerar att ytterligare strategier i framtida forskning längs dessa linjer kunde dra nytta av att ge modellen en liten återgenereringsbudget efter ingripandet; kontinuerlig tillämpning av ett Ordsvallsavkortare-liknande system över återgenereringar; och att tvinga en “slut-tänk”-token på modellen, för att kräva dess nuvarande bästa svar.

Slutligen kommenterar forskarna den nuvarande tillståndet för utvärdering av resonemangsmodeller, med en kritisk ton^†:

‘Det är vår ärliga övertygelse att många effektiva resonemangsmetoder verkar effektiva delvis för att nuvarande resonemangsutvärderingsbenchmark har mycket utrymme för förbättring.

‘Om vi utvecklar mer omfattande utvärdering sviter – vilket vi säkert kommer att göra i framtiden – förväntar vi oss att se många effektiva resonemangsmetoder misslyckas, eller beter sig mycket annorlunda än deras vanliga LRM-motsvarigheter.’

Slutsats

På den skala som uppnåtts av ledande system som ChatGPT, kan även små förändringar i användarresursförbrukning ha betydande infrastruktur-, logistik- och kostnadskonsekvenser. Detta gör effektivitet till en gemensam prioritet för både leverantörer och den bredare forskarsamhället.

Om den föreslagna lätta systemet i artikeln implementeras (som måste anpassas till varje ny modellarkitektur), kunde det förhindra det meningslösa bränningen av token – som kan ge kunden intrycket att leverantören “blöder ut” deras allokering på ett slösaktigt eller bedrägligt sätt. I verkligheten mår leverantören bättre av att tillhandahålla användbar utdata snarare än redundant, som kostar lika mycket i beräkningskraft.

* Även om vi inte kommer att utveckla detta här, sträcker sig detta också till lokalt värdade modeller, som kan vara företags- eller hobbyistbaserade, och där elförbrukningen och produktivitetsförlusten av ordsvall kan vara en faktor värd att notera.

^† Som vanligt är all betoning författarnas, och inte min egen. Där det är tillämpligt har deras inline-citat omvandlats till hyperlänkar av mig.

^†† Här måste vi erkänna att ramverk och API:er kan allokera “sub-budget” till frågor, så att en fråga inte nödvändigtvis kan bränna igenom en dags tilldelning av token – men detta är inte vanlig praxis, eller vanligt diskuterat bland API-baserade leverantörer.

^††† Jag är inte generellt beredd att anta författarnas användning av ‘SRM’, eftersom detta inte för närvarande är en allmänt använd förkortning, så jag kommer att använda annan terminologi i denna artikel, om nödvändigt.

Publicerad första gången torsdag, 6 november 2025