AI-Chatmodellen kunnen kosten verhogen door eindeloos te kletsen

Populaire AI-chatmodellen verspillen in het geheim enorme hoeveelheden betaalde tokens aan zinloze woorden. De getroffen modellen weten eigenlijk dat ze dit doen, maar kunnen zichzelf niet stoppen.

Grote Redeneermodellen (LRM’s) zoals ChatGPT-5 en Google Gemini kosten meer voor redeneren – een probleem stap voor stap doorlopen, wat aanzienlijk meer rekenkracht vereist dan het snel voorspellen van het volgende woord. Het gesimuleerde redeneerproces duurt langer en kost meer om uit te voeren; gevolglijk betalen gebruikers voor die ‘extra denktijd’.

Als je onlangs een state-of-the-art LLM hebt gebruikt, heb je misschien gemerkt dat je tokenallocatie vaak wordt uitgegeven aan woorden en rommel, in plaats van zich te concentreren op het oplossen van de problemen die je aan het model voorlegt. Dit kan de vorm aannemen van overmatige vleierij, omslachtige en/of redundante antwoorden – of zelfs een soort ‘geklets’, alsof de AI op heterdaad is betrapt en probeert zich uit een ongemakkelijke situatie te praten.

Natuurlijk zouden we het liefst zien dat onze LLM’s toegeven, alternatieve paden volgen of om opheldering vragen. Maar zelfs het krijgen van een dergelijke AI om toe te geven dat ze het antwoord niet weten, is een aanzienlijke uitdaging op zich.

Ondertussen kunnen gebruikers op lagere of gratis niveaus merken dat ze snel door hun tokens heen gaan, ongeacht hoe gericht of economisch hun vragen en interacties waren, omdat de AI zelf van praten houdt; en in dit geval is praten niet goedkoop.

Woordensalade

Met betrekking tot het eerdergenoemde ‘geklets’, biedt een nieuwe academische samenwerking een verklaring en een oplossing door voor te stellen dat LLM’s met redeneerfuncties de neiging hebben om tokens te verbranden wanneer ze in een ‘woordensalade’-lus terechtkomen – een staat van verwarring waarin het redeneerproces verloren raakt in recursieve blinde steegjes – voor uw rekening*.

De onderzoekers achter het nieuwe artikel hebben ontdekt dat een aanzienlijk deel van de in een typische LLM verwerkte tokens bestaat uit herhalingen en redundanties – en dat het model zelf lijkt te begrijpen dat het in de problemen zit, hoewel het niet in staat is om de dure lus te stoppen.

Het artikel vermeldt:

‘We laten zien dat een aanzienlijk deel van deze tokens nutteloze zelfherhalingen zijn – wat we “woordensalade” noemen – die het decoderingsbudget uitputten zonder waarde toe te voegen. Interessant is dat we observeren dat LRM’s zelfbewust zijn wanneer ze in deze lussen vastzitten: de verborgen staten van <\n\n> tokens die elk redeneersegment volgen, vertonen patronen die ons in staat stellen om woordensaladegedrag in real-time te detecteren via een enkel-laags lineaire classifier.

‘Zodra deze wordt gedetecteerd, levert een eenvoudige knip met een rechttoe-rechtaan regeneratieprompt aanzienlijke lengtebesparingen op met minimale kwaliteitsverlies.’

De oplossing die in het nieuwe artikel wordt voorgesteld, is een interventie die het spiralerende proces van een dwalende redeneer-LRM in real-time kan stoppen, zonder dat dit in de trainingsgegevens hoeft te worden opgenomen, of enig van de schade die kan ontstaan door het fijnslijpen van een model. Het kader, getiteld Woordensaladeknieper, is openbaar gemaakt op GitHub.

Hoewel het initiële werk zich concentreert op DeepSeek-varianten zoals ingangen in de Qwen- en Llama-serie, beweert het artikel dat het ongewenste gedrag waarschijnlijk van toepassing is op een veel grotere groep soortgelijk geconstrueerde redeneermodellen (inclusief populaire API-only-aanbiedingen zoals ChatGPT en Google Gemini).

Zoals het artikel opmerkt, zijn eerdere aanbiedingen zoals Demystifying Long Chain-of-Thought Reasoning in LLMs en Small Models Struggle to Learn from Strong Reasoners eveneens gebruik gemaakt van het kleine aantal openbaar beschikbare Chain-of-Thought (CoT) redeneermodellen om een breder probleem binnen deze klasse van modellen te vestigen^†:

‘[LRM’s] verspillen een enorm bedrag aan decoderingsbudget, simpelweg door zichzelf te herhalen letterlijk, met kleine variaties, of door eindeloos te tellen totdat alle budget is uitgegeven – we noemen dit gedrag Woordensalade, een term die vaak wordt gebruikt om openbare woordvoerders te beschrijven die langdradige, jargonvolle antwoorden geven die uiteindelijk geen inhoud of duidelijke betekenis hebben.

‘De “Originele” kolom in [de onderstaande tabel] toont aan dat wanneer we GPQA-Diamond beantwoorden, we zien dat 55%+ van de door DeepSeek-R1-Distill-modellen gegenereerde tokens als “woordensalatetokens” worden gemarkeerd, waarbij ze geen waarde toevoegen vanuit een semantisch oogpunt.’

Het aandeel van de outputtokens die semantisch redundant worden geïdentificeerd bij het beantwoorden van GPQA-Diamond. Woordensaladeknieper vermindert deze overhead van meer dan 55% tot minder dan 6% over alle geteste DeepSeek-R1-Distill-modellen, volgens de auteurs. Bron

De auteurs merken op dat pogingen om redeneerprocessen te verkorten terwijl de antwoordkwaliteit behouden blijft, een sterke substroming in de onderzoeksliteratuur zijn geworden, met name lang-naar-kort (L2S); en verder opmerken dat hoewel hun projectdoelen vergelijkbaar zijn met een handvol eerdere initiatieven, hun eigen benadering de eerste is die een ad hoc-oplossing biedt die geen interventie in het trainingsproces, modelbewerking of andere mogelijke inmenging in de basisarchitectuur van een LLM vereist; en dat ze daarom geloven dat hun aanpak breed toegepast zou moeten worden in toepasbare systemen^†:

‘Gezien de lage overhead, sterke besparingen en het ontbreken van semantische waarde van woordensalatokens, geloven we dat het niet te ver gaan is om te beweren dat [Woordensaladeknieper] – of een soortgelijk onderdeel – een must-have is voor alle LRM-toepassingen met gebruikerservaring in gedachten ‘

Het nieuwe artikel is getiteld Woordensaladeknieper: Redeneermodellen verspillen een enorme hoeveelheid decoderingsbudget aan nutteloze herhalingen, zelfbewust, en komt van zes onderzoekers van de Universiteit van Minnesota, Rice University, het Stevens Institute of Technology en Lambda, Inc.

Eerder overwogen

Om de neiging van redeneer-LRM’s om zichzelf te herhalen te volgen, splitsten de auteurs de output van de modellen in stukken waar dubbele lijnbreken waren, en controleerden ze vervolgens hoe vergelijkbaar elk stuk was met eerdere stukken:

Geschat aandeel van redeneersegmenten gemarkeerd als woordensalade onder twee decoderingstemperaturen (τ = 0,0, 0,6). De classifier markeert een segment als ‘woordensalade’ wanneer het sterk lijkt op een eerder deel van de output van het model, wat suggereert dat het herhaling is in plaats van vooruitgang. De resultaten laten zien dat dit gedrag wijdverbreid is over datasets en modelgroottes.

Als een segment te vergelijkbaar was, werd het gemarkeerd als ‘woordensalade’ (feitelijk een nutteloze herhaling).

De onderzoekers merken op dat zodra een model ‘woordensalade’-modus ingaat, het zeer onwaarschijnlijk is dat het zonder externe hulp ontsnapt, maar in plaats daarvan in de dure lus blijft totdat het decoderingsbudget van de gebruiker is uitgeput^††:

‘Het spreekt voor zich dat dit een rampzalig probleem vormt voor gebruikers, aangezien een ideaal veel korter denkproces nu gemaximaliseerd wordt met nutteloze herhalingen. Dus betaalt de gebruiker in feite de maximale prijs voor een (waarschijnlijk) verkeerd antwoord, terwijl hij het langste eind-tot-eind-latentie doorstaat.’

Aandeel van woordensaladestukken die verschijnen voor en na het knippen (d.w.z. het moment waarop herhalende output begint te domineren). De meeste herhalingen vinden plaats na dit punt, wat aangeeft dat wanneer een model een woordensaladelus ingaat, het zelden herstelt zonder interventie.

De auteurs herinneren zich hun verbazing toen ze ontdekten dat redeneer-LRM’s ^††† tekenen van bewustzijn van hun woordensaladetoestand vertoonden. Echter, het is deze bewustzijn, en de manier waarop het de waarschijnlijke redeneertoestand van het model binnengaat, die ruimte biedt voor een systeem van interventie:

‘De lichtgewicht van deze lineaire classifier opent de deur voor detectie in real-time, waarbij we effectief kunnen ingrijpen met verschillende operaties om modellen te helpen die in woordensaladelussen vastzitten.’

Methode

Om de aanwezigheid van woordensalade tijdens inferentie te detecteren, hebben de auteurs een eenvoudige lineaire classifier getraind die op de verborgen toestand van elk dubbel-nieuwlijntoken draait.

Elk segment dat na het ingaan van een herhalingslus optreedt, werd behandeld als woordensalade, met deze cutoff (aangeduid als de knip) gebruikt om de trainingsgegevens te labelen. Duizend redeneersporen werden gegenereerd met behulp van de S1-benchmark, en elk spoor werd gesplitst in newline-gescheiden stukken.

Conceptueel schema voor Woordensaladeknieper. Tijdens generatie wordt de verborgen toestand van elk dubbel-nieuwlijntoken geanalyseerd om herhalende segmenten te detecteren. Zodra twee ‘woordensalade’-stukken achter elkaar worden gemarkeerd, wordt de generatie stopgezet. Een vaste regeneratieprompt wordt vervolgens toegevoegd, waardoor het model zijn antwoord kan voltooien zonder het budget te overschrijden.

Als een segment te vergelijkbaar was met een eerdere, werd het gelabeld als woordensalade. Zodra de eerste duurzame herhaling werd geïdentificeerd, werden alle volgende stukken ook gelabeld als woordensalade om de persistentie van deze lussen weer te geven.

De classifier werd geïmplementeerd als een enkele volledig verbonden laag en getraind op de verborgen toestanden van de trailing tokens van de laatste transformatorblok. Een aparte classifier werd getraind voor elk model, met behulp van deze gegevens, en er werd geen fijnslijpen uitgevoerd tijdens de evaluatie.

Gegevens en tests

Trainen en inferentie gebruikten vier NVIDIA A100 (80G VRAM) GPU’s, onder de Adam-optimizer, met een leer tempo van 1×10^-2, voor 50 epochs.

De evaluatiedatasets waren ‘Grade School Math’ 8000, a.k.a., GSM8K; MATH-500; GPQA-DIAMOND; en AIME25 (2025).

Geteste modellen waren DeepSeek-R1-Distill-Qwen-1.5B; DeepSeek-R1-Distill-Qwen-7B; en DeepSeek-R1-Distill-Llama-8B, alle onder MIT-licentie.

Gebruikte metrics waren Accuratie en AUROC.

Accuratie en AUROC van de woordensalade-classifier op Qwen-7B over vier benchmarks en twee decoderingstemperaturen. Hoge scores bevestigen dat de start van herhaling betrouwbaar kan worden gedetecteerd vanuit de verborgen toestand van de trailing newline-token.

Van de hier weergegeven resultaten, merken de auteurs op:

‘[De bovenstaande resultaattabel] toont aan dat de lineaire classifier uiterst nauwkeurig is in het detecteren van de woordensaladestukken; en [de onderstaande resultaattabel] toont aan dat de regeneratieprompt helpt om de taakaccuuratie te herstellen die verloren ging door brute-force knippen.’

Accuratie van Qwen-7B op elke benchmark bij τ = 0,6, waarbij de prestaties worden vergeleken voorafgaand aan woordensalade (Origineel), na knippen (Geknipt) en na toepassing van regeneratie (Geregenereerd). Winsten van regeneratie zijn bescheiden maar consistent, waarbij de pre-loop-prestaties in de meeste gevallen worden hersteld.

In de onderstaande resultaattabel zien we dat Woordensaladeknieper de accuratie verbeterde of behield, terwijl de lengte van de modeloutput aanzienlijk werd verminderd, tot wel 57%:

Wanneer Woordensaladeknieper wordt gebruikt bij gierige decodering (τ = 0), vermindert het de lengte van de modeloutput, soms met meer dan de helft, terwijl de accuratie hetzelfde blijft of licht verbetert, een prestatie die consistent blijft over verschillende modellen en taken (AIME25 is weggelaten vanwege predictably onstabiele resultaten onder deze instelling).

De grootste winst werd behaald in langere antwoorden, vooral op GPQA-Diamond, waar bijna de helft van de tekst werd verwijderd zonder de prestaties te schaden. Hieronder zien we vergelijkbare resultaten wanneer randomisatie tijdens generatie werd toegevoegd:

Bij hogere temperatuur (τ = 0,6) vermindert Woordensaladeknieper de outputlengte met 10-30%, waarbij de accuratie stabiel blijft of licht verbetert over alle modellen en benchmarks (AIME25-resultaten zijn gemiddeld om variatie te reduceren).

Hier bleef de accuratie stabiel, met kortere output behaald. Over het algemeen bleef het systeem werken, zelfs wanneer de antwoorden van het model herhalender werden; en de auteurs merken op dat omdat de classifier slechts één token per zin controleert, het extreem snel draait, zelfs wanneer het tijdens live-generatie wordt gebruikt.

Het artikel merkt op dat aanvullende strategieën in toekomstig onderzoek in deze richting kunnen profiteren van het toekennen van een kleine regeneratiebudget aan het model na interventie; continue toepassing van een Woordensaladeknieper-achtig systeem over regeneraties; en het afdwingen van een ‘einde van denken’-token op het model, om zijn beste huidige antwoord te eisen.

Ten slotte merken de onderzoekers op dat de kwaliteit van de huidige standaard in het evalueren van redeneermodellen, met een kritische toon^†:

‘Het is onze eerlijke overtuiging dat veel efficiënte redeneermethoden effectief lijken omdat de huidige redeneerevaluatiebenchmarks veel ruimte voor verbetering hebben.

‘Zouden we meer omvattende evaluatie suites ontwikkelen – wat we zeker in de toekomst zullen doen – verwachten we dat veel efficiënte redeneermethoden zullen falen, of zich veel anders zullen gedragen dan hun standaard-LRM-tegenhangers.’

Conclusie

Op de schaal bereikt door toonaangevende systemen zoals ChatGPT, kunnen zelfs kleine verschuivingen in het verbruik van gebruikersbronnen aanzienlijke infrastructuur-, logistieke en kostenimplicaties hebben. Dit maakt efficiëntie een gedeelde prioriteit voor zowel aanbieders als de bredere onderzoekscommuniteit.

Als het in het artikel voorgestelde nieuwe en lichtgewicht systeem wordt geïmplementeerd (dat specifiek voor elk nieuw modelarchitectuur moet worden getraind), kan het het zinloze verbranden van tokens voorkomen – wat de indruk kan wekken dat de aanbieder de allocatie van de klant ‘uitblijft’ op een verspillende of misleidende manier. In werkelijkheid doet de aanbieder er beter aan om nuttige in plaats van redundante output te bieden, wat in rekenkracht hetzelfde kost als een woordensalade.

* Hoewel we hier niet verder op in zullen gaan, geldt dit ook voor lokaal gehoste modellen, die zowel bedrijfs- als hobbyistische modellen kunnen zijn, en waar de elektriciteits- en productiviteitsverliezen van woordensalade een factor kunnen zijn die het vermelden waard is.

^† De klemtoon is van de auteurs, en niet van mij. Waar van toepassing, zijn hun inline-citaten omgezet in hyperlinks door mij.

^†† Hier moeten we erkennen dat kaders en API’s ‘sub-budget’ kunnen toewijzen aan queries, zodat één query niet noodzakelijkerwijs in staat is om een dagallocatie van tokens te verbranden – maar dit is geen gebruikelijke praktijk, noch wordt het veel besproken onder API-only-aanbieders.

^††† Ik ben niet geneigd om de auteurs’ gebruik van ‘LRM’s’ over te nemen, aangezien dit geen mainstream-afkorting is, dus zal ik andere terminologie gebruiken in dit artikel, indien nodig.

Publicatie op donderdag 6 november 2025