De AI-omwegen waar u niet voor zou moeten betalen

Niet dat de toonaangevende AI-bedrijven de weegschaal niet in hun voordeel zouden laten doorslaan bij de verkoop van tokens als ze ermee weg zouden komen: Anthropic voerde in juni een feitelijke prijsverhoging van 30% door; DeepSeek verhoogde de API-prijzen in augustus; en OpenAI draaide eind september met tegenzin een verlaging van het tokenbudget in het middensegment terug. Een trend naar bezuinigingen is inmiddels dus vrij duidelijk.

Die gedachte komt inderdaad vaak terug wanneer uw AI-agent uw dagelijkse tokenlimiet er in 45 minuten doorheen jaagt met een stortvloed aan code die niet per se de bewondering afdwingt, en u vervolgens vertelt over 3-4 uur terug te komen. Op zo’n frustrerend moment vraag je je onwillekeurig af of sommige processen daarachter niet in het voordeel van de aanbieders zijn ingericht. Het is immers een goede manier om ons ertoe te brengen extra tokens bij te kopen, of ons zelfs de optie ‘automatisch opladen’ te laten inschakelen.

Als dat in deze periode werkelijk het geval zou zijn, kunnen de voorlopers in de sector zich heel geloofwaardig verschuilen achter de aanname dat we niet helemaal begrijpen hoe tokens worden gebruikt in agentische workloads, met verschillende modellen en frameworks. En zij begrijpen het evenmin. Afgezien van hun betaalprocessen (die inderdaad bijzonder soepel verlopen) is het allemaal pre-alfawerk en blijft het voer voor baanbrekend onderzoek, ondanks dat het product inmiddels op grote schaal een commodity is geworden.

Verspilling tegengaan

Dat AI-agenten tokens verspillen (en u dus geld kosten) wanneer ze in agentische workflows redeneren, is al ruimschoots aangetoond: precies een jaar geleden schreef ik over nieuw onderzoek waaruit bleek in welke mate redenerende AI-modellen geneigd waren tokens te verspillen aan ‘uitweidingen’; eerder dit jaar over ander onderzoek waaruit bleek dat redeneren in stappen ‘decoratief’ is; en vorige week stelde Nils Bunge, productdirecteur bij Tsuga, in een opinieartikel hier:

‘Een team dat twee keer zoveel tokens verbruikt, creëert niet noodzakelijkerwijs twee keer zoveel waarde. Het kan moeilijker werk uitvoeren, een onnodig krachtig model gebruiken of vertrouwen op een agent die mislukte taken steeds opnieuw probeert uit te voeren.’

Minder bekend is de manier waarop tokens verloren gaan aan onnodige taken of processen. Dat is het onderwerp van een nieuw artikel dat mijn aandacht vandaag opnieuw op dit thema vestigde.

Met de titel Hoe verspillen AI-agenten uw geld? presenteert deze nieuwe Amerikaanse academische samenwerking* een uniform raamwerk om te kwantificeren hoeveel tokens agentische processen daadwerkelijk verspillen. Bij modellen waarvan de broncode niet openbaar is, combineert een ‘schaduwmethode’ de officiële statistieken en meetgegevens van aanbieders met gelijkwaardige, gedetailleerde verslagen van wat er met de tokens gebeurde terwijl de AI redeneerde en handelde:

De nieuwe methode om verspilde AI-tokens te meten. De redeneringen, acties en kosten van elke agent worden vastgelegd en vervolgens onderzocht op herhaling, onnodige verzoeken en vermijdbare omwegen. De vastgestelde verspilling wordt verwijderd en daarna wordt opnieuw getest of de agent de oorspronkelijke taak kan voltooien. Bron

Zoals hierboven te zien is, mag de agent normaal werken, terwijl de communicatie met de AI-aanbieder wordt onderschept en vastgelegd. Het gaat daarbij onder meer om redeneringen, het gebruik van tools, tokenverbruik en kosten. Vervolgens beoordelen Large Language Model (LLM)-rechters de gegevens om nuttig werk te onderscheiden van herhaling, onnodige zoekopdrachten en omwegen. Daarna wordt de vermoedelijke verspilling verwijderd, de tokenbesparing berekend en het werk van de agent hervat om te zien of de taak nog steeds succesvol kan worden voltooid.

In tests ontdekten de onderzoekers dat ongeveer 18% van de uitvoertokens van agents verspild werd. Bij meer dan 45% van de taken verspilde de ene agent meer tokens dan een andere nodig had om dezelfde taak met succes af te ronden. Ook ontdekten ze dat het verwijderen van 41–46% van de onnodige redeneringen nauwelijks effect had op de prestaties. Dat wijst erop dat aanzienlijke besparingen mogelijk zijn zonder de resultaten wezenlijk aan te tasten.

In het artikel staat:

‘Van alle verzamelde trajecten wordt ongeveer 18% van de uitvoertokens als verspilling aangemerkt.’

‘Opvallend genoeg overtreft de verspilde output van één agent bij meer dan 45% van de taken in zijn eentje de volledige output van een andere agent die dezelfde taak met succes uitvoert.’

Daarnaast bleek uit het onderzoek dat agents de meeste middelen verspilden wanneer ze onbekende tools verkenden en methoden volgden die uiteindelijk nergens toe leidden. Ook leverde meer inspanning bij het redeneren geen consistente verbeteringen op: bij maximale inspanning bleek Kimi-K3 6.6 keer zoveel redeneertokens te genereren als bij een lage inspanning, zonder dat dit betere resultaten garandeerde.

Testresultaten die laten zien hoe Kimi-K3 presteert op vier niveaus van redeneerinspanning bij vijf benchmarks. Een hogere redeneerinspanning leidde niet consequent tot hogere slagingspercentages, en bij maximale inspanning waren de resultaten soms slechter dan bij lagere instellingen.

In plaats van in een krachtige auto te rijden waarvan je de mogelijkheden nooit echt benut, zijn deze agentsessies vergelijkbaar met autorijden waarbij de auto bij elke rit accelereert tot de maximaal haalbare snelheid, ook als dat geen voordeel oplevert en ondanks de mogelijke negatieve gevolgen.

In het artikel wordt ook onderzocht welke rol verschillende agentframeworks spelen bij tokenverspilling. Daaruit blijkt dat hetzelfde AI-model, Kimi-K3, afhankelijk van het gebruikte framework bij identieke taken meer dan vier keer zoveel redeneerwerk kan genereren, zonder dat dit per se betere resultaten oplevert.

Een deel van de verspilling bleek te worden veroorzaakt door eenvoudige softwarefouten: OpenCode, Kimi Code CLI en OpenClaw startten herhaaldelijk taken in de verkeerde Python-omgeving, wat fouten en nieuwe pogingen kostte die tokens verslonden. Kimi Code CLI stond de AI ook toe time-outs aan te vragen die de software zelf zou afwijzen, waardoor nog meer kostbare pogingen nodig waren.

Tegen de verwachting in leidden frameworks met meer tools niet noodzakelijk tot meer verspilling. Sommige terugkerende inefficiënties leken bovendien bij de modellen zelf te ontstaan, ongeacht welk framework ze aanstuurde.

‘[Several] Ogenschijnlijk vanzelfsprekende eigenschappen van agentframeworks verklaren de waargenomen verschillen in verspilling niet altijd. Zo zijn frameworks die meer tools beschikbaar stellen, zoals te zien is [below], niet noodzakelijk verspillender. OpenClaw biedt veel meer tools dan de andere frameworks, maar vertoont toch slechts een matige mate van verspilling. Bovendien verandert niet alle verspilling afhankelijk van het framework.

‘[Below right] laat zien dat Kimi-K3 bij SWE-bench Verified herhaaldelijk een omweg maakt: het model schrijft op wat het beschouwt als de oorspronkelijke oplossing van het project, om die later weer te laten vallen. ‘

Testresultaten waarin het aantal verspilde tokens bij verschillende AI-agentframeworks wordt vergeleken. Links: meer tools aanbieden leidt niet noodzakelijk tot meer verspilling. Rechts: Kimi-K3 probeert herhaaldelijk een vermeende oorspronkelijke softwareoplossing en laat die vervolgens weer vallen, ongeacht het framework, maar doet dit zelden bij een ander type taak.

Als oplossing stellen de auteurs voor dat agentframeworks herkennen wanneer omgevingsbeperkingen verdere voortgang onmogelijk maken, die beperkingen duidelijk aan het AI-model uitleggen en de uitvoering stopzetten, in plaats van herhaalde mislukte pogingen meer tokens te laten verbruiken. Ook stellen ze voor hun metingen van verspilde tokens te gebruiken om de training van modellen, redeneerstrategieën en het ontwerp van frameworks te verbeteren.

Methode

Om de activiteiten van een AI-agent in kaart te brengen, volgden de onderzoekers elke uitwisseling tussen het model en de software die het aanstuurde. Ze registreerden het redeneerproces, de antwoorden, toolverzoeken en de tokenkosten. De hoeveelheid detail verschilde per aanbieder: Kimi-K3 toont het volledige redeneerproces, Gemini 3.1 Pro alleen samenvattingen en Claude niets.

De resultaten van elke tool werden teruggekoppeld aan de agent, zodat de onderzoekers het proces konden volgen tot het was voltooid of de operationele limiet was bereikt.

Vier voorbeelden van hoe AI-agenten tokens verbruiken. Bekende informatie herhalen, identieke zoekopdrachten uitvoeren en zinloze verontschuldigingen toevoegen tellen als verspilling. Een mislukte zoekopdracht is daarentegen niet noodzakelijk verspilling, omdat de agent een goede reden kan hebben gehad om die uit te voeren.

De verzoeken van de agenten werden via een proxy geleid om hun activiteiten te volgen; daarvoor waren slechts kleine wijzigingen in de code nodig. Elk verzoek kreeg een label met de benchmark, uitvoering, taak en test. OpenClaw ondersteunt zulke labels niet; daarom werd in dat geval voor elke test een aparte proxy gebruikt, gebouwd op LiteLLM.

Vier verspillers

In het onderzoek wordt tokenverspilling gedefinieerd aan de hand van vier terugkerende patronen: Herhaling (bekende informatie herhalen); Dubbele opvraging (onnodige toolverzoeken herhalen); Opvulling (irrelevante tekst toevoegen); en Omweg (aannemelijke maar uiteindelijk onproductieve benaderingen volgen).

Elke opgenomen sessie werd beoordeeld door een LLM als beoordelaar (LLMaJ**), dat de oorspronkelijke taak, het volledige verslag en criteria kreeg om alle vier de verspillingpatronen te herkennen. Vermoedelijke verspilling werd gemarkeerd en verwijderd; vervolgens werden de resterende tokens opnieuw geteld om het verspilde aandeel en de kosten te berekenen. De tellingen werden daarna gecontroleerd aan de hand van de eigen tokenizers of telhulpmiddelen van elke aanbieder en de gerapporteerde outputaantallen (waarbij alleen kleine verschillen in de opmaak werden gemeld).

Tests

De modellen die voor het onderzoek werden getest, waren Kimi-K3, Gemini 3.1 Pro, GPT-5.6 Terra, GPT-6 Astra, Claude Sonnet 5 en Claude Fable 5.1. Ze werden getest met de benchmarks τ²-bench (klantenservice voor luchtvaartmaatschappijen en detailhandel), SWE-bench Verified (softwareontwikkeling), Claw-Eval en MCP-Atlas (algemeen gebruik van tools).

Daarnaast werd Kimi-K3 op verschillende redeneerniveaus getest en werden vijf agentframeworks met elkaar vergeleken: OpenCode, OpenClaw, OpenHands, Hermes en Kimi Code CLI. Deze laatste vergelijkingen werden gebruikt om te beoordelen hoe modellen, taken, redeneerinspanning en het ontwerp van agentframeworks de verspilling van tokens beïnvloeden (en in aanvullende tests werd vermoedelijke verspilling verwijderd om na te gaan welk effect dit had op de prestaties).

Om vast te stellen hoeveel geld er per model werd verspild, werden de kosten van onnodige tekst en toolaanroepen vergeleken met de totale outputkosten; de resultaten werden gemiddeld over de vier benchmarks. Het interne redeneerproces werd afzonderlijk beoordeeld voor Kimi-K3, het enige model dat zijn volledige redeneerproces liet zien:

Testresultaten waarin de kosten van verspilde output voor zes AI-modellen worden vergeleken, gemiddeld over vier benchmarks. Links: het totale verspillingpercentage, met het interne redeneerproces van Kimi-K3 afzonderlijk weergegeven. Rechts: verspillingpercentages voor geslaagde en mislukte taken; mislukkingen leidden doorgaans tot meer verspilling.

Zoals hierboven te zien is, werd naar schatting 11% tot 24,9% van het geld dat werd besteed aan het genereren van antwoorden en het gebruik van tools verspild. GPT-6 Astra presteerde het best en Claude Sonnet 5 het slechtst. Bij Kimi-K3 werd ongeveer één op de zes tokens verspild aan antwoorden en toolgebruik; tijdens het interne redeneerproces liep dit op tot meer dan één op de vier.

Over het algemeen werd meer verspilling vastgesteld wanneer taken mislukten, hoewel dit bij het redeneerproces van Kimi-K3 juist andersom was. Er was geen duidelijk bewijs dat het besteden van meer tokens aan onnodig werk de kans op succes vergrootte.

In een andere test werd geprobeerd verspilde tokens te verminderen terwijl de AI nog aan het werk was: bij elke stap werd een AI-beoordelaar** ingezet om herhaalde informatie en overbodige tekst uit het redeneerproces van het model te verwijderen, voordat de taak verder mocht gaan:

Testresultaten die laten zien welk effect het verwijderen van onnodige AI-redeneringen had op de succespercentages bij twee benchmarks. Het verwijderen van 41–46% van de redeneringen had weinig invloed op de prestaties, terwijl het verwijderen van alle redeneringen aanzienlijk meer mislukkingen tot gevolg had.

Bij SWE-bench Verified werd 41% van de redeneringen verwijderd zonder dat dit ten koste ging van de prestaties; het succespercentage steeg zelfs licht, van 89% naar 89,5%. Bij MCP-Atlas werd 46% verwijderd en daalde het succespercentage slechts bescheiden, van 65% naar 62,3%.

Met andere woorden: bijna de helft van de redeneringen kon worden geschrapt terwijl de AI aan het werk was, zonder dat dit haar vermogen om de taak af te ronden ernstig aantastte.

Tot slot^† werd Kimi-K3 getest op identieke taken met verschillende agentframeworks. De output van het redeneerproces varieerde daarbij meer dan vier keer, zonder dat dit consequent tot betere prestaties leidde, zoals hieronder te zien is:

Testresultaten waarin het tokenverbruik van Kimi-K3 met verschillende agentframeworks op twee benchmarks wordt vergeleken. Het interne redeneerproces is blauw weergegeven; antwoorden en toolaanroepen zijn oranje. Bij programmeertaken werd met Mini-SWE meer dan vier keer zoveel geredeneerd als met Hermes.

Een deel van de verspilling bleek te worden veroorzaakt door eenvoudige softwarefouten. OpenCode, Kimi Code CLI en OpenClaw startten programmeertests in de verkeerde Python-omgeving, wat fouten en nieuwe pogingen tot gevolg had.

Conclusie

Dit is slechts een korte blik op een artikel dat door zijn lengte en zorgvuldige aanpak de moeite van een grondiger lezing kan lonen.

Het onderwerp deed me denken aan iets waar ik me vaak bewust van ben: de enorme kloof tussen wat wij en de toonaangevende leveranciers daadwerkelijk begrijpen van deze processen, en de bereidheid van bedrijven om het product zo te presenteren alsof het de afgelopen drie maanden door een codecontroleprogramma was gehaald en met vlag en wimpel was geslaagd.

Zoals het er nu voor staat, kunnen we voorlopig bij tegenvallende resultaten niemand anders dan onszelf de schuld geven, omdat we een product kopen waarvan bijna iedereen van ons weet dat het zeer experimenteel en onvoorspelbaar is.

* Met naar eigen zeggen gelijkwaardige bijdragen van University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles) en een onafhankelijke onderzoeker.

* Voor zover ik kan nagaan, vermeldt het artikel niet welk model is gebruikt.

^† Voor dit artikel, niet voor het onderzoeksartikel, dat langer is dan ik doorgaans zelf behandel en meer tests en diepgang bevat dan we hier kwijt kunnen. Raadpleeg voor meer details de hierboven gelinkte pdf van de bron.

Voor het eerst gepubliceerd op vrijdag 6 november 2026