AI-omvägarna du inte borde behöva betala för

Det är inte så att ledande AI-företag nödvändigtvis skulle avstå från att manipulera utfallet när de säljer oss tokens, om de kunde komma undan med det – Anthropic genomförde trots allt en prishöjning på 30 % i praktiken i juni, DeepSeek höjde API-priserna i augusti och OpenAI backade motvilligt från en nedgradering av tokenkvoten i sitt mellanskikt i slutet av september. En trend mot åtstramning är alltså nu ganska tydlig.

Den tanken återkommer verkligen gärna när din AI-agent förbrukar hela din dagliga tokentilldelning under 45 minuters kodrusning, inte nödvändigtvis av det storslagna slaget, och säger åt dig att komma tillbaka om 3–4 timmar. I ett sådant frustrerande ögonblick kan man inte låta bli att undra om en del av det som pågår är riggat till leverantörernas fördel. Det är trots allt ett bra sätt att få oss att betala för en extra påfyllning av tokens – eller till och med få oss att aktivera ”automatisk påfyllning”.

Nåväl, om det faktiskt skulle vara så, kan de ledande företagen i det här skedet med gott fog gömma sig bakom antagandet att vi inte helt förstår hur tokens används i agentbaserade arbetsflöden, mellan olika modeller och agentramverk. Och det gör de inte heller. Bortsett från deras betalningsflöden (som verkligen fungerar smidigt) är allt fortfarande på pre-alfa-stadiet och föremål för spetsforskning, trots att produkten har blivit en allmänt tillgänglig handelsvara.

Slöserihantering

Att AI-agenter slösar med tokens (och därmed dina pengar) när de resonerar i agentbaserade arbetsflöden är redan väl belagt: för precis ett år sedan skrev jag om ny forskning som visade i vilken utsträckning resonerande AI-modeller tenderade att förbruka tokens genom att ”svamla”; tidigare i år skrev jag om ytterligare forskning som visade att resonemang i tankekedjor var ”dekorativt”; och förra veckan förklarade Nils Bunge, produktchef på Tsuga, i en artikel med branschperspektiv här:

”Ett team som förbrukar dubbelt så många tokens skapar inte nödvändigtvis dubbelt så stort värde. Det kan hantera svårare uppgifter, använda en onödigt kraftfull modell eller förlita sig på en agent som gång på gång försöker igen efter att ha misslyckats med uppgifter.”

Mindre känt är sätt på vilket tokens går till spillo på onödiga uppgifter eller processer. Det är fokus för en ny artikel som i dag fick mig att återvända till ämnet.

Den här nya amerikanska akademiska samarbetsstudien* har titeln How Do Ai Agents Waste Your Money? och presenterar ett enhetligt ramverk som kan mäta hur mycket tokens agentbaserade processer faktiskt slösar med. När modellerna är sluten källkod kombineras en ”skuggmetod” med leverantörernas officiella statistik och mätvärden för att ge en motsvarande detaljerad redogörelse för vad som hände med tokens medan AI:n resonerade och agerade:

Den nya metoden för att mäta slöseri med AI-tokens. Varje agents resonemang, handlingar och kostnader registreras och granskas sedan för att hitta upprepningar, onödiga förfrågningar och omvägar som hade kunnat undvikas. Det identifierade slöseriet tas bort, och agentens förmåga att slutföra den ursprungliga uppgiften testas på nytt. Källa

Som visas ovan får agenten arbeta som vanligt, medan kommunikationen med AI-leverantören fångas upp och registreras. Det omfattar bland annat resonemang, verktygsanvändning, tokenförbrukning och kostnader. Därefter granskas registreringarna av bedömare baserade på Large Language Model (LLM), som skiljer användbart arbete från upprepningar, onödiga sökningar och omvägar. Sedan tas det misstänkta slöseriet bort, tokenbesparingen beräknas och agenten får fortsätta arbetet för att se om uppgiften fortfarande kan slutföras framgångsrikt.

I testerna fann forskarna att cirka 18 % av agenternas utdatatokens gick till spillo. I mer än 45 % av uppgifterna slösade en agent med fler tokens än en annan agent behövde för att slutföra samma uppgift. Forskarna fann också att det hade mycket liten effekt på prestandan att ta bort 41–46 % av onödigt resonemang, vilket tyder på att det går att göra betydande besparingar utan att resultaten försämras nämnvärt.

I artikeln står det:

”Av de insamlade förloppen identifieras ungefär 18 % av utdatatokens som slöseri.

”Anmärkningsvärt nog överstiger en enda agents bortkastade utdata, i mer än 45 % av uppgifterna, den totala mängden utdata från en annan agent som framgångsrikt löser samma uppgift.”

Studien visade dessutom att agenter slösade mest resurser när de navigerade bland obekanta verktyg och prövade tillvägagångssätt som i slutänden inte ledde någonstans. Forskarna fann också att ökad resonemangsansträngning inte ger konsekvent bättre resultat: vid maximal ansträngning genererade Kimi-K3 6,6 gånger fler resonemangstokens än vid låg ansträngning, utan någon motsvarande garanti för bättre resultat.

Testresultat som visar hur Kimi-K3 presterar på fyra nivåer av resonemangsansträngning i fem benchmarktester. Ökad resonemangsansträngning förbättrade inte konsekvent framgångsgraden, och maximal ansträngning gav ibland sämre resultat än lägre inställningar.

I analogi med att köra en kraftfull bil som man aldrig riktigt pressar till dess gränser liknar de här agentsessionerna snarare att köra en bil som accelererar till sin högsta möjliga hastighet på varje resa, även när det inte finns någon fördel med det och trots de möjliga negativa följderna.

Artikeln undersöker också vilken roll olika agentramverk spelar för tokenödslandet. Forskarna fann att samma AI-modell, Kimi-K3, kunde generera mer än fyra gånger så mycket resonemang för identiska uppgifter, beroende på vilket agentramverk som användes, utan att nödvändigtvis uppnå bättre resultat.

En del av resursslöseriet berodde på grundläggande programvarufel: OpenCode, Kimi Code CLI och OpenClaw visade sig upprepade gånger starta uppgifter i fel Python-miljö, vilket ledde till fel och tokenkrävande omförsök. Kimi Code CLI lät dessutom AI:n begära tidsgränser som programvaran själv skulle avvisa, vilket tvingade fram ännu fler kostsamma försök.

Överraskande nog var agentramverk med fler verktyg inte nödvändigtvis mer resursslösande, och vissa återkommande ineffektiviteter verkade ha sitt ursprung i själva modellerna, oavsett vilket agentramverk som styrde dem.

‘[Several] Till synes självklara egenskaper hos agentramverken förklarar inte konsekvent de observerade skillnaderna i resursslöseri. Som [below] framgår är agentramverk som tillhandahåller fler verktyg till exempel inte nödvändigtvis mer resursslösande. OpenClaw tillhandahåller många fler verktyg än de andra agentramverken, men uppvisar ändå endast ett måttligt resursslöseri. Dessutom förändras inte allt resursslöseri beroende på agentramverket.

‘[Below right] visar att Kimi-K3 på SWE-bench Verified gång på gång gör en omväg: modellen skriver ut vad den tror är projektets ursprungliga lösning och överger den senare. ‘

Testresultat som jämför antalet bortkastade token i olika agentramverk för AI. Till vänster: fler verktyg leder inte nödvändigtvis till större resursslöseri. Till höger: Kimi-K3 försöker upprepade gånger genomföra en förmodad ursprunglig programvarulösning och överger den sedan, oavsett agentramverk, men gör det sällan vid en annan typ av uppgift.

Som åtgärder föreslår författarna att agentramverk ska upptäcka när begränsningar i miljön gör fortsatta framsteg omöjliga, tydligt meddela AI-modellen om dessa begränsningar och avbryta körningen i stället för att låta upprepade misslyckade försök förbruka fler token. De föreslår också att mätningarna av bortkastade token används för att förbättra modellträning, resonemangsstrategier och utformningen av agentramverk.

Metod

För att återskapa en AI-agents aktivitet följde forskarna varje utbyte mellan modellen och programvaran som styrde den och registrerade dess resonemang, svar, verktygsförfrågningar och tokenkostnader. Detaljnivån varierade mellan leverantörerna: Kimi-K3 redovisar hela sin resonemangsprocess, Gemini 3.1 Pro endast sammanfattningar och Claude redovisar ingenting.

Resultaten från varje verktyg skickades tillbaka till agenten, så att forskarna kunde följa processen ända till slutet eller tills agenten nådde sin driftgräns.

Fyra exempel på hur AI-agenter använder token. Att upprepa känd information, göra identiska sökningar och lägga till meningslösa ursäkter räknas som resursslöseri, medan en misslyckad sökning inte nödvändigtvis är slöseri, eftersom agenten kan ha haft goda skäl att försöka.

Agenternas förfrågningar skickades via en proxy för att registrera deras aktivitet. Det krävdes endast mindre kodändringar, och varje förfrågan märktes med sitt benchmarktest, sin körning, uppgift och sitt försök (utom för OpenClaw, som inte stöder sådana märkningar – i det fallet användes en separat proxy, byggd med LiteLLM, för varje test).

Fyra kategorier

Studien definierar tokenödslande utifrån fyra återkommande mönster: Upprepning (att upprepa känd information); Onödig dubbelhämtning (att upprepa onödiga verktygsförfrågningar); Utfyllnad (att lägga till irrelevant text); och Omväg (att följa till synes rimliga men i slutändan resultatlösa tillvägagångssätt).

Varje inspelad session granskades av en LLM-as-a-Judge (LLMaJ**), som fick den ursprungliga uppgiften, hela sessionsloggen och kriterier för att identifiera alla fyra slöserimönstren. Misstänkt slöseri markerades och togs bort, varefter de återstående tokenen räknades om för att beräkna andelen och kostnaden för det bortkastade. Antalen kontrollerades sedan mot varje leverantörs egna tokeniserare eller räkningsverktyg och den rapporterade användningen av utdata (endast mindre formateringsskillnader rapporterades).

Tester

I studien testades modellerna Kimi-K3, Gemini 3.1 Pro, GPT-5.6 Terra, GPT-6 Astra, Claude Sonnet 5 och Claude Fable 5.1 med riktmärkena τ²-bench (kundtjänst för flygbolag och detaljhandel), SWE-bench Verified (programvaruteknik), Claw-Eval och MCP-Atlas (allmän användning av verktyg).

Dessutom testades Kimi-K3 med olika resonemangsnivåer, och fem agentramverk jämfördes: OpenCode, OpenClaw, OpenHands, Hermes och Kimi Code CLI. De sistnämnda jämförelserna användes för att bedöma hur modeller, uppgifter, graden av resonemang och ramverkens utformning påverkar slöseri med token (och i ytterligare tester togs misstänkt slöseri bort för att undersöka hur det påverkade prestandan).

För att fastställa hur mycket pengar varje modell slösade bort jämfördes kostnaden för onödig text och onödiga verktygsanrop med de totala kostnaderna för utdata, och resultaten beräknades som ett genomsnitt över de fyra riktmärkena. Internt resonemang bedömdes separat för Kimi-K3, den enda modellen som visade hela sin resonemangsprocess:

Testresultat som jämför kostnaderna för bortkastade utdata för sex AI-modeller, beräknade som ett genomsnitt över fyra riktmärken. Till vänster: den totala andelen slöseri, med Kimi-K3:s interna resonemang redovisat separat. Till höger: andelen slöseri för lyckade och misslyckade uppgifter; misslyckanden ledde i allmänhet till mer slöseri.

Som framgår ovan bedömdes mellan 11 % och 24,9 % av pengarna som lades på att generera svar och använda verktyg ha gått till spillo. GPT-6 Astra presterade bäst och Claude Sonnet 5 sämst. För Kimi-K3 gick ungefär var sjätte token till spillo på svar och verktygsanvändning, en andel som steg till mer än var fjärde under modellens interna resonemang.

I allmänhet konstaterades mer slöseri när uppgifter misslyckades, men för Kimi-K3:s resonemang gällde det omvända. Det fanns inte heller några tydliga belägg för att fler token som lades på onödigt arbete ökade chanserna att lyckas.

I ett annat test försökte man minska antalet bortkastade token medan AI:n fortfarande arbetade: i varje steg användes en AI-bedömare** för att ta bort upprepad information och meningslös text från modellens resonemang, innan den fick fortsätta med uppgiften:

Testresultat som visar hur borttagning av onödigt AI-resonemang påverkade framgångsgraden på två riktmärken. Att ta bort 41–46 % av resonemanget hade liten effekt på prestandan, medan borttagning av allt resonemang ledde till betydligt fler misslyckanden.

På SWE-bench Verified togs 41 % av resonemanget bort utan att prestandan försämrades; framgångsgraden steg faktiskt något, från 89 % till 89,5 %. På MCP-Atlas togs 46 % bort, och framgångsgraden sjönk bara måttligt, från 65 % till 62,3 %.

Med andra ord kunde nästan hälften av resonemanget tas bort medan AI:n arbetade, utan att dess förmåga att slutföra uppgiften försämrades allvarligt.

Slutligen^† testades Kimi-K3 på identiska uppgifter med olika agentramverk. Här varierade mängden resonemangsutdata mer än fyrfaldigt, utan någon konsekvent förbättring av prestandan, vilket framgår nedan:

Testresultat som jämför Kimi-K3:s tokenförbrukning med olika agentramverk på två riktmärken. Internt resonemang visas i blått och svar samt verktygsanrop i orange. Vid kodningsuppgifter genererades mer än fyra gånger så mycket resonemang med Mini-SWE som med Hermes.

En del av slöseriet kunde spåras till grundläggande programvarufel. OpenCode, Kimi Code CLI och OpenClaw startade kodningstester i fel Python-miljö, vilket orsakade fel och nya försök.

Slutsats

Det här är bara en glimt av en artikel vars längd och noggranna metod kan göra den värd att läsa mer ingående.

Ämnet fick mig att tänka på något jag ofta är medveten om: den enorma klyftan mellan vad vi och de ledande leverantörerna faktiskt förstår om de här processerna, och företagens villighet att paketera produkten som om den hade tillbringat de senaste tre månaderna i ett lintverktyg och klarat granskningen med glans.

Som läget är just nu kan vi, när det gäller dåliga utfall, inte skylla på någon annan än oss själva, eftersom vi köper en produkt som nästan alla av oss vet är djupt experimentell och oförutsägbar.

* Med uttryckligen lika stora bidrag från University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles) och en oberoende forskare.

* Såvitt jag kan bedöma anges det inte i artikeln vilken modell som användes.

^† För den här artikeln, inte uppsatsen, som är längre än jag vanligtvis tillåter mig att behandla och innehåller fler tester och större djup än vi kan få plats med här. Se käll-PDF:en, som länkas ovan, för mer information.

Först publicerad fredagen den 6 november 2026