KI-omveiene du ikke burde betale for

Det er ikke utenkelig at ledende KI-selskaper ville forsøke å påvirke utfallet til sin fordel når de selger oss tokener, hvis de kunne slippe unna med det – Anthropic innførte tross alt en reell prisøkning på 30 % i juni, DeepSeek økte API-prisene i august, og OpenAI gikk motvillig tilbake på en nedgradering av tokenkvoten i mellomklassen i slutten av september. En innstrammingstrend er derfor nå ganske tydelig.

Den tanken dukker gjerne opp igjen når KI-agenten din bruker opp den daglige tokenkvoten på 45 minutter med kode som ikke nødvendigvis er strålende, før den ber deg komme tilbake om 3–4 timer. I et slikt frustrerende øyeblikk er det vanskelig å la være å lure på om noen av prosessene bak dette er lagt opp til leverandørenes fordel. Det er tross alt en god måte å få oss til å betale for en ekstra påfylling av tokener – eller til og med få oss til å slå på «automatisk påfylling».

Hvis det faktisk er slik i denne perioden, kan de ledende selskapene med god grunn skjule seg bak antakelsen om at vi ikke helt forstår hvordan tokener brukes i arbeidsflyter med KI-agenter, på tvers av modeller og rammeverk. Og det gjør ikke de heller. Bortsett fra betalingsprosessene deres (som er svært smidige), er alt sammen på pre-alfa-stadiet og fortsatt råstoff for banebrytende forskning, til tross for at produktet i stor grad er blitt en standardvare.

Sløsing med ressurser

At KI-agenter sløser med tokener (og dermed pengene dine) når de resonnerer i arbeidsflyter med KI-agenterer allerede godt dokumentert: For nøyaktig ett år siden skrev jeg om ny forskning som viste hvor tilbøyelige resonnerende KI-modeller var til å bruke opp tokener ved å «prate i vei». Tidligere i år skrev jeg om ytterligere forskning som viste at resonnering med tankekjede var «dekorativ». Og forrige uke erklærte Tsugas produktsjef Nils Bunge følgende i et faglig meningsinnlegg her:

«Et team som bruker dobbelt så mange tokener, skaper ikke nødvendigvis dobbelt så mye verdi. Det kan hende teamet håndterer vanskeligere oppgaver, bruker en unødvendig kraftig modell eller støtter seg på en agent som gjentatte ganger prøver på nytt etter mislykkede oppgaver.»

Det som er mindre kjent, er måten tokener går til spille på unødvendige oppgaver eller prosesser. Dette er temaet for en ny artikkel som i dag fikk meg til å rette oppmerksomheten mot dette emnet igjen.

Denne nye artikkelen, med tittelen Hvordan sløser KI-agenter bort pengene dine?, er et samarbeid mellom amerikanske akademiske miljøer* og presenterer et helhetlig rammeverk for å tallfeste hvor mye tokener KI-agentprosesser faktisk sløser med. Når modellene er lukket kildekode, kombineres en «skygge»-metode med leverandørenes offisielle statistikk og måltall for å gi en tilsvarende detaljert oversikt over hva som skjedde med tokenene mens KI-en resonnerte og handlet:

Den nye metoden for å måle sløsing med KI-tokener. Hver agents resonnering, handlinger og kostnader registreres og undersøkes deretter for gjentakelser, unødvendige forespørsler og omveier som kunne vært unngått. Identifisert sløsing fjernes, og agentens evne til å fullføre den opprinnelige oppgaven testes på nytt. Kilde

Som vist ovenfor får agenten arbeide som normalt, mens kommunikasjonen med KI-leverandøren fanges opp og registreres. Dette omfatter resonnering, bruk av verktøy, tokenforbruk og kostnader. Deretter gjennomgår vurderere basert på Large Language Model (LLM) registreringene for å skille nyttig arbeid fra gjentakelser, unødvendige søk og omveier. Etterpå fjernes det som mistenkes å være sløsing, besparelsen i tokener beregnes, og agenten fortsetter arbeidet for å se om oppgaven fortsatt kan fullføres.

I testene fant forskerne at omtrent 18 % av agentenes utdata-token gikk til spille. I mer enn 45 % av oppgavene brukte én agent mer tokener på unødvendig vis enn en annen agent trengte for å fullføre den samme oppgaven. De fant også at det hadde svært liten innvirkning på ytelsen å fjerne 41–46 % av unødvendig resonnering. Det tyder på at det er mulig å oppnå betydelige besparelser uten at resultatene svekkes vesentlig.

I artikkelen står det:

«I de innsamlede forløpene ble rundt 18 % av utdata-tokenene identifisert som sløsing.

«Oppsiktsvekkende nok overstiger én agents bortkastede utdata alene den samlede mengden utdata fra en annen agent som løser den samme oppgaven, i mer enn 45 % av tilfellene.»

Studien viste dessuten at agentene sløste mest ressurser når de navigerte i ukjente verktøy og prøvde framgangsmåter som til slutt ikke førte noen vei. Den viste også at økt resonneringsinnsats ikke gir jevnt bedre resultater: Ved maksimal innsats genererte Kimi-K3 6,6 ganger så mange resonneringstoken som ved lav innsats, uten at det dermed var noen garanti for bedre resultater.

Testresultater som viser hvordan Kimi-K3 presterer på fire nivåer for resonneringsinnsats på tvers av fem referansetester. Større resonneringsinnsats ga ikke konsekvent bedre suksessrater, og maksimal innsats ga noen ganger dårligere resultater enn lavere innstillinger.

For å bruke en sammenligning: I stedet for å kjøre en kraftig bil uten noen gang egentlig å utnytte kapasiteten, ligner disse agentøktene mer på å kjøre en bil som akselererer opp til den maksimale hastigheten den kan oppnå på hver tur, selv når det ikke gir noen fordel, og til tross for mulige negative konsekvenser.

Artikkelen undersøker også hvordan ulike agentrammeverk bidrar til sløsing med tokener, og finner at den samme AI-modellen, Kimi-K3, kunne generere mer enn fire ganger så mye resonnering for identiske oppgaver, avhengig av hvilket rammeverk som ble brukt, uten nødvendigvis å oppnå bedre resultater.

Noe av sløsingen skyldtes grunnleggende programvarefeil. OpenCode, Kimi Code CLI og OpenClaw viste seg gjentatte ganger å starte oppgaver i feil Python-miljø, noe som førte til feil og kostbare nye forsøk som slukte tokener. Kimi Code CLI lot også AI-en be om tidsavbrudd som programvaren selv ville avvise, noe som tvang fram enda flere kostbare forsøk.

Overraskende nok var agentrammeverk med flere verktøy ikke nødvendigvis mer sløsende, og noen tilbakevendende ineffektiviteter så ut til å skyldes modellene selv, uavhengig av hvilket rammeverk som styrte dem.

‘[Several] Tilsynelatende åpenbare egenskaper ved agentrammeverk forklarer ikke konsekvent de observerte forskjellene i sløsing. Som vist [below] er rammeverk som tilbyr flere verktøy, for eksempel, ikke nødvendigvis mer sløsende. OpenClaw tilbyr langt flere verktøy enn de andre rammeverkene, men sløser likevel bare moderat. Dessuten varierer ikke all sløsing med rammeverket.

‘[Below right] viser at det på SWE-bench Verified oppstår en tilbakevendende omvei der Kimi-K3 skriver ut det den tror er prosjektets opprinnelige løsning, for så å forkaste den senere. ‘

Testresultater som sammenligner bortkastede tokener på tvers av agentrammeverk for AI. Til venstre: Flere verktøy øker ikke nødvendigvis sløsingen. Til høyre: Kimi-K3 forsøker gjentatte ganger å lage en antatt opprinnelig programvareløsning og forkaster den, uavhengig av rammeverk, men gjør det sjelden på en annen type oppgave.

Som tiltak foreslår forfatterne at agentrammeverk bør oppdage når begrensninger i omgivelsene gjør videre framgang umulig, formidle disse begrensningene tydelig til AI-modellen og stanse kjøringen i stedet for å la gjentatte mislykkede forsøk bruke opp flere tokener. De foreslår også å bruke målingene av bortkastede tokener til å forbedre modelltrening, resonneringsstrategier og utformingen av agentrammeverk.

Metode

For å rekonstruere aktiviteten til en AI-agent fulgte forskerne hver utveksling mellom modellen og programvaren som styrte den, og registrerte resonneringen, svarene, verktøyforespørslene og tokenkostnadene. Detaljnivået varierte mellom leverandørene: Kimi-K3 viser hele resonneringsprosessen sin, Gemini 3.1 Pro viser bare sammendrag, og Claude viser ingenting.

Resultatene fra hvert verktøy ble sendt tilbake til agenten, slik at forskerne kunne følge prosessen helt fram til den var fullført, eller til agenten nådde driftsgrensen sin.

Fire eksempler på hvordan AI-agenter bruker tokener. Gjentakelse av kjent informasjon, identiske søk og unødvendige beklagelser regnes som sløsing, mens et mislykket søk ikke nødvendigvis er sløsing, siden agenten kan ha hatt gode grunner til å prøve det.

Agentenes forespørsler ble rutet gjennom en proxy for å spore aktiviteten deres, noe som bare krevde mindre kodeendringer. Hver forespørsel ble merket med referansetesten, kjøringen, oppgaven og forsøket (med unntak av OpenClaw, som ikke støtter slike merkelapper – i dette tilfellet ble det brukt en egen proxy for hver test, bygget på LiteLLM).

Fire aktører

Studien definerer sløsing med tokener ut fra fire tilbakevendende mønstre: Gjentakelse (gjentakelse av kjent informasjon); Duplikatsøk (unødvendige, gjentatte verktøyforespørsler); Fyllstoff (tilføyelse av irrelevant tekst); og Omvei (å følge framgangsmåter som virker rimelige, men til slutt ikke fører fram).

Hver registrerte økt ble undersøkt av en LLM som dommer (LLMaJ**), som fikk den opprinnelige oppgaven, hele loggen og kriteriene for å identifisere alle fire mønstrene for sløsing. Mistenkt sløsing ble markert og fjernet, og de gjenværende tokenene ble telt på nytt for å beregne andelen som gikk til spille, og kostnaden. Tellingene ble deretter kontrollert mot hver leverandørs egne tokeniseringsverktøy eller telleverktøy og rapporterte bruk av utdata (det ble bare rapportert mindre forskjeller i formatering).

Tester

Modellene som ble testet i studien, var Kimi-K3, Gemini 3.1 Pro, GPT-5.6 Terra, GPT-6 Astra, Claude Sonnet 5 og Claude Fable 5.1. De ble testet på referansetestene τ²-bench (kundeservice for flyselskaper og detaljhandel), SWE-bench Verified (programvareutvikling), Claw-Eval og MCP-Atlas (generell bruk av verktøy).

I tillegg ble Kimi-K3 testet med ulike resonneringsnivåer, og fem agentrammeverk ble sammenlignet: OpenCode, OpenClaw, OpenHands, Hermes og Kimi Code CLI. Disse sistnevnte sammenligningene ble brukt til å undersøke hvordan modeller, oppgaver, resonneringsinnsats og utformingen av rammeverk påvirker sløsing med token (og i ytterligere tester ble mistenkt sløsing fjernet for å undersøke hvilken effekt dette hadde på ytelsen).

For å fastslå hvor mye penger hver modell sløste bort, ble kostnadene for unødvendig tekst og verktøykall sammenlignet med de samlede kostnadene for utdata. Resultatene ble gjennomsnittsberegnet på tvers av de fire referansetestene. Intern resonnering ble vurdert separat for Kimi-K3 – den eneste modellen som viste hele resonneringsprosessen sin:

Testresultater som sammenligner kostnadene for bortkastede utdata på tvers av seks KI-modeller, gjennomsnittsberegnet over fire referansetester. Til venstre: samlet sløsing, med Kimi-K3s interne resonnering vist separat. Til høyre: sløsing ved vellykkede og mislykkede oppgaver; mislykkede oppgaver førte generelt til mer sløsing.

Som vist ovenfor ble mellom 11 % og 24,9 % av pengene brukt på å generere svar og bruke verktøy, vurdert som bortkastet. GPT-6 Astra gjorde det best, mens Claude Sonnet 5 gjorde det dårligst. For Kimi-K3 gikk omtrent én av seks token til spille på svar og verktøybruk, og andelen økte til mer enn én av fire under den interne resonneringen.

Generelt ble det funnet mer sløsing når oppgaver mislyktes, selv om det motsatte gjaldt for Kimi-K3s resonnering. Det var heller ingen tydelige tegn på at bruk av flere token på unødvendig arbeid økte sjansene for å lykkes.

I en annen test forsøkte man å kutte bortkastede token mens KI-en fortsatt arbeidet: Ved hvert trinn ble en KI-dommer** brukt til å fjerne gjentatt informasjon og meningsløs tekst fra modellens resonnering, før oppgaven fikk fortsette:

Testresultater som viser hvordan fjerning av unødvendig KI-resonnering påvirket suksessratene på to referansetester. Fjerning av 41–46 % av resonneringen hadde liten innvirkning på ytelsen, mens fjerning av all resonnering førte til betydelig flere feil.

På SWE-bench Verified ble 41 % av resonneringen fjernet uten at ytelsen ble svekket; suksessraten økte faktisk litt, fra 89 % til 89,5 %. På MCP-Atlas ble 46 % fjernet, og suksessen gikk bare beskjedent ned, fra 65 % til 62,3 %.

Med andre ord kunne nesten halvparten av resonneringen fjernes mens KI-en arbeidet, uten at evnen til å fullføre oppgaven ble alvorlig svekket.

Til slutt^† ble Kimi-K3 testet på identiske oppgaver med ulike agentrammeverk. Her varierte mengden resonnering i utdataene mer enn fire ganger, uten noen konsekvent forbedring i ytelsen, som vist nedenfor:

Testresultater som sammenligner Kimi-K3s tokenforbruk på tvers av agentrammeverk på to referansetester. Intern resonnering vises i blått, og svar og verktøykall i oransje. På kodeoppgaver ble det generert mer enn fire ganger så mye resonnering med Mini-SWE som med Hermes.

Noe av sløsingen skyldtes grunnleggende programvarefeil. OpenCode, Kimi Code CLI og OpenClaw startet kodetestene i feil Python-miljø, noe som førte til feil og nye forsøk.

Konklusjon

Dette er bare et lite innblikk i en artikkel som, med sitt omfang og sin grundige metode, kan gjøre det verdt å lese den mer inngående.

Temaet fikk meg til å tenke på noe jeg ofte er meg bevisst: det enorme gapet mellom det vi og de ledende leverandørene faktisk forstår om disse prosessene, og selskapenes vilje til å presentere produktet som om det hadde blitt kjørt gjennom et kodekontrollverktøy de siste tre månedene og bestått med glans.

Slik situasjonen er nå, kan vi foreløpig ikke klandre andre enn oss selv for dårlige resultater, fordi vi kjøper et produkt som nesten alle vet er svært eksperimentelt og uforutsigbart.

* Med uttrykkelig like bidrag fra University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles) og en uavhengig forsker.

* Så vidt jeg kan se, oppgir ikke artikkelen hvilken modell som ble brukt.

^†For denne artikkelen, ikke forskningsartikkelen, som er lengre enn jeg vanligvis tillater meg å dekke, og inneholder flere tester og større dybde enn vi har plass til her. Se kilde-PDF-en det er lenket til ovenfor, for flere detaljer.

Først publisert fredag 6. november 2026