AI-omvejene, du ikke bør betale for

Det er ikke utænkeligt, at førende AI-virksomheder kunne finde på at snyde på vægten, når de sælger os tokens, hvis de kunne slippe af sted med det – Anthropic gennemførte trods alt i juni en reel prisstigning på 30 %; DeepSeek hævede API-priserne i august; og OpenAI trak modvilligt en nedgradering af sin mellemhøje tokenkvote tilbage i slutningen af september. Så en tendens til besparelser er nu ret tydelig.

Den tanke melder sig ofte igen, når din AI-agent bruger hele din daglige tokenkvote på 45 minutter i en strøm af kode, der ikke nødvendigvis er glorværdig, og beder dig vende tilbage om 3-4 timer. I sådan et frustrerende øjeblik kan man ikke lade være med at spekulere på, om nogle af de processer, der indgår i arbejdet, er tilrettelagt til udbydernes fordel. Det er trods alt en god måde at få os til at punge ud for en særlig ekstra portion tokens – eller ligefrem få os til at slå «automatisk genopfyldning» til.

Hvis det faktisk er tilfældet i denne periode, kan de førende virksomheder med god grund gemme sig bag den antagelse, at vi ikke helt forstår, hvordan tokens bruges i agentbaserede arbejdsgange på tværs af modeller og rammeværk. Og det gør de heller ikke. Bortset fra deres betalingsflows (som ganske vist fungerer særdeles effektivt) er det hele stadig på præ-alfastadiet og fortsat genstand for banebrydende forskning, selv om produktet i vid udstrækning er blevet en standardvare.

Håndtering af spild

Det er allerede veletableret, at AI-agenter spilder tokens (og dermed dine penge), når de ræsonnerer i agentbaserede arbejdsgange: Præcis for et år siden skrev jeg om ny forskning, der viste, i hvilket omfang ræsonnerende AI-modeller viste sig tilbøjelige til at brænde tokens af ved at »snakke udenom«; tidligere i år skrev jeg om yderligere forskning, der viste, at ræsonnement i tankekæder var »dekorativt«; og i sidste uge fastslog Tsugas produktchef Nils Bunge i et indlæg med faglige perspektiver her:

«Et team, der bruger dobbelt så mange tokens, skaber ikke nødvendigvis dobbelt så stor værdi. Det kan være, at teamet arbejder med vanskeligere opgaver, bruger en unødvendigt kraftig model eller benytter en agent, der gentagne gange prøver på ny efter mislykkede opgaver.»

Mindre kendt er den måde, tokens går til spilde på unødvendige opgaver eller processer, og det er emnet for en ny artikel, der i dag igen henledte min opmærksomhed på dette emne.

Med titlen Hvordan spilder AI-agenter dine penge? præsenterer dette nye amerikanske akademiske samarbejde* en samlet metode til at kvantificere, hvor mange tokens agentbaserede processer faktisk spilder. Når modellerne er lukket kildekode, kombineres en «skygge»-metode med udbydernes officielle statistikker og målinger for at give en tilsvarende detaljeret gennemgang af, hvad der skete med tokens, mens AI’en ræsonnerede og handlede:

Den nye metode til at måle spild af AI-tokens. Hver agents ræsonnementer, handlinger og omkostninger registreres og undersøges derefter for gentagelser, unødvendige forespørgsler og omveje, der kunne være undgået. Det identificerede spild fjernes, og agentens evne til at fuldføre den oprindelige opgave testes igen. Kilde

Som vist ovenfor får agenten lov til at arbejde normalt, mens kommunikationen med AI-udbyderen opsnappes og registreres, herunder ræsonnementer, brug af værktøjer, tokenforbrug og omkostninger. Derefter gennemgås registreringerne af bedømmere baseret på Large Language Model (LLM) for at skelne nyttigt arbejde fra gentagelser, unødvendige søgninger og omveje. Derefter fjernes det formodede spild, tokenbesparelsen beregnes, og agenten genoptager arbejdet for at se, om opgaven stadig kan løses tilfredsstillende.

I testene fandt forskerne, at omkring 18 % af agenternes outputtokens gik til spilde. I mere end 45 % af opgaverne spildte én agent flere tokens, end en anden agent behøvede for at løse den samme opgave. De fandt også, at fjernelse af 41–46 % af unødvendige ræsonnementer havde meget lille effekt på ydeevnen, hvilket tyder på, at der er mulighed for betydelige besparelser uden at forringe resultaterne væsentligt.

I artiklen står der:

«På tværs af de indsamlede forløb blev omkring 18 % af outputtokens identificeret som spild.»

«Det er bemærkelsesværdigt, at én agents spildte output i mere end 45 % af opgaverne overstiger hele outputtet fra en anden agent, der løser den samme opgave.»

Undersøgelsen viste desuden, at agenter spildte flest ressourcer, når de skulle navigere i ukendte værktøjer og fulgte fremgangsmåder, der i sidste ende ikke førte nogen vegne. Den viste også, at øget ræsonnement ikke giver konsekvent bedre resultater: Ved maksimal indsats genererede Kimi-K3 6,6 gange flere ræsonnementstokens end ved lav indsats, uden nogen tilsvarende garanti for bedre resultater.

Testresultater, der viser, hvordan Kimi-K3 klarede sig på fire niveauer af ræsonneringsindsats på tværs af fem benchmarks. Større ræsonneringsindsats forbedrede ikke konsekvent succesraten, og maksimal indsats gav nogle gange dårligere resultater end lavere indstillinger.

Som analogi kan man sige, at disse agentforløb ikke er som at køre i en kraftfuld bil, hvis kapacitet man aldrig rigtig udnytter. De minder snarere om at køre i en bil, der accelererer til sin maksimale hastighed på hver eneste tur, selv når det ikke gavner noget, og på trods af de mulige negative konsekvenser.

Artiklen undersøger også, hvilken rolle forskellige agentrammer spiller i skabelsen af token-spild. Den viser, at den samme AI-model, Kimi-K3, kan generere mere end fire gange så meget ræsonnering på identiske opgaver, afhængigt af hvilken agentramme der bruges, uden nødvendigvis at opnå bedre resultater.

Noget af spildet skyldtes grundlæggende softwarefejl. OpenCode, Kimi Code CLI og OpenClaw blev konstateret gentagne gange at starte opgaver i det forkerte Python-miljø, hvilket førte til fejl og gentagne forsøg, der brugte tokens. Kimi Code CLI lod også AI’en anmode om tidsgrænser, som softwaren selv ville afvise, hvilket tvang den til endnu flere bekostelige forsøg.

I modsætning til, hvad man kunne forvente, førte agentrammer med flere værktøjer ikke nødvendigvis til mere spild, og nogle tilbagevendende ineffektiviteter så ud til at stamme fra selve modellerne, uanset hvilken agentramme der styrede dem.

‘[Several] Tilsyneladende oplagte egenskaber ved agentrammer forklarer ikke konsekvent de observerede forskelle i spild. Som det fremgår [below], fører agentrammer, der stiller flere værktøjer til rådighed, ikke nødvendigvis til mere spild. OpenClaw stiller langt flere værktøjer til rådighed end de andre agentrammer, men spildet er stadig kun moderat. Desuden ændrer ikke alt spild sig med agentrammen.

‘[Below right] viser, at Kimi-K3 på SWE-bench Verified gentagne gange tager en omvej, hvor modellen skriver det, den tror er projektets oprindelige rettelse, for senere at opgive den. ‘

Testresultater, der sammenligner spildte tokens på tværs af agentrammer til AI-agenter. Venstre: Flere værktøjer fører ikke nødvendigvis til mere spild. Højre: Kimi-K3 forsøger gentagne gange at gennemføre en formodet oprindelig softwarerettelse og opgiver den igen, uanset agentrammen, men gør det sjældent ved en anden type opgave.

Som en mulig løsning foreslår forfatterne, at agentrammer bør registrere, når begrænsninger i miljøet gør yderligere fremskridt umulige, tydeligt gøre AI-modellen opmærksom på disse begrænsninger og standse kørslen i stedet for at lade gentagne mislykkede forsøg bruge flere tokens. De foreslår også at bruge deres målinger af spildte tokens til at forbedre modeltræning, ræsonneringsstrategier og designet af agentrammer.

Metode

For at rekonstruere en AI-agents aktiviteter fulgte forskerne hver udveksling mellem modellen og den software, der styrede den, og registrerede dens ræsonnering, svar, værktøjsanmodninger og tokenomkostninger. Detaljegraden varierede fra udbyder til udbyder: Kimi-K3 viser hele sin ræsonneringsproces, Gemini 3.1 Pro viser kun opsummeringer, og Claude viser intet.

Resultaterne fra hvert værktøj blev sendt tilbage til agenten, så forskerne kunne følge processen helt til afslutningen, eller indtil agenten nåede sin driftsgrænse.

Fire eksempler på, hvordan AI-agenter bruger tokens. Gentagelse af kendte oplysninger, identiske søgninger og unødvendige undskyldninger regnes som spild, mens en mislykket søgning ikke nødvendigvis er spild, da agenten kan have haft en god grund til at forsøge den.

Agenternes anmodninger blev sendt gennem en proxy for at følge deres aktiviteter; det krævede kun mindre kodeændringer, og hver anmodning blev mærket med sit benchmark, kørselsnummer, opgave og forsøg (undtagen OpenClaw, som ikke understøtter sådanne mærker – i det tilfælde blev der brugt en separat proxy, bygget på LiteLLM, til hver test).

Fire aktører

Undersøgelsen definerer token-spild ud fra fire tilbagevendende mønstre: Gentagelse (gentagelse af kendte oplysninger); Dubletopslag (gentagne, unødvendige værktøjsanmodninger); Fyld (tilføjelse af irrelevant tekst); og Omvej (forfølgelse af plausible, men i sidste ende resultatløse tilgange).

Hver registreret session blev undersøgt af en LLM-dommer (LLMaJ**), som fik den oprindelige opgave, hele sessionsforløbet og kriterier for at identificere alle fire mønstre for spild. Formodet spild blev markeret og fjernet, hvorefter de resterende tokens blev talt igen for at beregne den spildte andel og omkostningen. Tællingerne blev derefter kontrolleret mod hver udbyders egne tokenizere eller tællefunktioner og det rapporterede outputforbrug (der blev kun rapporteret mindre forskelle i formateringen).

Test

De modeller, der indgik i undersøgelsen, var Kimi-K3, Gemini 3.1 Pro, GPT-5.6 Terra, GPT-6 Astra, Claude Sonnet 5 og Claude Fable 5.1. De blev testet med benchmarkene τ²-bench (kundeservice inden for flyselskaber og detailhandel), SWE-bench Verified (softwareudvikling), Claw-Eval og MCP-Atlas (generel brug af værktøjer).

Derudover blev Kimi-K3 testet på forskellige ræsonnementsniveauer, og fem agentrammer blev sammenlignet: OpenCode, OpenClaw, OpenHands, Hermes og Kimi Code CLI. Disse sammenligninger blev brugt til at vurdere, hvordan modeller, opgaver, ræsonnementsindsats og udformningen af agentrammer påvirker tokenforbruget på spild, og i yderligere test blev formodet spild fjernet for at undersøge, hvordan det påvirkede ydeevnen.

For at fastslå, hvor mange penge der gik til spilde for hver model, blev omkostningerne ved unødvendig tekst og værktøjskald sammenlignet med de samlede outputomkostninger, og resultaterne blev gennemsnitsberegnet på tværs af de fire benchmarktest. Kimi-K3’s interne ræsonnement blev vurderet særskilt, da den var den eneste model, der viste hele sin ræsonnementsproces:

Testresultater, der sammenligner spildte outputomkostninger for seks AI-modeller, gennemsnitsberegnet på tværs af fire benchmarktest. Til venstre ses de samlede spildprocenter, hvor Kimi-K3’s interne ræsonnement vises særskilt. Til højre ses spildprocenterne for vellykkede og mislykkede opgaver; mislykkede opgaver førte generelt til mere spild.

Som det fremgår ovenfor, blev det vurderet, at mellem 11 % og 24,9 % af de penge, der blev brugt på at generere svar og anvende værktøjer, var gået til spilde. GPT-6 Astra klarede sig bedst, mens Claude Sonnet 5 klarede sig dårligst. For Kimi-K3 gik omkring hver sjette token til spilde på svar og værktøjsbrug, og andelen steg til mere end hver fjerde under modellens interne ræsonnement.

Der blev generelt fundet mere spild, når opgaver mislykkedes, men det modsatte gjaldt for Kimi-K3’s ræsonnement. Der var heller ingen tydelige tegn på, at et større tokenforbrug på unødvendigt arbejde øgede chancerne for succes.

I en anden test forsøgte man at reducere spildte tokens, mens AI’en stadig arbejdede: Ved hvert trin blev en AI-dommer** brugt til at fjerne gentagne oplysninger og meningsløs tekst fra modellens ræsonnement, før den fik lov til at fortsætte opgaven:

Testresultater, der viser, hvordan fjernelse af unødvendigt ræsonnement fra AI påvirkede succesraterne på to benchmarktest. Fjernelse af 41-46 % af ræsonnementet havde kun ringe betydning for ydeevnen, mens fjernelse af alt ræsonnement førte til markant flere fejl.

På SWE-bench Verified blev 41 % af ræsonnementet fjernet uden tab af ydeevne; succesraten steg faktisk en smule fra 89 % til 89,5 %. På MCP-Atlas blev 46 % fjernet, og succesraten faldt kun beskedent fra 65 % til 62,3 %.

Med andre ord kunne næsten halvdelen af ræsonnementet fjernes, mens AI’en arbejdede, uden at det for alvor gik ud over dens evne til at løse opgaven.

Til sidst^† blev Kimi-K3 testet på identiske opgaver med forskellige agentrammer. Her varierede ræsonnementsoutputtet mere end fire gange, uden at det førte til nogen konsekvent forbedring af ydeevnen, som det fremgår nedenfor:

Testresultater, der sammenligner Kimi-K3’s tokenforbrug på tværs af agentrammer på to benchmarktest. Internt ræsonnement vises med blåt, mens svar og værktøjskald vises med orange. På kodningsopgaver genererede Mini-SWE mere end fire gange så meget ræsonnement som Hermes.

En del af spildet skyldtes grundlæggende softwarefejl. OpenCode, Kimi Code CLI og OpenClaw kørte kodningstest i det forkerte Python-miljø, hvilket førte til fejl og gentagne forsøg.

Konklusion

Dette er kun et glimt af en artikel, hvis længde og grundige metode kan gøre det umagen værd at læse den nærmere.

Emnet fik mig til at tænke på noget, jeg ofte er bevidst om: den enorme kløft mellem det, vi og de førende udbydere faktisk forstår om disse processer, og virksomhedernes villighed til at pakke produktet ind, som om det netop havde tilbragt de seneste tre måneder i et kodekontrolværktøj og var kommet særdeles godt igennem kontrollen.

Som situationen er lige nu, kan vi indtil videre ikke bebrejde andre end os selv for de dårlige udfald, fordi vi køber et produkt, som vi næsten alle ved er dybt eksperimentelt og uforudsigeligt.

* Med udtrykkeligt lige store bidrag fra University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles) og en uafhængig forsker.

* Artiklen angiver ikke, hvilken model der blev brugt, så vidt jeg kan se.

^† For denne artikel, ikke forskningsartiklen, som er længere, end jeg normalt tillader mig at behandle, og indeholder flere tests og større dybde, end vi kan rumme her. Se kilde-PDF’en, der er linket til ovenfor, for flere detaljer.

Først offentliggjort fredag den 6. november 2026