Nye forskningsartikler stiller spørgsmål ved ‘token’-prisfastsættelse for AI-samtaler

Nyt forskning viser, at måden, hvorpå AI-tjenester beregner priser på basis af tokens, skjuler den virkelige omkostning for brugerne. Leverandører kan stille og roligt forhøje gebyrer ved at manipulere token-tællinger eller indsætte skjulte trin. Nogle systemer kører ekstra processer, der ikke påvirker outputtet, men alligevel vises på regningen. Der er blevet foreslået revisionsværktøjer, men uden reel tilsyn er brugerne efterladt til at betale for mere, end de er bevidste om.

I næsten alle tilfælde, hvad vi som forbrugere betaler for AI-drevne chat-grænseflader, såsom ChatGPT-4o, måles i tokens: usynlige tekstenheder, der ikke lægges mærke til under brug, men som tælles med præcis præcision til regningsformål; og selvom hver udveksling er prissat efter antallet af tokens, der behandles, har brugeren ingen direkte måde at bekræfte tællingen.

Trods vores (i bedste fald) uperfekte forståelse af, hvad vi får for vores købte ‘token’-enhed, er token-baseret fakturering blevet den standardmæssige tilgang hos leverandører, hvilende på, hvad der måske viser sig at være en precaær antagelse af tillid.

Token-ord

En token er ikke helt det samme som et ord, selvom det ofte spiller en lignende rol, og de fleste leverandører bruger begrebet ‘token’ til at beskrive små tekstenheder såsom ord, punktumstegn eller ordfragmenter. Ordet ‘utroligt’, for eksempel, kan tælles som en enkelt token af et system, mens et andet system kan opdele det i u, tro og ligt, hvor hvert stykke øger omkostningerne.

Dette system gælder for både den tekst, en bruger indtaster, og modellens svar, med prisen baseret på det totale antal af disse enheder.

Sværheden ligger i, at brugere ikke kan se denne proces. De fleste grænseflader viser ikke token-tællinger, mens en samtale finder sted, og måden, tokens beregnes på, er svær at reproducere. Selv hvis en tælling vises efter et svar, er det for sent at sige, om det var retfærdigt, og der opstår en mislighed mellem, hvad brugeren ser, og hvad de betaler for.

Seneste forskning peger på dybere problemer: en studie viser, hvordan leverandører kan overfakturere uden at bryde reglerne, blot ved at forhøje token-tællinger på måder, som brugeren ikke kan se; en anden afslører misligheden mellem, hvad grænseflader viser, og hvad der faktisk faktureres, efterlader brugerne med illusionen om effektivitet, hvor der måske ikke er nogen; og en tredje afslører, hvordan modeller rutinemæssigt genererer interne resonemangs-trin, der aldrig vises for brugeren, men alligevel vises på regningen.

Fundene tegner et billede af et system, der synes præcist, med præcise tal, der antyder klarhed, men hvis underliggende logik forbliver skjult. Uanset om dette er ved design eller en strukturel fejl, er resultatet det samme: brugere betaler for mere, end de kan se, og ofte mere, end de forventer.

Billigere til dusin?

I den første af disse artikler – med titlen Er din LLM i overtiden?, fra fire forskere ved Max Planck-instituttet for software-systemer – argumenterer forfatterne for, at risikoen for token-baseret fakturering strækker sig ud over uigennemsigtighed og peger på en indbygget incitament for leverandører til at forhøje token-tællinger:

‘Kernen af problemet ligger i, at tokeniseringen af en streng ikke er unik. For eksempel, hvis brugeren indsender prompten “Hvor finder den næste NeurIPS sted?” til leverandøren, og modellen genererer outputtet “|San| Diego|” bestående af to tokens.

‘Da brugeren er uvidende om den generative proces, har en selvoptjenende leverandør mulighed for at misrapportere tokeniseringen af outputtet til brugeren uden at ændre den underliggende streng. For eksempel kunne leverandøren blot dele tokeniseringen “|S|a|n| |D|i|e|g|o|” og overfakturere brugeren for ni tokens i stedet for to!’

Artiklen præsenterer en heuristik, der kan udføre denne type uærlig beregning uden at ændre synligt output, og uden at krænke sandsynlighed under typiske afkodningssætninger. Testet på modeller fra LLaMA, Mistral og Gemma-serien, ved hjælp af virkelige prompts, opnår metoden målbare overfaktureringer uden at fremstå som anomale:

Token-inflation ved hjælp af ‘plausibel misrapportering’. Hver panel viser procentdelen af overfakturerede tokens, der resulterer fra, at en leverandør anvender Algoritme 1 til output fra 400 LMSYS-prompts, under varierende sampling-parametre (m og p). Alle output er genereret ved en temperatur på 1,3, med fem gentagelser per indstilling for at beregne 90% konfidensintervaller. Kilde: https://arxiv.org/pdf/2505.21627

For at løse problemet opfordrer forskerne til, at fakturering skal baseres på tegnantallet i stedet for tokens, og argumenterer for, at dette er den eneste tilgang, der giver leverandører en grund til at rapportere brug ærligt, og hævder, at hvis målet er fair prissætning, så er det at binde omkostningerne til synlige tegn, og ikke skjulte processer, den eneste mulighed, der kan stå til skue.

Her er der dog en række ekstra overvejelser (i de fleste tilfælde indrømmet af forfatterne). Først og fremmest introducerer den karakterbaserede skema, der er foreslået, yderligere forretningslogik, der måske favoriserer leverandøren over forbrugeren:

‘[En] leverandør, der aldrig misrapporterer, har en klar incitament til at generere den kortest mulige output-token-sekvens, og forbedre nuværende tokenisering-algoritmer såsom BPE, så de komprimerer output-token-sekvensen så meget som muligt’

Det optimistiske motiv her er, at leverandøren således opmuntres til at producere korte og mere meningsfulde og værdifulde output. I praksis er der dog åbenbart mindre dydige måder for en leverandør at reducere tekst-mængden på.

For det andet er det rimeligt at antage, skriver forfatterne, at virksomheder sandsynligvis vil kræve lovgivning for at gå fra det arkaiske token-system til en klarere, tekstbaseret faktureringsmetode. Længere nede kan en oprørsk startup måske beslutte at differentiere deres produkt ved at lancerer det med denne type prissætningsmodel; men enhver med et virkelig konkurrencedygtigt produkt (og opererer på et lavere niveau end EEE-kategorien) er desuden ikke motiveret til at gøre dette.

For det tredje ville larcenøse algoritmer, såsom de foreslåede, komme med deres egen beregningsmæssige omkostning; hvis omkostningen ved at beregne en ‘overfakturering’ oversteg den potentielle profitfordel, ville skemaet åbenbart ikke have nogen berettigelse. Forskerne understreger dog, at deres foreslåede algoritme er effektiv og økonomisk.

Forfatterne tilbyder koden for deres teorier på GitHub.

Skiftet

Den anden artikel – med titlen Usynlige tokens, synlige regninger: Det presserende behov for at auditere skjulte operationer i uigennemsigtige LLM-tjenester, fra forskere ved University of Maryland og Berkeley – argumenterer for, at misalignerede incitamenter i kommercielle sprogmodel-API’er ikke er begrænset til token-splitning, men strækker sig til hele klasser af skjulte operationer.

Disse omfatter interne model-kald, spekulativt resonemang, værktøjsbrug og multi-agent-interaktioner – alle disse kan faktureres til brugeren uden synlighed eller mulighed for at klage.

Prissætning og gennemsigtighed af resonemangs-LLM-API’er hos større leverandører. Alle nævnte tjenester fakturerer brugere for skjulte interne resonemangstokens, og ingen af dem gør disse tokens synlige under kørsel. Omkostningerne varierer betydeligt, med OpenAI’s o1-pro-model, der fakturerer ti gange mere pr. million tokens end Claude Opus 4 eller Gemini 2.5 Pro, trods lige så stor uigennemsigtighed. Kilde: https://www.arxiv.org/pdf/2505.18471

Ulig konventionel fakturering, hvor mængden og kvaliteten af tjenester er verificerbare, hævder forfatterne, at i dag opererer LLM-platforme under strukturel uigennemsigtighed: brugere faktureres på basis af rapporterede token- og API-brug, men har ingen mulighed for at bekræfte, at disse målinger afspejler reel eller nødvendig arbejde.

Artiklen identificerer to nøgleformer for manipulation: mængdeinflation, hvor antallet af tokens eller kald øges uden brugerfordel; og kvalitetsnedgradering, hvor lavere-præstationsmodeller eller værktøjer stille og roligt erstatter premium-komponenter:

‘I resonemangs-LLM-API’er vedligeholder leverandører ofte multiple varianter af samme modelfamilie, der adskiller sig i kapacitet, træningsdata eller optimeringsstrategi (f.eks. ChatGPT o1, o3). Modelnedgradering refererer til den stille substitution af lavere-omkostningsmodeller, der kan introducere mislighed mellem forventet og faktisk serviceniveau.

‘For eksempel kan en prompt blive behandlet af en mindre størrelsesmodel, mens fakturering forbliver uændret. Denne praksis er svær for brugere at opdage, da det endelige svar stadig kan synes plausibelt for mange opgaver.’

Artiklen dokumenterer tilfælde, hvor mere end 90% af de fakturerede tokens aldrig blev vist til brugerne, med intern resonemang, der forhøjede token-brug med en faktor større end 20. Berettiget eller ej, uigennemsigtigheden af disse trin nægter brugerne enhver grund til at evaluere deres relevans eller berettigelse.

I agente-systemer øges uigennemsigtigheden, da interne udvekslinger mellem AI-agenter hver især kan medføre gebyrer uden at have nogen betydning for det endelige output:

‘Uden for interne resonemang kommunikerer agenter ved at udveksle prompts, sammenfatninger og planlægningsinstruktioner. Hver agent både fortolker input fra andre og genererer output til at guide arbejdsgangen. Disse inter-agent-meddelelser kan forbruge betydelige tokens, der ofte ikke er synlige for slutbrugere.

‘Alle tokens, der forbruges under agent-koordination, herunder genererede prompts, svar og værktøjsrelaterede instruktioner, er typisk ikke synlige for brugeren. Når agenterne selv bruger resonemangsmodeller, bliver fakturering endnu mere uigennemsigtig’

For at imødegå disse problemer foreslår forfatterne en lagdelt revisionsramme, der omfatter kryptografiske beviser for intern aktivitet, verificerbare markører for model- eller værktøjsidentitet og uafhængigt tilsyn. Den underliggende bekymring er dog strukturel: nuværende LLM-faktureringsordninger afhænger af en varig asymmetri af information, der efterlader brugere udsat for omkostninger, de ikke kan verificere eller bryde ned.

At tælle det usynlige

Den sidste artikel, fra forskere ved University of Maryland, omformulerer faktureringsproblemet ikke som et spørgsmål om misbrug eller misrapportering, men om struktur. Artiklen – med titlen CoIn: At tælle de usynlige resonemangstokens i kommercielle uigennemsigtige LLM-API’er, og fra ti forskere ved University of Maryland – påpeger, at de fleste kommercielle LLM-tjenester nu skjuler interne resonemang, der bidrager til en modells endelige svar, men stadig fakturerer for disse tokens.

Artiklen fastslår, at dette skaber en usynlig faktureringsflade, hvor hele sekvenser kan fabrikeres, injiceres eller forhøjes uden opdagelse:

‘[Dette] usynlighed tillader leverandører at misrapportere token-tællinger eller injicere lav-omkostnings, fabrikerede resonemangstokens for at kunstigt forhøje token-tællinger. Vi kalder denne praksis token-tællingsinflation.

‘For eksempel kan en enkelt højeffektiv ARC-AGI-kørsel af OpenAI’s o3-model forbruge 111 millioner tokens, kostende 66.772,3 dollars. Givet denne skala kan selv små manipulationer føre til betydelige finansielle konsekvenser.

‘En sådan informationsasymmetri tillader AI-virksomheder at overfakturere brugere betydeligt, og underminerer deres interesser.’

For at imødegå denne asymmetri foreslår forfatterne CoIn, et tredjeparts-revisions-system designet til at verificere skjulte tokens uden at afsløre deres indhold, og som bruger hashede fingeraftryk og semantiske kontroller til at spotte tegn på inflation.

Oversigt over CoIn-revisions-systemet til uigennemsigtige kommercielle LLM’er. Panel A viser, hvordan resonemangstoken-embeddings hasheres til en Merkle-træ til token-tællingsverifikation uden at afsløre token-indhold. Panel B illustrerer semantiske valideringskontroller, hvor letvægtsneurale netværk sammenligner resonemangs-blokke med det endelige svar. Kilde: https://arxiv.org/pdf/2505.13778

En komponent verificerer token-tællinger kryptografisk ved hjælp af en Merkle-træ; den anden vurderer relevansen af det skjulte indhold ved at sammenligne det med svaret. Dette tillader revisorer at opdage padding eller irrelevans – tegn på, at tokens blot er indsat for at forhøje regningen.

Når det er deployeret i tests, opnåede CoIn en opdagelsessuccesrate på næsten 95% for visse former for inflation, med minimal afsløring af den underliggende data. Selvom systemet stadig afhænger af frivillig samarbejdsvilje fra leverandører og har begrænset opløsning i randtilfælde, er dens bredere pointe uafviselig: den underliggende arkitektur af nuværende LLM-fakturering antager en ærlighed, der ikke kan verificeres.

Konklusion

Ud over fordelene ved at opnå forudbetaling fra brugere hjælper en scrip-baseret valuta (såsom ‘buzz’-systemet hos CivitAI) med at abstrahere brugere væk fra den virkelige værdi af den valuta, de bruger, eller den vare, de køber. Ligeså giver det en leverandør mulighed for at definere deres egne måleenheder yderligere efterlader forbrugeren i mørket om, hvad de faktisk bruger, i reelle penge.

Ligesom manglende ure i Las Vegas, er disse foranstaltninger ofte rettet mod at gøre forbrugeren uforsigtig eller ligeglad med omkostningerne.

Det dårligt forståede token, der kan forbruges og defineres på så mange måder, er måske ikke en egnet enhed til måling af LLM-forbrug – ikke mindst fordi det kan koste mange flere tokens at beregne et dårligere LLM-resultat på et ikke-engelsk sprog, sammenlignet med en engelsk-baseret session.

Derimod ville karakterbaseret output, som foreslået af Max Planck-forskerne, sandsynligvis favorisere mere korte sprog og straffe naturligt verbose sprog. Da visuelle tegn såsom en devaluerende token-tæller sandsynligvis ville gøre os lidt mere ødsle i vores LLM-sessioner, synes det usandsynligt, at sådanne nyttige GUI-tilføjelser kommer før længe – i hvert fald ikke uden lovgivning.

* Forfatterens betoning. Min konvertering af forfatternes inline-citationer til hyperlinks.

Først udgivet torsdag, 29. maj 2025