Ny forskning stiller spørsmål ved «token»-prising for AI-samtaler

Ny forskning viser at måten AI-tjenestene regner med tokens skjuler den virkelige kostnaden for brukerne. Leverandørene kan stille og øke avgiftene uten at brukerne merker det; noen systemer kjører ekstra prosesser som ikke påvirker utdata, men likevel vises på regningen. Det er blitt foreslått å bruke revisjonsverktøy, men uten virkelig tilsyn, blir brukerne sittende med å betale for mer enn de innser.

I nesten alle tilfeller er det vi som forbrukere betaler for AI-drevne chattegrensesnitt, som ChatGPT-4o, målt i tokens: usynlige tekstenheter som ikke merkes under bruk, men som telles med nøyaktig presisjon for faktureringsformål; og selv om hver utveksling er priset etter antall tokens prosessert, har brukeren ingen direkte måte å bekrefte tellingen.

Til tross for vår (i beste fall) ufullstendige forståelse av hva vi får for våre kjøpte ‘token’-enheter, har token-basert fakturering blitt standardmetoden hos leverandørene, og hviler på hva som kan vise seg å være en skjør antakelse om tillit.

Token-ord

En token er ikke helt det samme som et ord, selv om det ofte spiller en lignende rolle, og de fleste leverandørene bruker begrepet ‘token’ for å beskrive små tekstenheter som ord, tegn, eller ordfragmenter. Ordet ‘utrolig’, for eksempel, kan telles som en enkelt token av ett system, mens et annet system kan dele det inn i u, tro og lig, med hver del som øker kostnaden.

Dette systemet gjelder for både tekst som brukeren skriver inn og modellens svar, med prisen basert på det totale antallet slike enheter.

Vanligvis ser brukerne ikke denne prosessen. De fleste grensesnitt viser ikke token-telling under en samtale, og måten tokens beregnes er vanskelig å gjenta. Selv om en telling vises etter et svar, er det for sent å si om den var rettferdig, og det oppstår en misforståelse mellom hva brukeren ser og hva de betaler for.

Nylig forskning viser dypere problemer: en studie viser hvordan leverandørene kan overfakturere uten å bryte reglene, bare ved å øke token-tellingen på måter som brukeren ikke kan se; en annen avslører misforholdet mellom hva grensesnittene viser og hva som faktisk faktureres, og etterlater brukerne med illusjonen av effektivitet der det kanskje ikke er noen; og en tredje avslører hvordan modellene jevnt over genererer interne resoneringstrinn som aldri vises til brukeren, men likevel vises på fakturaen.

Funnene viser et system som ser nøyaktig ut, med eksakte tall som antyder klarhet, men hvis underliggende logikk forblir skjult. Uansett om dette er med overløp eller en strukturell feil, er resultatet det samme: brukerne betaler for mer enn de kan se, og ofte mer enn de forventer.

Billigere per dusin?

I den første av disse artiklene – med tittelen Er ditt LLM overfakturerende deg? Tokenisering, gjennomsiktighet og incitamenter, fra fire forskere ved Max Planck-instituttet for programvare-systemer – argumenterer forfatterne for at risikoen med token-basert fakturering går utover uklarhet, og peker på en innebygd incitament for leverandørene til å øke token-tellingen:

‘Kjernen i problemet ligger i at tokeniseringen av en streng ikke er unik. For eksempel, hvis brukeren sender inn spørsmålet “Hvor er neste NeurIPS?” til leverandøren, og modellen genererer svaret “|San| Diego|” bestående av to tokens.

‘Siden brukeren er uvitende om genereringsprosessen, har en selvbetjent leverandør mulighet til å misrapportere tokeniseringen av utdata til brukeren uten å endre den underliggende strengen. For eksempel, kunne leverandøren dele tokeniseringen “|S|a|n| |D|i|e|g|o|” og overfakturere brukeren for ni tokens i stedet for to!’

Artikkelen presenterer en heuristikk som kan utføre denne type uærlig beregning uten å endre synlig utdata, og uten å bryte plausibilitet under typiske dekodinginnstillinger. Testet på modeller fra LLaMA, Mistral og Gemma-serien, ved å bruke ekte spørsmål, oppnår metoden målbare overfaktureringer uten å fremstå som anomale:

Token-inflasjon ved å bruke ‘plausibel misrapportering’. Hver panel viser prosentandelen overfakturerte tokens som resultat av at en leverandør anvender Algoritme 1 på utdata fra 400 LMSYS-spørsmål, under varierende samplingparametere (m og p). Alle utdata ble generert ved temperatur 1,3, med fem repetisjoner per innstilling for å beregne 90% konfidensintervall. Kilde: https://arxiv.org/pdf/2505.21627

For å løse problemet, oppfordrer forskerne til å bruke fakturering basert på tegnantall i stedet for tokens, og argumenterer for at dette er den eneste tilnærmingen som gir leverandørene en grunn til å rapportere bruken ærlig, og hevder at hvis målet er rettferdig prising, så må kostnaden knyttes til synlige tegn, ikke skjulte prosesser. Tegn-basert prising, hevder de, ville fjerne motivet til å misrapportere, og også belønne korte, mer effektive utdata.

Her er det en rekke ekstra overveielser (i de fleste tilfeller innrømmet av forfatterne). Først og fremst introduserer den tegn-baserte skjemaet foreslått ekstra forretningslogikk som kan favorisere leverandøren over forbrukeren:

‘[E]n leverandør som aldri misrapporterer, har en klar incitament til å generere den korteste mulige utdatatoken-sekvensen, og forbedre nåværende tokeniseralgoritmer som BPE, så de komprimerer utdatatoken-sekvensen så mye som mulig’

Det optimistiske motivet her er at leverandøren dermed oppmuntres til å produsere konsise og mer meningsfulle og verdifulle utdata. I praksis er det åpenbart mindre dydige måter for en leverandør å redusere tekstantall på.

For det andre, er det rimelig å anta, påpeker forfatterne, at selskaper sannsynligvis ville trenge lovgivning for å gå over fra det arkaiske tokensystemet til en klarere, tekst-basert faktureringsmetode. Lenger ned linjen, kan en opprørsk startup vel beslutte å differensiere sitt produkt ved å lansere det med denne type prismodell; men hvem som helst med et virkelig konkurranseutsatt produkt (og opererer på en lavere skala enn EEE-kategori) er desentralisert til å gjøre dette.

Til slutt, ville larcenøse algoritmer som forfatterne foreslår, komme med sin egen beregningskost; hvis utgiftene med å beregne en ‘overfakturering’ oversteg den potensielle gevinstfordelen, ville skjemaet åpenbart ikke ha noen verdi. Likevel understreker forskerne at deres foreslåtte algoritme er effektiv og økonomisk.

Forskerne gir koden for sine teorier på GitHub.

Skiftet

Den andre artikkelen – med tittel Usynlige tokens, synlige regninger: Det presserende behovet for å granske skjulte operasjoner i uklare LLM-tjenester, fra forskere ved University of Maryland og Berkeley – argumenterer for at misjusterte incitamenter i kommersielle språkmodell-APIer ikke er begrenset til token-splitting, men utvides til hele klasser av skjulte operasjoner.

Disse inkluderer interne modellkall, spekulativ resonning, verktøybruk og multi-agent-interaksjoner – alle som kan faktureres til brukeren uten synlighet eller mulighet til å klage.

Prising og gjennomsiktighet for resonning LLM-APIer over store leverandører. Alle nevnte tjenester fakturerer brukerne for skjulte interne resoneringstokens, og ingen gjør disse tokenene synlige på kjørings tid. Kostnadene varierer betydelig, med OpenAI sin o1-pro-modell som fakturerer ti ganger mer per million tokens enn Claude Opus 4 eller Gemini 2.5 Pro, til tross for lik uklarhet. Kilde: https://www.arxiv.org/pdf/2505.18471

I motsetning til konvensjonell fakturering, hvor mengden og kvaliteten på tjenestene er verifiserbare, hevder forfatterne at dagens LLM-plattformer opererer under strukturell uklarhet: brukerne faktureres basert på rapportert token- og API-bruk, men har ingen måte å bekrefte at disse målene reflekterer virkelig eller nødvendig arbeid.

Artikkelen identifiserer to nøkkelformer for manipulering: mengdeinflasjon, hvor antallet tokens eller kall økes uten brukerfordel; og kvalitetsnedgradering, hvor lavere-performende modeller eller verktøy brukes i stedet for premium-komponenter:

‘I resonning LLM-APIer, vedlikeholder leverandørene ofte flere varianter av samme modellfamilie, som skiller seg i kapasitet, treningdata eller optimeringsstrategi (f.eks. ChatGPT o1, o3). Modellnedgradering refererer til den stille erstattningen av lavere-kostnadsmodeller, som kan innføre misforhold mellom forventet og faktisk tjenestekvalitet.

‘For eksempel, kan et spørsmål prosesseres av en mindre modell, mens fakturering forblir uendret. Denne praksisen er vanskelig for brukerne å oppdage, siden sluttsvaret likevel kan fremstå som plausibelt for mange oppgaver.’

Artikkelen dokumenterer tilfeller hvor over 90 prosent av fakturerte tokens aldri ble vist til brukerne, med intern resonning som økte token-bruk med en faktor større enn tyve. Rettfertig eller ikke, uklarheten i disse stegene nektar brukerne enhver grunn til å vurdere deres relevans eller legitimitet.

I agente systemer øker uklarheten, siden interne utvekslinger mellom AI-agenter kan hver innebære gebyr uten å påvirke sluttsvaret målbart:

‘Forbi intern resonning, kommuniserer agenter ved å utveksle spørsmål, sammenfatninger og planleggingsinstruksjoner. Hver agent både tolker innputt fra andre og genererer utdata for å lede arbeidsflyten. Disse inter-agent-meldingene kan forbruke betydelige tokens, som ofte ikke vises direkte til sluttbrukerne.

‘Alle tokens forbrukt under agentkoordinering, inkludert genererte spørsmål, svar og verktøy-relaterte instruksjoner, vises vanligvis ikke til brukeren. Når agentene selv bruker resonningsmodeller, blir faktureringen enda mer uklar’

For å møte disse problemene, foreslår forfatterne en lagdelt revisjonsramme som inkluderer kryptografiske bevis for intern aktivitet, verifiserbare markører for modell- eller verktøy-identitet, og uavhengig tilsyn. Den underliggende bekymringen er likevel strukturell: nåværende LLM-faktureringsordninger avhenger av en varig asymmetri av informasjon, og etterlater brukerne åpent for kostnader som de ikke kan verifisere eller bryte ned.

Telling av det usynlige

Den siste artikkelen, fra forskere ved University of Maryland, omdefinierer faktureringsproblemet ikke som et spørsmål om misbruk eller misrapportering, men om struktur. Artikkelen – med tittel CoIn: Telling av det usynlige resoneringstokens i kommersielle uklare LLM-APIer, og fra ti forskere ved University of Maryland – observerer at de fleste kommersielle LLM-tjenestene nå skjuler intermediær resonning som bidrar til modellens sluttsvar, men likevel fakturerer for disse tokenene.

Artikkelen hevder at dette skaper en ubserbar faktureringsflate hvor hele sekvenser kan fabrikkeres, injiseres eller infleres uten oppdagelse:

‘[Dette] usynligheten tillater leverandørene å misrapportere token-telling eller injicere lavkostnads, fabrikkerte resoneringstokens for å kunstig øke token-telling. Vi refererer til denne praksisen som token-telling-inflasjon.

‘For eksempel, kan en enkelt høyeffektiv ARC-AGI-kjøring av OpenAI sin o3-modell forbruke 111 millioner tokens, kostende 66 772,3 dollar. Gitt denne skalaen, kan selv små manipulasjoner føre til betydelige finansielle konsekvenser.

‘Slike informasjonsasymmetri tillater AI-selskaper å overfakturere brukerne betydelig, og underminerer deres interesser.’

For å motvirke denne asymmetrien, foreslår forfatterne CoIn, et tredjeparts-revisjonssystem designet for å verifisere skjulte tokens uten å avsløre deres innhold, og som bruker hashede fingeravtrykk og semantiske sjekker for å oppdage tegn på inflasjon.

Oversikt over CoIn-revisjonssystemet for uklare kommersielle LLM-er. Panel A viser hvordan resoneringstoken-embeddings hasheres inn i en Merkle-tre for token-telling-verifisering uten å avsløre token-innhold. Panel B illustrerer semantiske gyldighets sjekker, hvor lette neurale nettverk sammenligner resonering-blokker med sluttsvaret. Kilde: https://arxiv.org/pdf/2505.13778

En komponent verifiserer token-telling kryptografisk ved å bruke en Merkle-tre; den andre vurderer relevansen av det skjulte innholdet ved å sammenligne det med sluttsvaret. Dette tillater revisorer å oppdage padding eller irrelevans – tegn på at tokens er injiseres bare for å øke regningen.

Når det ble deployert i tester, oppnådde CoIn en oppdagelsessuksessrate på nesten 95 prosent for noen former for inflasjon, med minimal eksponering av underliggende data. Selv om systemet fortsatt avhenger av frivillig samarbeid fra leverandørene, og har begrensede løsninger i randtilfeller, er dens bredere poeng ufeilbarlig: den very arkitekturen i nåværende LLM-fakturering antar en ærlighet som ikke kan verifiseres.

Konklusjon

Foruten fordelen med å få forhåndsbetaling fra brukerne, hjelper et skript-basert valuta (som “buzz”-systemet hos CivitAI) med å abstrahere brukerne vekk fra den virkelige verdien av valutaen de bruker, eller varen de kjøper. Liksom å gi en leverandør mulighet til å definere sine egne måleenheter etterlater forbrukeren i mørket om hva de faktisk betaler, i virkelige penger.

Like som mangelen på klokker i Las Vegas, er slike tiltak ofte rettet mot å gjøre forbrukeren uansvarlig eller likegyldig til kostnader.

Det dårlig forståtte token, som kan forbrukes og defineres på så mange måter, er kanskje ikke en passende måleenhet for LLM-forbruk – ikke minst fordi det kan koste mange flere tokens å beregne et dårligere LLM-resultat på et ikke-engelsk språk, sammenlignet med en engelskbasert sesjon.

Imidlertid ville tegn-basert utdata, som foreslått av Max Planck-forskerne, sannsynligvis favorisere mer konsise språk og straffe naturleg verbose språk. Ettersom visuelle indikasjoner som en devaluert token-teller sannsynligvis ville gjøre oss litt mer sløse i våre LLM-sesjoner, ser det ut til at slike nyttige GUI-tillegg ikke kommer noen gang snart – i hvert fall ikke uten lovgivning.

* Forfatterens betoning. Min konvertering av forfatternes inline-citater til lenker.

Først publisert torsdag, 29. mai 2025