Nieuw onderzoek vraagt ‘token’-prijzen voor AI-gesprekken in twijfel

Nieuw onderzoek toont aan dat de manier waarop AI-diensten factureren op basis van tokens de werkelijke kosten voor gebruikers verhult. Aanbieders kunnen zonder dat gebruikers het merken stilletjes de tarieven verhogen door token-tellingen te manipuleren of verborgen stappen toe te voegen. Sommige systemen voeren extra processen uit die de uitvoer niet beïnvloeden, maar die toch op de rekening verschijnen. Er zijn audittools voorgesteld, maar zonder echte toezicht betalen gebruikers meer dan ze beseffen.

Bijna altijd betalen we als consumenten voor AI-geactiveerde chatinterfaces, zoals ChatGPT-4o, op basis van tokens: onzichtbare teksteenheden die tijdens het gebruik niet opvallen, maar die voor facturering precies worden geteld; en hoewel elke uitwisseling wordt geprijsd op basis van het aantal verwerkte tokens, heeft de gebruiker geen directe manier om de telling te verifiëren.

Ondanks ons (op zijn best) onvolledige begrip van wat we krijgen voor onze aangekochte ‘token’-eenheid, is token-gebaseerde facturering de standaardbenadering geworden bij aanbieders, steunend op een mogelijk precaire veronderstelling van vertrouwen.

Tokenwoorden

Een token is niet helemaal hetzelfde als een woord, hoewel het vaak een soortgelijke rol speelt, en de meeste aanbieders gebruiken de term ‘token’ om kleine teksteenheden te beschrijven, zoals woorden, leestekens of woordfragmenten. Het woord ‘ongelooflijk’, bijvoorbeeld, zou door het ene systeem als één token kunnen worden geteld, terwijl een ander systeem het zou kunnen splitsen in on, gel en ooflijk, waarbij elk deel de kosten verhoogt.

Dit systeem geldt zowel voor de tekst die een gebruiker invoert als voor het antwoord van het model, met de prijs gebaseerd op het totale aantal van deze eenheden.

De moeilijkheid ligt in het feit dat gebruikers dit proces niet kunnen zien. De meeste interfaces tonen geen token-tellingen tijdens een gesprek, en de manier waarop tokens worden berekend is moeilijk te reproduceren. Zelfs als een telling na een antwoord wordt getoond, is het te laat om te bepalen of het eerlijk was, waardoor een mismatch ontstaat tussen wat de gebruiker ziet en waarvoor hij betaalt.

Recent onderzoek wijst op diepere problemen: één studie toont aan hoe aanbieders zonder de regels te overtreden te veel kunnen factureren door token-tellingen op manieren te manipuleren die de gebruiker niet kan zien; een andere onthult de mismatch tussen wat interfaces tonen en wat daadwerkelijk in rekening wordt gebracht, waardoor gebruikers het idee van efficiëntie krijgen terwijl er mogelijk geen sprake van is; en een derde legt bloot hoe modellen routinematig interne redeneringsstappen genereren die nooit aan de gebruiker worden getoond, maar die toch op de factuur verschijnen.

De bevindingen schetsen een systeem dat lijkt precies, met exacte nummers die duidelijkheid suggereren, maar waarvan de onderliggende logica verborgen blijft. Of dit nu opzettelijk is of een structurele fout, het resultaat is hetzelfde: gebruikers betalen voor meer dan ze kunnen zien, en vaak meer dan ze verwachten.

Goedkoper per dozijn?

In de eerste van deze papers – getiteld Wordt uw LLM u te veel in rekening gebracht? Tokenisatie, transparantie en stimulansen, van vier onderzoekers aan het Max Planck Instituut voor Software Systemen – betogen de auteurs dat de risico’s van token-gebaseerde facturering verder gaan dan ondoorzichtigheid, en wijzen op een ingebouwde stimulans voor aanbieders om token-tellingen te manipuleren:

‘Het kernprobleem ligt in het feit dat de tokenisatie van een string niet uniek is. Neem bijvoorbeeld dat de gebruiker de prompt “Waar vindt de volgende NeurIPS plaats?” naar de aanbieder stuurt, de aanbieder deze invoert in een LLM, en het model de uitvoer “|San| Diego|” gegenereert, bestaande uit twee tokens.

‘Aangezien de gebruiker niet op de hoogte is van het generatieproces, heeft een self-serving aanbieder de capaciteit om de tokenisatie van de uitvoer naar de gebruiker te melden zonder de onderliggende string te veranderen. Bijvoorbeeld, de aanbieder zou de tokenisatie “|S|a|n| |D|i|e|g|o|” kunnen delen en de gebruiker voor negen tokens in rekening brengen in plaats van twee!’

Het artikel presenteert een heuristiek die in staat is om deze soort oneerlijke berekening uit te voeren zonder zichtbare uitvoer te veranderen, en zonder de plausibiliteit onder typische decodersettings te schenden. Getest op modellen van de LLaMA, Mistral en Gemma series, met echte prompts, bereikt de methode meetbare overfacturering zonder aan te komen als anomaal:

Token-inflatie met ‘plausibele misrapportage’. Elk paneel toont het percentage van overgefactureerde tokens als gevolg van de toepassing van Algoritme 1 op uitvoer van 400 LMSYS-prompts, onder verschillende steekproefparameters (m en p). Alle uitvoer werd gegenereerd bij een temperatuur van 1,3, met vijf herhalingen per instelling om 90% betrouwbaarheidsintervallen te berekenen. Bron: https://arxiv.org/pdf/2505.21627

Om het probleem aan te pakken, roepen de onderzoekers op tot facturering op basis van tekenaantal in plaats van tokens, en betogen dat dit de enige aanpak is die aanbieders een reden geeft om gebruik eerlijk te melden, en dat als het doel eerlijke prijzen zijn, dan is het koppelen van kosten aan zichtbare tekens, en niet aan verborgen processen, de enige optie die standhoudt.

Hier zijn echter een aantal extra overwegingen (in de meeste gevallen toegegeven door de auteurs). Ten eerste introduceert het karakter-gebaseerde schema dat wordt voorgesteld extra bedrijfslogica die de aanbieder boven de consument kan bevoordelen:

‘[E]en aanbieder die nooit misrapporteert, heeft een duidelijke stimulans om de kortst mogelijke uitvoer-tokensequentie te genereren en om de huidige tokenisatie-algoritmen zoals BPE te verbeteren, zodat ze de uitvoer-tokensequentie zo veel mogelijk comprimeren’

Het optimistische thema hier is dat de aanbieder zo wordt aangemoedigd om conciese en meer zinvolle en waardevolle uitvoer te produceren. In de praktijk zijn er echter minder deugdzame manieren voor een aanbieder om teksttellingen te verminderen.

Ten tweede is het redelijk om aan te nemen, stellen de auteurs, dat bedrijven waarschijnlijk wetgeving nodig zullen hebben om over te schakelen van het obscure token-systeem naar een duidelijker, tekst-gebaseerd factureringssysteem. Op lange termijn kan een opkomende startup besluiten om hun product te onderscheiden door het te lanceren met dit soort prijsmodel; maar iedereen met een echt concurrerend product (en opererend op een lagere schaal dan EEE-categorie) wordt ontmoedigd om dit te doen.

Ten slotte zouden dergelijke roofzuchtige algoritmen als die door de auteurs worden voorgesteld, hun eigen computationele kosten hebben; als de kosten van het berekenen van een ‘opwaartse aanpassing’ de potentiële winstvoordelen zouden overschrijden, zou het schema duidelijk geen waarde hebben. De onderzoekers benadrukken echter dat hun voorgestelde algoritme effectief en economisch is.

De auteurs bieden de code voor hun theorieën op GitHub.

De Wissel

Het tweede artikel – getiteld Onzichtbare tokens, zichtbare rekeningen: de dringende noodzaak om verborgen bewerkingen in ondoorzichtige LLM-diensten te auditen, van onderzoekers aan de Universiteit van Maryland en Berkeley – betoogt dat misgelijnde stimulansen in commerciële taalmodel-API’s niet beperkt zijn tot token-splitsing, maar zich uitstrekken tot hele klassen van verborgen bewerkingen.

Dit omvat interne modelaanroepen, speculatieve redenering, toolgebruik en multi-agentinteracties – allemaal zaken die aan de gebruiker in rekening kunnen worden gebracht zonder zichtbaarheid of mogelijkheid tot verhaal.

Prijzen en transparantie van redenerings-LLM-API’s bij grote aanbieders. Alle genoemde diensten brengen gebruikers in rekening voor verborgen interne redeneringstokens, en geen van hen maakt deze tokens zichtbaar tijdens de uitvoer. De kosten variëren aanzienlijk, met OpenAI’s o1-pro-model dat tien keer meer in rekening brengt per miljoen tokens dan Claude Opus 4 of Gemini 2.5 Pro, ondanks gelijke ondoorzichtigheid. Bron: https://www.arxiv.org/pdf/2505.18471

Anders dan conventionele facturering, waarbij de hoeveelheid en kwaliteit van diensten verifieerbaar zijn, beweren de auteurs dat de huidige LLM-platforms opereren onder structurele ondoorzichtigheid: gebruikers worden in rekening gebracht op basis van gerapporteerde token- en API-gebruik, maar hebben geen middelen om te verifiëren dat deze metrieken werkelijke of noodzakelijke werkzaamheden weerspiegelen.

Het artikel identificeert twee belangrijke vormen van manipulatie: kwantiteitsinflatie, waarbij het aantal tokens of aanroepen wordt verhoogd zonder voordeel voor de gebruiker; en kwaliteitsverlaging, waarbij minder presterende modellen of tools in stilte worden gebruikt in plaats van premiumcomponenten:

‘In redenerings-LLM-API’s onderhouden aanbieders vaak meerdere varianten van dezelfde modelreeks, die verschillen in capaciteit, trainingsdata of optimalisatiestrategie (bijv. ChatGPT o1, o3). Modelverlaging verwijst naar de stille vervanging van lagere kostenmodellen, die misalignement tussen verwachte en daadwerkelijke dienstkwaliteit kunnen introduceren.

‘Bijvoorbeeld, een prompt kan worden verwerkt door een kleiner model, terwijl de facturering ongewijzigd blijft. Deze praktijk is moeilijk voor gebruikers te detecteren, aangezien het eindantwoord nog steeds plausibel kan lijken voor veel taken.’

Het artikel documenteert gevallen waarin meer dan negentig procent van de gefactureerde tokens nooit aan gebruikers werden getoond, met interne redenering die token-gebruik met een factor groter dan twintig verhoogde. Gerechtvaardigd of niet, de ondoorzichtigheid van deze stappen ontzegt gebruikers elke basis voor het evalueren van hun relevantie of legitimiteit.

In agentische systemen neemt de ondoorzichtigheid toe, aangezien interne uitwisselingen tussen AI-agenten elk kosten in rekening kunnen brengen zonder de einduitvoer te beïnvloeden:

‘Beyond interne redenering communiceren agenten door prompts, samenvattingen en planningsinstructies uit te wisselen. Elke agent interpreteert zowel invoer van anderen als genereren van uitvoer om de workflow te leiden. Deze inter-agentberichten kunnen aanzienlijke tokens consumeren, die vaak niet direct zichtbaar zijn voor eindgebruikers.

‘Alle tokens die tijdens agentcoördinatie worden geconsumeerd, inclusief gegenereerde prompts, antwoorden en tool-gerelateerde instructies, worden typisch niet aan de gebruiker getoond. Wanneer de agenten zelf redeneringsmodellen gebruiken, wordt de facturering nog ondoorzichtiger’

Om deze problemen aan te pakken, stellen de auteurs een gelaagd auditkader voor, met cryptografische bewijzen van interne activiteit, verifieerbare markers van model- of toolidentiteit, en onafhankelijk toezicht. De onderliggende zorg is echter structureel: de huidige LLM-factureringsregelingen zijn afhankelijk van een persistente asymmetrie van informatie, waardoor gebruikers worden blootgesteld aan kosten die ze niet kunnen verifiëren of uiteenrafelen.

Het tellen van het onzichtbare

Het laatste artikel, van onderzoekers aan de Universiteit van Maryland, kaderen het factureringsprobleem niet als een kwestie van misbruik of misrapportage, maar van structuur. Het artikel – getiteld CoIn: Het tellen van onzichtbare redeneringstokens in commerciële ondoorzichtige LLM-API’s, en van tien onderzoekers aan de Universiteit van Maryland – stelt dat de meeste commerciële LLM-diensten nu de interne redenering verhullen die bijdraagt aan het eindantwoord van een model, maar noch deze tokens in rekening brengen.

Het artikel stelt dat dit een onwaarneembare factureringsoppervlakte creëert waarbij hele sequenties kunnen worden gefabriceerd, geïnjecteerd of opgeblazen zonder detectie:

‘[Dit] onzichtbaarheid laat aanbieders toe om token-tellingen te misrapporteren of lagekostentokens te injecteren om token-tellingen kunstmatig op te blazen. We noemen deze praktijk token-tellinginflatie.

‘Bijvoorbeeld, een enkele efficiënte ARC-AGI-run door OpenAI’s o3-model verbruikte 111 miljoen tokens, kostend $66.772,3 Gegeven deze schaal, kunnen zelfs kleine manipulaties aanzienlijke financiële gevolgen hebben.

‘Dergelijke informatiesymmetrie laat AI-bedrijven toe om gebruikers aanzienlijk te veel te factureren, waardoor hun belangen worden ondermijnd.’

Om deze asymmetrie te bestrijden, stellen de auteurs CoIn voor, een derdepartij-auditsysteem ontworpen om verborgen tokens te verifiëren zonder hun inhoud te onthullen, en dat gehashte vingerafdrukken en semantische controles gebruikt om tekenen van inflatie te detecteren.

Overzicht van het CoIn-auditsysteem voor ondoorzichtige commerciële LLM’s. Paneel A toont hoe redeneringstoken-embeddings worden gehasht in een Merkle-boom voor token-tellingverificatie zonder token-inhoud te onthullen. Paneel B illustreert semantische validiteitscontroles, waarbij lichte neurale netwerken redeneringsblokken vergelijken met het eindantwoord. Bron: https://arxiv.org/pdf/2505.13778

Een component verifieert token-tellingen cryptografisch met behulp van een Merkle-boom; de andere beoordeelt de relevantie van de verborgen inhoud door deze te vergelijken met het antwoord-embedding. Dit laat auditors toe om opvulling of irrelevantie te detecteren – tekenen dat tokens worden ingevoegd om de factuur op te blazen.

Toen het in tests werd ingezet, bereikte CoIn een detectiesuccespercentage van bijna 95% voor sommige vormen van inflatie, met minimale blootstelling van de onderliggende gegevens. Hoewel het systeem nog steeds afhankelijk is van vrijwillige medewerking van aanbieders en beperkte resolutie heeft in randgevallen, is het bredere punt onmiskenbaar: de architectuur van de huidige LLM-facturering gaat uit van een eerlijkheid die niet kan worden geverifieerd.

Conclusie

Behalve het voordeel van het verkrijgen van vooruitbetalingen van gebruikers, helpt een scrip-gebaseerd valutasysteem (zoals het ‘buzz’-systeem bij CivitAI) gebruikers te abstraheren van de werkelijke waarde van de valuta die ze uitgeven, of de commodity die ze kopen. Evenzo geeft het een aanbieder de vrijheid om zijn eigen eenheden van meting te definiëren, waardoor de consument nog verder in het ongewisse wordt gelaten over wat hij werkelijk uitgeeft, in termen van echt geld.

Net als het ontbreken van klokken in Las Vegas, zijn dergelijke maatregelen vaak gericht op het maken van de consument roekeloos of onverschillig voor de kosten.

Het weinig begrepen token, dat op zoveel manieren kan worden geconsumeerd en gedefinieerd, is misschien niet een geschikte eenheid van meting voor LLM-gebruik – niet in de laatste plaats omdat het veel meer tokens kan kosten om een slechter LLM-resultaat te berekenen in een niet-Engelse taal, in vergelijking met een Engelstalige sessie.

Hoewel karakter-gebaseerde uitvoer, zoals voorgesteld door de onderzoekers van het Max Planck-instituut, waarschijnlijk in het voordeel zou zijn van meer concise talen en zou bestraffen natuurlijk omvangrijke talen. Aangezien visuele indicaties zoals een deprecierende token-teller ons waarschijnlijk wat meer roekeloos zouden maken in onze LLM-sessies, lijkt het onwaarschijnlijk dat dergelijke nuttige GUI-toevoegingen binnenkort komen – althans niet zonder wetgevingsactie.

* Auteursbenadrukking. Mijn conversie van de auteurs’ inline-citaten naar hyperlinks.

voor het eerst gepubliceerd op donderdag 29 mei 2025