Ny forskning ifrågasätter “token”-prissättning för AI-samtal

Ny forskning visar att sättet som AI-tjänster fakturerar med hjälp av token döljer den verkliga kostnaden för användarna. Leverantörer kan tyst inflatora avgifter genom att manipulera token-räkningen eller införa dolda steg. Vissa system kör extra processer som inte påverkar utdata men ändå visas på fakturan. Revisionsverktyg har föreslagits, men utan verklig tillsyn är användarna kvar med att betala för mer än de förstår.

I nästan alla fall är det som vi som konsumenter betalar för AI-drivna chatsystem, såsom ChatGPT-4o, mäts för närvarande i token: osynliga textenheter som inte märks under användning, men räknas med exakt precision för faktureringsändamål; och även om varje utbyte prissätts efter antalet bearbetade token, har användaren ingen direkt möjlighet att bekräfta räkningen.

Trots vår (i bästa fall) ofullständiga förståelse av vad vi får för vår inköpta “token”-enhet, har token-baserad fakturering blivit den standardiserade metoden hos leverantörer, vilket vilar på vad som kan visa sig vara en skör tilltro till förtroende.

Tokenord

En token är inte riktigt samma sak som ett ord, även om den ofta spelar en liknande roll, och de flesta leverantörer använder termen “token” för att beskriva små textenheter såsom ord, punktuationsmarkeringar eller ordfragment. Ordet ‘otroligt’, till exempel, kan räknas som en enda token av ett system, medan ett annat system kan dela upp det i o, tro och ligt, med varje del som ökar kostnaden.

Denna systematik gäller för både den text som en användare matar in och modellens svar, med priset baserat på det totala antalet dessa enheter.

Svårigheten ligger i det faktum att användare inte får se denna process. De flesta gränssnitt visar inte token-räkningen medan ett samtal pågår, och sättet som token beräknas är svårt att reproducera. Även om en räkning visas efter ett svar, är det för sent att avgöra om den var rättvis, vilket skapar en diskrepans mellan vad användaren ser och vad de betalar för.

Senaste forskningen pekar på djupare problem: en studie visar hur leverantörer kan överdebitera utan att bryta mot reglerna, genom att inflatora token-räkningen på sätt som användaren inte kan se; en annan avslöjar diskrepansen mellan vad gränssnitten visar och vad som faktiskt faktureras, vilket lämnar användarna med illusionen av effektivitet där det kanske inte finns någon; och en tredje avslöjar hur modeller rutinmässigt genererar interna resonemangssteg som aldrig visas för användaren, men ändå visas på fakturan.

Fynden beskriver ett system som verkar exakt, med exakta siffror som antyder tydlighet, men vars underliggande logik förblir dold. Oavsett om detta är avsiktligt eller en strukturell brist, är resultatet detsamma: användare betalar för mer än de kan se, och ofta mer än de förväntar sig.

Billigare per dussin?

I den första av dessa artiklar – med titeln Är din LLM överdebiterande dig? Tokenisering, transparens och incitament, från fyra forskare vid Max Planck-institutet för programvarusystem – hävdar författarna att riskerna med token-baserad fakturering sträcker sig bortom opacitet, och pekar på en inbyggd incitament för leverantörer att inflatora token-räkningen:

‘Kärnan i problemet ligger i det faktum att tokeniseringen av en sträng inte är unik. Till exempel, om användaren skickar in prompten “Var kommer nästa NeurIPS att äga rum?” till leverantören, och modellen genererar utdatat “|San| Diego|” bestående av två token.

‘Eftersom användaren är omedveten om genereringsprocessen, har en självisk leverantör möjligheten att felrapportera tokeniseringen av utdatat till användaren utan att ens ändra på den underliggande strängen. Till exempel, leverantören kunde enkelt dela tokeniseringen “|S|a|n| |D|i|e|g|o|” och överdebitera användaren för nio token istället för två!’

Artikeln presenterar en heuristik som kan utföra denna sorts oärlig beräkning utan att ändra synligt utdata, och utan att bryta mot rimlighet under typiska avkodningsinställningar. Testad på modeller från LLaMA, Mistral och Gemma-serien, med verkliga promptrar, uppnår metoden mätbara överdebiteringar utan att verka onormala:

Tokeninflation med ‘plausibel felrapportering’. Varje panel visar procentandelen överdebiterade token som resultat av att en leverantör tillämpar Algoritm 1 på utdata från 400 LMSYS-promptar, under varierande sampelparametrar (m och p). Alla utdata genererades vid temperatur 1,3, med fem repetitioner per inställning för att beräkna 90% konfidensintervall. Källa: https://arxiv.org/pdf/2505.21627

För att åtgärda problemet förespråkar forskarna fakturering baserad på teckenräkning snarare än token, och hävdar att detta är den enda metoden som ger leverantörerna en anledning att rapportera användning ärligt, och hävdar att om målet är rättvis prissättning, så är det enda alternativet som står sig för granskning. Karaktär-baserad prissättning, hävdar de, skulle ta bort motivet att felrapportera samtidigt som den belönar kortare, effektivare utdata.

Här finns det ett antal extra överväganden, dock (i de flesta fall medgivna av författarna). Först och främst introducerar det föreslagna karaktär-baserade systemet ytterligare affärslogik som kan gynna leverantören över konsumenten:

‘[E]n leverantör som aldrig felrapporterar har en tydlig incitament att generera den kortaste möjliga utdata-token-sekvensen, och förbättra nuvarande tokeniseringsalgoritmer såsom BPE, så att de komprimerar utdata-token-sekvensen så mycket som möjligt’

Det optimistiska motivet här är att leverantören därmed uppmuntras att producera koncisa och mer meningsfulla och värdefulla utdata. I praktiken finns det uppenbarligen mindre dygdemässiga sätt för en leverantör att minska text-räkningen.

Andra, är det rimligt att anta, hävdar författarna, att företag sannolikt kommer att kräva lagstiftning för att gå från det arkaiska token-systemet till en tydligare, text-baserad faktureringsmetod. Längre fram kan en insurgent startup besluta sig för att differentiera sin produkt genom att lansera den med denna typ av prissättningsmodell; men vem som helst med en verkligt konkurrenskraftig produkt (och som opererar på en lägre skala än EEE-kategorin) är ovillig att göra detta.

Slutligen, larcenösa algoritmer som de föreslagna kommer med sin egen beräkningskostnad; om kostnaden för att beräkna en “överdebitering” översteg den potentiella vinsten, skulle schemat uppenbarligen sakna allt värde. Men forskarna betonar att deras föreslagna algoritm är effektiv och ekonomisk.

Författarna tillhandahåller koden för sina teorier på GitHub.

Bytet

Den andra artikeln – med titeln Osynliga token, synliga fakturor: Den brådskande behovet av att granska dolda operationer i opaka LLM-tjänster, från forskare vid University of Maryland och Berkeley – hävdar att feljusterade incitament i kommersiella språkmodell-API:er inte är begränsade till token-delning, utan sträcker sig till hela klasser av dolda operationer.

Detta inkluderar interna modellanrop, spekulativt resonemang, verktygsanvändning och multi-agent-interaktioner – alla som kan faktureras till användaren utan synlighet eller möjlighet till överklagande.

Prissättning och transparens för resonemang LLM API:er hos stora leverantörer. Alla listade tjänster debiterar användare för dolda interna resonemangstoken, och ingen av dem gör dessa token synliga vid körning. Kostnaderna varierar avsevärt, med OpenAI:s o1-pro-modell som debiterar tio gånger mer per miljon token än Claude Opus 4 eller Gemini 2.5 Pro, trots lika opacitet. Källa: https://www.arxiv.org/pdf/2505.18471

Utan liknande fakturering, där mängden och kvaliteten på tjänsterna är verifierbara, hävdar författarna att dagens LLM-plattformar opererar under strukturell opacitet: användare debiteras baserat på rapporterad token- och API-användning, men har inget sätt att bekräfta att dessa mått reflekterar verkligt eller nödvändigt arbete.

Artikeln identifierar två nyckelformer av manipulation: mängd-inflation, där antalet token eller anrop ökas utan användarvinning; och kvalitetsnedgradering, där lägre presterande modeller eller verktyg används i stället för premiumkomponenter:

‘I resonemang LLM API:er underhåller leverantörer ofta flera varianter av samma modellfamilj, som skiljer sig åt i kapacitet, träningsdata eller optimeringsstrategi (t.ex. ChatGPT o1, o3). Modellnedgradering refererar till den tysta substitutionen av lägre kostnadsmodeller, som kan introducera en diskrepans mellan förväntad och faktisk tjänstekvalitet.

‘Till exempel kan en prompt bearbetas av en mindre modell, medan fakturering förblir oförändrad. Denna praxis är svår för användare att upptäcka, eftersom det slutliga svaret fortfarande kan verka rimligt för många uppgifter.’

Artikeln dokumenterar fall där mer än nittio procent av de debiterade token aldrig visades för användarna, med intern resonemang som ökade token-användningen med en faktor större än tjugo. Berättigat eller inte, opaciteten i dessa steg förvägrar användarna varje grund för att utvärdera deras relevans eller legitimitet.

I agenter-system ökar opaciteten, eftersom interna utbyten mellan AI-agenter kan medföra avgifter utan att påverka det slutliga utdatat:

‘Bortom internt resonemang kommunicerar agenter genom att utbyta promptrar, sammanfattningar och planeringsinstruktioner. Varje agent tolkar både indata från andra och genererar utdata för att styra arbetsflödet. Dessa inter-agent-meddelanden kan konsumera betydande token, som ofta inte visas för slutanvändaren.

‘Alla token som konsumeras under agentkoordination, inklusive genererade promptrar, svar och verktygsrelaterade instruktioner, visas vanligtvis inte för användaren. När agenterna själva använder resonemangsmodeller blir faktureringen ännu mer opac.

För att hantera dessa problem föreslår författarna ett skiktat granskningsramverk som involverar kryptografiska bevis för intern aktivitet, verifierbara markörer för modell- eller verktygsidentitet och oberoende tillsyn. Den underliggande oron är dock strukturell: nuvarande LLM-faktureringsmodeller beror på en bestående asymmetri i information, vilket lämnar användarna utsatta för kostnader som de inte kan verifiera eller bryta ned.

Att räkna de osynliga

Den sista artikeln, från forskare vid University of Maryland, omformulerar faktureringsproblemet inte som en fråga om missbruk eller felrapportering, utan som en fråga om struktur. Artikeln – med titeln CoIn: Att räkna de osynliga resonemangstoken i kommersiella opaka LLM-API:er, och från tio forskare vid University of Maryland – observerar att de flesta kommersiella LLM-tjänster nu döljer intermediärt resonemang som bidrar till modellens slutliga svar, men fortfarande debiterar för dessa token.

Artikeln hävdar att detta skapar en icke-iakttagbar faktureringsyta där hela sekvenser kan fabriceras, injiceras eller inflatoras utan upptäckt*:

‘[Detta] osynlighet tillåter leverantörer att felrapportera token-räkning eller injicera lågkostnads, fabricerade resonemangstoken för att artificiellt inflatora token-räkning. Vi refererar till denna praxis som token-räkning-inflation.

‘Till exempel, en enda högeffektiv ARC-AGI-körning av OpenAI:s o3-modell konsumerade 111 miljoner token, kostade $66,772.3 Givet denna skala, kan även små manipulationer leda till betydande ekonomisk påverkan.

‘Sådan informationsasymmetri tillåter AI-företag att signifikant överdebitera användare, vilket undergräver deras intressen.’

För att motverka denna asymmetri föreslår författarna CoIn, ett tredjepartsgranskningsystem designat för att verifiera dolda token utan att avslöja deras innehåll, och som använder hashade fingeravtryck och semantiska kontroller för att upptäcka tecken på inflation.

Översikt av CoIn-granskningsystemet för opaka kommersiella LLM:er. Panel A visar hur resonemangstoken-inbäddningar hashas till en Merkle-träd för token-räkning-verifiering utan att avslöja token-innehåll. Panel B illustrerar semantiska giltighetskontroller, där lätta neuronnätverk jämför resonemangsblock med det slutliga svaret. Källa: https://arxiv.org/pdf/2505.13778

En komponent verifierar token-räkningen kryptografiskt med hjälp av en Merkle-träd; den andra bedömer relevansen av det dolda innehållet genom att jämföra det med svaret. Detta tillåter granskare att upptäcka padding eller irrelevans – tecken på att token införs enbart för att höja fakturan.

När det distribuerades i tester uppnådde CoIn en upptäcktsfrekvens på nästan 95% för vissa former av inflation, med minimal exponering av underliggande data. Även om systemet fortfarande beror på frivillig samverkan från leverantörer och har begränsad upplösning i gränsfall, är dess breda poäng obestridlig: den grundläggande arkitekturen i nuvarande LLM-fakturering förutsätter en ärlighet som inte kan verifieras.

Slutsats

Förutom fördelen med att få förskottsbetalning från användare, hjälper ett skript-baserat valuta (såsom “buzz”-systemet på CivitAI) användare att abstrahera sig från det verkliga värdet på valutan de använder, eller varan de köper. Likaså, att ge en leverantör möjlighet att definiera sina egna enheter för mätning lämnar konsumenten i mörkret om vad de faktiskt betalar, i termer av riktiga pengar.

Liksom bristen på klockor i Las Vegas, är åtgärder av detta slag ofta avsedda att göra konsumenten vårdslös eller likgiltig för kostnaden.

Det knappt förstådda token, som kan konsumeras och definieras på så många sätt, är kanske inte en lämplig enhet för mätning av LLM-förbrukning – inte minst för att det kan kosta många fler token för att beräkna ett sämre LLM-resultat på ett icke-engelskt språk, jämfört med en engelsk-baserad session.

Men karaktär-baserad utdata, som föreslagits av Max Planck-forskarna, skulle troligen gynna mer koncisa språk och bestraffa naturligt utsvävliga språk. Eftersom visuella indikationer som en avskrivande token-räknare förmodligen skulle göra oss lite mer slösaktiga i våra LLM-sessioner, verkar det osannolikt att sådana användbara GUI-tillägg kommer att dyka upp snart – åtminstone inte utan lagstiftningsåtgärder.

* Författarnas betoning. Min omvandling av författarnas inline-citat till hyperlänkar.

Publicerad första gången torsdagen den 29 maj 2025