Nová výzkumná práce zpochybňuje „tokenové“ cenové modely pro AI chaty

Nová studie ukazuje, že způsob, jakým AI služby účtují za tokeny, skrývá skutečné náklady od uživatelů. Poskytovatelé mohou tiše zvyšovat poplatky tím, že upravují počty tokenů nebo vkládají skryté kroky. Některé systémy provádějí další procesy, které neovlivňují výstup, ale stále se objevují na fakturách. Byly navrženy auditorské nástroje, ale bez skutečného dohledu jsou uživatelé ponecháni platit více, než si uvědomují.

V téměř všech případech, co my jako spotřebitelé platíme za AI poháněné chatové rozhraní, jako je ChatGPT-4o, je目前 měřeno v tokenech: neviditelných jednotkách textu, které nejsou zřejmé během použití, ale jsou počítány s přesnou přesností pro účtování; a přestože každá výměna je ceněna podle počtu zpracovaných tokenů, uživatel nemá žádný přímý způsob, jak potvrdit počet.

Navzdory naší (nejlepší) nedokonalé znalosti toho, co dostaneme za naši zakoupenou ‘tokenovou’ jednotku, tokenový účet se stal standardním přístupem napříč poskytovateli, odpočívající na tom, co se může ukázat jako křehká domněnka důvěry.

Tokenová slova

Token není přesně totéž jako slovo, ačkoli často hraje podobnou roli, a většina poskytovatelů používá termín ‘token’ k popisu malých jednotek textu, jako jsou slova, interpunkční značky nebo fragmenty slov. Například slovo ‘nepochopitelné’ by mohlo být počítáno jako jeden token jedním systémem, zatímco jiný by jej rozdělil na ne, pochop a itelné, s každým kusem zvyšujícím cenu.

Tento systém se vztahuje na text, který uživatel vkládá, a na odpověď modelu, s cenou založenou na celkovém počtu těchto jednotek.

Obtíž spočívá v tom, že uživatelé nevidí tento proces. Většina rozhraní nezobrazuje počty tokenů během konverzace, a způsob, jakým jsou tokeny počítány, je obtížné reprodukovat. I když je počet zobrazen po odpovědi, je již příliš pozdě určit, zda byl spravedlivý, vytvářející nesoulad mezi tím, co uživatel vidí, a tím, za co platí.

Nová studie poukazuje na hlubší problémy: jedna studie ukazuje, jak poskytovatelé mohou přečerpávat bez porušení pravidel, jednoduše tím, že zvyšují počty tokenů způsoby, které uživatel nemůže vidět; další odhaluje nesoulad mezi tím, co rozhraní zobrazuje, a tím, co je skutečně účtováno, ponechávající uživatele s iluzí efektivity, kde může být žádná; a třetí odhaluje, jak modely rutinně generují vnitřní kroky rozumnění, které nejsou nikdy zobrazeny uživateli, ale stále se objevují na fakturách.

Zjištění zobrazují systém, který seems přesný, s přesnými čísly, které naznačují jasnost, ale jehož základní logika zůstává skrytá. Bez ohledu na to, zda je to úmyslné nebo strukturní slabina, výsledek je stejný: uživatelé platí více, než si uvědomují, a často více, než očekávají.

Lacinější při desítkách?

V první z těchto prací – nazvané Je Vaše LLM přeplatíte?, od čtyř výzkumníků z Max Planck Institute for Software Systems – autoři argumentují, že rizika tokenového účtování sahají beyond opacity, poukazují na vestavěnou motivaci pro poskytovatele, aby zvyšovali počty tokenů:

‘Jádro problému spočívá v tom, že tokenizace řetězce není jedinečná. Například, pokud uživatel odešle prompt “Kde se koná další NeurIPS?” poskytovateli, poskytovatel jej vloží do LLM, a model vygeneruje výstup “|San| Diego|” skládající se ze dvou tokenů.

‘Pоскольку uživatel je nevědomý o generativním procesu, poskytovatel má kapacitu misreportovat tokenizaci výstupu uživateli, aniž by změnil základní řetězec. Například poskytovatel by mohl sdílet tokenizaci “|S|a|n| |D|i|e|g|o|” a přeplatit uživatele za devět tokenů místo dvou!’

Práce představuje heuristiku, která je schopná provést tento druh neseriózního výpočtu bez změny viditelného výstupu, a bez porušení plausibility pod typickými dekódovacími nastaveními. Otestována na modelech z LLaMA, Mistral a Gemma série, pomocí skutečných promptů, metoda dosáhla měřitelného přeplatku bez anomálií:

Tokenová inflace pomocí ‘plausible misreporting’. Každá panel zobrazuje procento přeplatku tokenů v důsledku aplikace Algoritmu 1 na výstupy z 400 LMSYS promptů, pod různými vzorkovacími parametry (m a p). Všechny výstupy byly generovány při teplotě 1,3, s pěti opakováními pro nastavení pro výpočet 90% intervalů spolehlivosti. Source: https://arxiv.org/pdf/2505.21627

Pro řešení problému výzkumníci volají po účtování založeném na počtu znaků místo tokenů, argumentujíce, že tento přístup je jediný, který dává poskytovatelům důvod, aby hlásili použití upřímně, a tvrdí, že pokud je cílem spravedlivé cenění, pak vázání nákladů na viditelné znaky, ne na skryté procesy, je jediný přístup, který obstojí.

Zde existuje řada dalších úvah, nicméně (většinou uznávaných autory). Především, navrhovaný charakterový schéma zavádí další obchodní logiku, která může favorizovat prodejce nad spotřebitelem:

‘[A] poskytovatel, který nikdy nemisreportuje, má jasnou motivaci generovat nejkratší možný výstupní tokenový řetězec, a vylepšit současné tokenizační algoritmy, jako je BPE, aby co nejvíce komprimovaly výstupní tokenový řetězec’

Optimistický motiv zde je, že prodejce je tak povzbuzen produkovat stručné a smysluplné a cenné výstupy. V praxi existují samozřejmě méně ctnostné způsoby, jak prodejce může snížit textový počet.

Zadruhé, je rozumné předpokládat, autoři uvádějí, že společnosti by pravděpodobně vyžadovaly legislativní opatření, aby přešly z arcana tokenového systému na jasnější, textově založený účetní metodu. Později, insurgentní startup může rozhodnout se odlišit svůj produkt spuštěním s tímto druhem cenového modelu; ale kdokoli s skutečně konkurenceschopným produktem (a fungujícím na nižší úrovni než EEE kategorie) je odrazován od toho, aby to udělal.

Posledně, larcenous algoritmy, jako ty, které autoři navrhují, by přišly se svými vlastními výpočetními náklady; pokud by výdaje na výpočet „přeplatku“ přesáhly potenciální výhody, schéma by jasně nemělo žádný význam. Nicméně výzkumníci zdůrazňují, že jejich navrhovaný algoritmus je efektivní a ekonomický.

Autoři poskytují kód pro své teorie na GitHubu.

Přepínač

Druhá práce – nazvaná Neviditelné tokeny, viditelné faktury: Urgentní potřeba auditovat skryté operace v neprůhledných LLM službách, od výzkumníků z University of Maryland a Berkeley – argumentuje, že nesouladné motivace v komerčních jazykových modelech API nejsou omezeny na tokenové rozdělování, ale sahají do celých tříd skrytých operací.

Tyto zahrnují vnitřní modelové volání, spekulativní rozumnění, nástrojové použití a multiagentní interakce – všechny, které mohou být účtovány uživateli bez viditelnosti nebo možnosti odvolání.

Cenění a transparentnost rozumnění LLM API napříč hlavními poskytovateli. Všechny uvedené služby účtují uživatelům za skryté vnitřní tokeny rozumnění, a žádné z nich nezobrazují tyto tokeny viditelně během běhu. Náklady se výrazně liší, s modelem OpenAI o1-pro, který účtuje desetkrát více za milion tokenů než Claude Opus 4 nebo Gemini 2.5 Pro, navzdory stejné neprůhlednosti. Source: https://www.arxiv.org/pdf/2505.18471

Na rozdíl od konvenčního účtování, kde množství a kvalita služeb jsou ověřitelné, autoři argumentují, že dnešní LLM platformy fungují pod strukturní neprůhledností: uživatelé jsou účtováni na základě hlášených tokenů a API použití, ale nemají žádný prostředek, jak potvrdit, že tyto metriky odrážejí skutečnou nebo nezbytnou práci.

Práce identifikuje dvě hlavní formy manipulace: množstevní inflace, kde je počet tokenů nebo volání zvýšen bez uživatelského benefitu; a kvalitativní degradace, kde jsou nižší výkonnostní modely nebo nástroje tiše používány místo prémiových komponent:

‘V rozumnění LLM API poskytovatelé často udržují multiple varianty stejné modelové rodiny, lišící se v kapacitě, trénovacích datech nebo optimalizační strategii (například ChatGPT o1, o3). Modelová degradace se týká tišeho nahrazení nižších nákladů modely, které mohou zavést nesoulad mezi očekávanou a skutečnou kvalitou služby.

‘Například prompt může být zpracován menším modelem, zatímco účtování zůstává nezměněné. Tato praxe je obtížně detekovatelná pro uživatele, protože konečná odpověď může stále vypadat jako přijatelná pro mnoho úkolů.’

Práce dokumentuje případy, kdy více než devadesát procent účtovaných tokenů nebylo nikdy zobrazeno uživatelům, s vnitřním rozumněním, které zvyšuje tokenové použití o faktor větší než dvacet. Osvědčené nebo ne, neprůhlednost těchto kroků uživatelům odepírá jakékoli základě pro hodnocení jejich relevance nebo legitimity.

V agenticích systémech se neprůhlednost zvyšuje, protože vnitřní výměny mezi AI agenty mohou každá inkasovat poplatky bez významného dopadu na konečný výstup:

‘Mimo vnitřní rozumnění agenty komunikují výměnou promptů, souhrnů a plánovacích instrukcí. Každý agent interpretuje vstupy od ostatních a generuje výstupy pro řízení pracovního postupu. Tyto mezagentní zprávy mohou spotřebovat podstatné tokeny, které jsou často neviditelné pro koncové uživatele.

‘Všechny tokeny spotřebované během agentní koordinace, včetně generovaných promptů, odpovědí a nástrojových instrukcí, jsou obvykle neviditelné pro uživatele. Když agenty samy používají modely rozumnění, účtování se stává ještě více neprůhledným’

Pro řešení těchto problémů autoři navrhují vrstvený auditorský rámec zahrnující kryptografické důkazy vnitřní aktivity, ověřitelné značky modelu nebo nástrojové identity a nezávislý dohled. Základní obava je však strukturní: současné LLM účetní schéma závisí na trvalé asymetrii informací, ponechávající uživatele vystavené nákladům, které nemohou ověřit nebo rozdělit.

Číslování neviditelného

Konečná práce, od výzkumníků z University of Maryland, reformuluje problém účtování ne jako otázku zneužití nebo misreportingu, ale jako otázku struktury. Práce – nazvaná CoIn: Číslování neviditelných tokenů rozumnění v komerčních neprůhledných LLM API, od deseti výzkumníků z University of Maryland – pozoruje, že většina komerčních LLM služeb nyní skrývá mezirozumnění, které přispívá k modelově konečné odpovědi, ale stále účtuje za tyto tokeny.

Práce tvrdí, že toto vytváří neviditelnou fakturační plochu, kde celé sekvence mohou být fabrikovány, injektovány nebo inflaceny bez detekce:

‘[Toto] neviditelnost umožňuje poskytovatelům misreportovat tokenové počty nebo vkládat nízkonákladové, fabrikované tokeny rozumnění, aby uměle inflacovaly tokenové počty. Označujeme tuto praxi jako tokenový počet inflace.

‘Například jeden běh ARC-AGI s modelem OpenAI o3 spotřeboval 111 milionů tokenů, stál 66 772,3 dolarů. Při této škále by i malé manipulace mohly vést k podstatnému finančnímu dopadu.

‘Tato informační asymetrie umožňuje AI společnostem podstatně přeplatit uživatele, a tím podrývat jejich zájmy.’

Pro řešení této asymetrie autoři navrhují CoIn, třetí stranu auditorského systému, navrženého pro ověření skrytých tokenů bez odhalení jejich obsahu, a který používá hashované otisky a sémantické kontroly pro detekci známek inflace.

Přehled auditorského systému CoIn pro neprůhledné komerční LLM. Panel A ukazuje, jak jsou tokenové vložky hashovány do Merkle stromu pro ověření tokenového počtu bez odhalení tokenového obsahu. Panel B ilustruje sémantické kontroly validity, kde lehké neuronové sítě porovnávají bloky rozumnění s konečnou odpovědí. Source: https://arxiv.org/pdf/2505.13778

Jedna komponenta ověřuje tokenové počty kryptograficky pomocí Merkle stromu; druhá hodnotí relevanci skrytého obsahu porovnáním s odpovědí. To umožňuje auditorům detekovat padding nebo irelevantnost – známky toho, že tokeny jsou vkládány pouze pro zvýšení faktury.

Když byl nasazen v testech, CoIn dosáhl detekční úspěšnosti téměř 95 % pro některé formy inflace, s minimální expozicí základních dat. Ačkoli systém stále závisí na dobrovolné spolupráci poskytovatelů a má omezenou rozlišení v okrajových případech, jeho širší bod je nezaměnitelný: samotná architektura současného LLM účtování předpokládá čestnost, která nemůže být ověřena.

Závěr

Kromě výhod získání předplatného od uživatelů, scrip-založená měna (jako „buzz“ systém na CivitAI) pomáhá abstrahovat uživatele od skutečné hodnoty měny, kterou utrácejí, nebo komodity, kterou kupují. Podobně, poskytování prodejci volnosti definovat své vlastní jednotky měření dále zanechává spotřebitele ve tmě o tom, co skutečně utrácejí, v reálných penězích.

Jako nedostatek hodin v Las Vegas, opatření tohoto druhu jsou často zaměřena na to, aby spotřebitelé byli bezstarostní nebo lhostejní k nákladům.

Skoro nepochopitelný token, který může být spotřebován a definován mnoha způsoby, možná není vhodnou měrnou jednotkou pro LLM spotřebu – nejméně proto, že může stát mnoho tokenů více k výpočtu horšího LLM výsledku v neanglickém jazyce, ve srovnání s anglickou relací.

Avšak charakterový výstup, jak navrhují výzkumníci z Max Planck, by pravděpodobně favorizoval více souhrnné jazyky a penalizoval přirozeně verbose jazyky. Protože vizuální indikace, jako deprecující tokenový čítač, by pravděpodobně učinily nás trochu více bezstarostnými ve našich LLM relacích, zdá se nepravděpodobné, že takové užitečné GUI doplňky budou brzy k dispozici – alespoň ne bez legislativního opatření.

* Autoři zdůrazňují. Moje konverze autorů inline citací na hypertextové odkazy.

První zveřejnění čtvrtek, 29. května 2025