Noi cercetări științifice pun sub semnul întrebării prețurile “pe token” pentru conversațiile cu IA

Noile cercetări arată că modul în care serviciile de IA facturează pe baza de tokeni ascunde costul real de la utilizatori. Furnizorii pot majora în mod clandestin taxele prin inflarea numărului de tokeni sau prin introducerea de pași ascunși. Unele sisteme rulează procese suplimentare care nu afectează ieșirea, dar care totuși apar pe factura. Unelte de auditare au fost propuse, dar fără o supraveghere reală, utilizatorii sunt lăsați să plătească mai mult decât realizează.

În aproape toate cazurile, ceea ce plătim noi, ca consumatori, pentru interfețele de chat cu IA, cum ar fi ChatGPT-4o, este măsurat în tokeni: unități invizibile de text care nu sunt observate în timpul utilizării, dar care sunt numărate cu precizie pentru scopuri de facturare; și deși fiecare schimb este prețuit în funcție de numărul de tokeni procesați, utilizatorul nu are nicio modalitate directă de a confirma numărătoarea.

În ciuda înțelegerii noastre (cel mai bun, imperfecte) a ceea ce obținem pentru unitatea noastră “token” cumpărată, facturarea bazată pe tokeni a devenit abordarea standard în rândul furnizorilor, bazându-se pe ceea ce se poate dovedi a fi o ipoteză precară de încredere.

Cuvinte token

Un token nu este exact același lucru cu un cuvânt, deși joacă adesea un rol similar, și majoritatea furnizorilor folosesc termenul “token” pentru a descrie unități mici de text, cum ar fi cuvinte, semne de punctuație sau fragmente de cuvinte. De exemplu, cuvântul “de necrezut” ar putea fi numărat ca un singur token de un sistem, în timp ce altul ar putea împărți cuvântul în “de”, “ne” și “crezut”, cu fiecare fragment crescând costul.

Acest sistem se aplică atât textului introdus de utilizator, cât și răspunsului modelului, prețul fiind bazat pe numărul total de unități.

Dificultatea constă în faptul că utilizatorii nu pot vedea acest proces. Majoritatea interfețelor nu arată numărătoarea de tokeni în timpul conversației, iar modul în care tokenii sunt calculați este greu de reprodus. Chiar dacă o numărătoare este afișată după un răspuns, este prea târziu pentru a determina dacă a fost corect, creând o discrepanță între ceea ce vede utilizatorul și ceea ce plătește.

Cercetările recente arată probleme mai profunde: o studiu arată cum furnizorii pot suprafactura fără a încălca regulile, pur și simplu prin inflarea numărului de tokeni în moduri pe care utilizatorul nu le poate vedea; un altul revelează discrepanța dintre ceea ce interfețele afișează și ceea ce este facturat în realitate, lăsând utilizatorii cu iluzia eficienței, unde de fapt nu există; și un al treilea expune cum modelele generează în mod obișnuit pași de raționament interni care nu sunt arătați utilizatorului, dar care totuși apar pe factura.

Rezultatele descriu un sistem care pare precis, cu numere exacte care implică claritate, dar a cărui logică subiacentă rămâne ascunsă. Indiferent dacă acest lucru se datorează designului sau unei erori structurale, rezultatul este același: utilizatorii plătesc mai mult decât pot vedea, și adesea mai mult decât se așteaptă.

Mai ieftin cu zecile?

În prima dintre aceste lucrări – intitulată Este LLM-ul dvs. suprafacturându-vă? Tokenizarea, transparența și stimulentele, de la patru cercetători de la Institutul Max Planck pentru Sisteme de Software – autorii susțin că riscurile facturării bazate pe tokeni se extind dincolo de opacitate, arătând o stimulare încorporată pentru furnizori de a infla numărătoarea de tokeni:

‘Nucleul problemei constă în faptul că tokenizarea unei șiruri nu este unică. De exemplu, considerați că utilizatorul trimite promptul “Unde are loc următoarea NeurIPS?” furnizorului, furnizorul îl introduce într-un LLM, iar modelul generează ieșirea “|San| Diego|” alcătuită din doi tokeni.

‘Deoarece utilizatorul este inconștient de procesul generativ, un furnizor care se auto-servesc are capacitatea de a raporta în mod necinstit tokenizarea ieșirii către utilizator fără a schimba șirul subiacent. De exemplu, furnizorul ar putea pur și simplu să împărtășească tokenizarea “|S|a|n| |D|i|e|g|o|” și să suprafactureze utilizatorul pentru nouă tokeni în loc de doi!’

Articolul prezintă o euristică capabilă să efectueze acest tip de calcul necinstit fără a altera ieșirea vizibilă, și fără a încălca plauzibilitatea în condiții de decodare tipice. Testat pe modele de la LLaMA, Mistral și Gemma, folosind prompturi reale, metoda atinge suprafacturări măsurabile fără a părea anormale:

Inflația tokenilor prin „raportare plauzibilă”. Fiecare panou arată procentul de tokeni suprafacturați rezultat din aplicarea de către furnizor a Algoritmului 1 la ieșirile de la 400 de prompturi LMSYS, sub parametri de eșantionare variabili (m și p). Toate ieșirile au fost generate la temperatura 1,3, cu cinci repetiții pe setare pentru a calcula intervalele de încredere de 90%. Sursa: https://arxiv.org/pdf/2505.21627

Pentru a aborda problema, cercetătorii solicită facturarea pe baza numărului de caractere în loc de tokeni, argumentând că această abordare este singura care oferă furnizorilor un motiv pentru a raporta utilizarea în mod onest, și susținând că, dacă scopul este prețuirea corectă, atunci legarea costului de caracterele vizibile, și nu de procesele ascunse, este singura opțiune care rezistă analizei.

Aici există o serie de considerații suplimentare, cu toate acestea (în majoritatea cazurilor, concese de către autori). În primul rând, schema propusă pe baza caracterelor introduce o logică de afaceri suplimentară care poate favoriza furnizorul în detrimentul consumatorului:

‘[Un] furnizor care nu raportează niciodată în mod necinstit are un stimulent clar pentru a genera cea mai scurtă secvență posibilă de tokeni de ieșire, și pentru a îmbunătăți algoritmii de tokenizare actuali, cum ar fi BPE, astfel încât să comprime secvența de tokeni de ieșire cât mai mult posibil’

Motivul optimist aici este că furnizorul este astfel încurajat să producă ieșiri concise și mai semnificative și valoroase. În practică, există, desigur, modalități mai puțin virtuoase pentru un furnizor de a reduce numărătoarea de caractere.

În al doilea rând, este rezonabil să se presupună, afirmă autorii, că companiile ar trebui probabil să aibă nevoie de legislație pentru a trece de la sistemul arhaic de tokeni la o metodă de facturare mai clară, bazată pe text. Pe termen lung, o nouă companie poate decide să-și diferențieze produsul prin lansarea acestuia cu acest tip de model de preț; dar oricine are un produs cu adevărat competitiv (și care operează la o scară mai mică decât categoria EEE) este descurajat să facă acest lucru.

În cele din urmă, algoritmii frauduloși, cum ar fi cel propus de autori, ar veni cu propriul cost computațional; dacă costul calculării unei „suprafacturări” ar depăși beneficiul potențial, schema ar fi lipsită de merite. Cu toate acestea, cercetătorii subliniază că algoritmul lor propus este eficient și economic.

Autorii oferă codul pentru teoriile lor pe GitHub.

Schimbarea

Al doilea articol – intitulat Tokeni invizibili, facturi vizibile: Nevoia urgentă de a audita operațiunile ascunse în serviciile LLM opace, de la cercetători de la Universitatea din Maryland și Berkeley – susține că stimulentele incorecte în API-urile de modele de limbaj comercial nu sunt limitate la divizarea tokenilor, ci se extind la întregi clase de operațiuni ascunse.

Acestea includ apeluri interne de model, raționament speculativ, utilizarea uneltelor și interacțiuni multi-agente – toate acestea pot fi facturate utilizatorului fără vizibilitate sau recurs.

Prețuri și transparență pentru API-urile LLM de raționament de la principalii furnizori. Toate serviciile enumerate taxează utilizatorii pentru tokeni de raționament intern ascunși și nu le fac vizibile la runtime. Costurile variază semnificativ, cu modelul o1-pro de la OpenAI, care taxează de zece ori mai mult pe milion de tokeni decât Claude Opus 4 sau Gemini 2.5 Pro, în ciuda opacității egale. Sursa: https://www.arxiv.org/pdf/2505.18471

În contrast cu facturarea convențională, în care cantitatea și calitatea serviciilor sunt verificabile, autorii susțin că platformele LLM de astăzi funcționează sub opacitate structurală: utilizatorii sunt taxați pe baza raportării tokenilor și a utilizării API-ului, dar nu au nicio modalitate de a confirma că aceste metrice reflectă munca reală sau necesară.

Articolul identifică două forme principale de manipulare: inflația cantității, în care numărul de tokeni sau apeluri este crescut fără beneficiu pentru utilizator; și degradarea calității, în care se utilizează modele sau unelte cu performanță mai scăzută în locul componentelor premium:

‘În API-urile LLM de raționament, furnizorii mențin adesea variante multiple ale aceleiași familii de modele, care diferă în capacitate, date de antrenament sau strategie de optimizare (de exemplu, ChatGPT o1, o3). Degradarea modelului se referă la înlocuirea în mod clandestin a modelelor cu performanță mai scăzută, care pot introduce o neconcordanță între calitatea serviciului așteptată și cea reală.

‘De exemplu, un prompt poate fi procesat de un model de dimensiuni mai mici, în timp ce facturarea rămâne neschimbată. Această practică este dificil de detectat de către utilizatori, deoarece răspunsul final poate părea încă plauzibil pentru multe sarcini.’

Articolul documentează cazuri în care mai mult de 90% din tokenii facturați nu au fost niciodată afișați utilizatorilor, cu inflația internă a tokenilor crescând utilizarea tokenilor de peste douăzeci de ori. Justificată sau nu, opacitatea acestor pași refuză utilizatorilor orice bază pentru evaluarea relevanței sau legitimității lor.

În sistemele agenților, opacitatea crește, deoarece schimburile interne dintre agenții IA pot fiecare să atragă taxe fără a avea un impact semnificativ asupra ieșirii finale:

‘Dincolo de raționamentul intern, agenții comunic prin schimburi de prompturi, rezumate și instrucțiuni de planificare. Fiecare agent interpretează intrările de la alții și generează ieșiri pentru a ghida fluxul de lucru. Mesajele inter-agenți pot consuma tokeni substanțiali, care sunt adesea invizibili pentru utilizatorii finali.

‘Toți tokenii consumați în timpul coordonării agenților, inclusiv prompturi generate, răspunsuri și instrucțiuni legate de unelte, nu sunt de obicei afișați utilizatorului. Când agenții înșiși utilizează modele de raționament, facturarea devine și mai opacă’

Pentru a aborda aceste probleme, autorii propun un cadru de auditare în straturi, care implică dovezi criptografice ale activității interne, marcatori verificabili ai identității modelului sau uneltei și supraveghere independentă. Îngrijorarea subiacentă, cu toate acestea, este structurală: schemele actuale de facturare LLM se bazează pe o asimetrie de informații persistentă, lăsând utilizatorii expuși la costuri pe care nu le pot verifica sau descompune.

Numărătoarea invizibilă

Ultimul articol, de la cercetători de la Universitatea din Maryland, restructurează problema facturării nu ca o chestiune de abuz sau raportare incorectă, ci de structură. Articolul CoIn: Numărătoarea tokenilor de raționament invizibili în API-urile LLM comerciale opace – intitulat Numărătoarea tokenilor de raționament invizibili în API-urile LLM comerciale opace, de la zece cercetători de la Universitatea din Maryland – observă că majoritatea serviciilor LLM comerciale ascund acum raționamentul intermediar care contribuie la răspunsul final al modelului, dar încă taxează pentru acei tokeni.

Articolul afirmă că acest lucru creează o suprafață de facturare invizibilă, unde pot fi fabricate, injectate sau inflamate întregi secvențe fără detectare*:

‘[Acest lucru] permite furnizorilor să raporteze în mod necinstit numărătoarea de tokeni sau să injecteze tokeni de raționament fabricați la cost redus pentru a infla artificial numărătoarea de tokeni. Ne referim la această practică ca inflație a numărătorii de tokeni.

‘De exemplu, o singură execuție ARC-AGI de înaltă eficiență, rulată de modelul o3 de la OpenAI, a consumat 111 milioane de tokeni, costând 66.772,3 dolari. Având în vedere această scară, chiar și manipulări mici pot avea un impact financiar semnificativ.

‘O astfel de asimetrie de informații permite companiilor de IA să suprafactureze utilizatorii în mod semnificativ, subminând astfel interesele acestora.’

Pentru a contracara această asimetrie, autorii propun CoIn, un sistem de auditare terță, proiectat pentru a verifica tokenii ascunși fără a dezvălui conținutul lor, și care utilizează amprente hashate și verificări semantice pentru a detecta semne de inflație.

Prezentare generală a sistemului de auditare CoIn pentru LLM-urile comerciale opace. Panoul A arată cum încorporările tokenilor de raționament sunt hashate într-un arbore Merkle pentru verificarea numărătorii de tokeni fără a dezvălui conținutul tokenilor. Panoul B ilustrează verificările de validitate semantică, în care rețelele neuronale ușoare compară blocurile de raționament cu răspunsul final. Sursa: https://arxiv.org/pdf/2505.13778

Una dintre componente verifică numărătoarea de tokeni în mod criptografic, utilizând un arbore Merkle; cealaltă evaluează relevanța conținutului ascuns, comparându-l cu încorporarea răspunsului. Acest lucru permite auditorilor să detecteze umplerea sau irelevanța – semne că tokenii sunt introduși doar pentru a crește factura.

Când a fost implementat în teste, CoIn a atins o rată de detectare a inflației de aproape 95% pentru anumite forme de inflație, cu o expunere minimă a datelor subiacente. Deși sistemul depinde încă de cooperarea voluntară a furnizorilor și are o rezoluție limitată în cazuri extreme, punctul său principal este inconfundibil: arhitectura actuală a facturării LLM presupune o onestitate care nu poate fi verificată.

Concluzie

Pe lângă avantajul de a obține plata în avans de la utilizatori, o monedă bazată pe scrip (cum ar fi sistemul “buzz” de la CivitAI) ajută la abstragerea utilizatorilor de la valoarea reală a monedei pe care o cheltuiesc sau a mărfii pe care o cumpără. În mod similar, oferirea unui furnizor cu libertatea de a-și defini propriile unități de măsură lasă consumatorul în necunoștință de cauză cu privire la ceea ce cheltuiește cu adevărat, în termeni de bani reali.

La fel ca lipsa ceasurilor în Las Vegas, măsurile de acest fel sunt adesea menite să facă consumatorul imprudent sau indiferent la cost.

Tokenul slab înțeles, care poate fi consumat și definit în atâtea moduri, poate să nu fie o unitate adecvată de măsură pentru consumul LLM – nu în ultimul rând pentru că poate costa de multe ori mai mulți tokeni pentru a calcula un rezultat LLM mai slab într-o limbă non-engleză, comparativ cu o sesiune pe baza limbii engleze.

Cu toate acestea, ieșirea bazată pe caractere, așa cum sugerează cercetătorii de la Max Planck, ar favoriza probabil limbile mai concise și ar penaliza limbile natural verbose. Deoarece indicațiile vizuale, cum ar fi un contor de tokeni care se epuizează, ne-ar face probabil un pic mai cheltuitori în sesiunile noastre LLM, pare puțin probabil ca astfel de adaosuri GUI utile să apară în curând – cel puțin fără o acțiune legislativă.

* Accentuările autorilor. Conversia mea a citărilor inline ale autorilor în legături.

Publicat pentru prima dată joi, 29 mai 2025