Nuovi saggi di ricerca mettono in discussione il prezzo ‘token’ per le chat AI

Le nuove ricerche mostrano che il modo in cui i servizi di intelligenza artificiale addebitano i token nasconde il vero costo agli utenti. I fornitori possono aumentare silenziosamente le tariffe gonfiando i conteggi dei token o inserendo passaggi nascosti. Alcuni sistemi eseguono processi aggiuntivi che non influiscono sul risultato ma che comunque appaiono sulla fattura. Sono stati proposti strumenti di auditing, ma senza un vero controllo, gli utenti sono costretti a pagare più di quanto si rendano conto.

Quasi in tutti i casi, ciò per cui noi come consumatori paghiamo per le interfacce di chat basate sull’intelligenza artificiale, come ad esempio ChatGPT-4o, è attualmente misurato in token: unità di testo invisibili che non vengono notate durante l’uso, ma che vengono contate con precisione esatta per scopi di fatturazione; e sebbene ogni scambio sia prezziato in base al numero di token elaborati, l’utente non ha un modo diretto per confermare il conteggio.

Nonostante la nostra (al massimo) comprensione imperfetta di ciò che otteniamo per la nostra unità di ‘token’ acquistata, la fatturazione basata sui token è diventata l’approccio standard tra i fornitori, basato su ciò che potrebbe rivelarsi un’ipotesi precaria di fiducia.

Token Words

Un token non è esattamente la stessa cosa di una parola, anche se spesso svolge un ruolo simile, e la maggior parte dei fornitori utilizza il termine ‘token’ per descrivere piccole unità di testo come parole, segni di punteggiatura o frammenti di parole. Ad esempio, la parola ‘incredibile’ potrebbe essere conteggiata come un singolo token da un sistema, mentre un altro potrebbe dividerla in in, cred e bile, con ogni pezzo che aumenta il costo.

Questo sistema si applica sia al testo immesso dall’utente che alla risposta del modello, con il prezzo basato sul numero totale di queste unità.

La difficoltà risiede nel fatto che gli utenti non vedono questo processo. La maggior parte delle interfacce non mostra i conteggi dei token mentre la conversazione è in corso, e il modo in cui i token vengono calcolati è difficile da riprodurre. Anche se un conteggio viene mostrato dopo una risposta, è troppo tardi per dire se era giusto, creando un mismatch tra ciò che l’utente vede e ciò per cui paga.

Le ricerche recenti puntano a problemi più profondi: uno studio mostra come i fornitori possano addebitare di più senza violare le regole, semplicemente gonfiando i conteggi dei token in modi che l’utente non può vedere; un altro rivela il mismatch tra ciò che le interfacce visualizzano e ciò che viene effettivamente addebitato, lasciando gli utenti con l’illusione di efficienza dove potrebbe non essercene; e un terzo espone come i modelli generino regolarmente passaggi di ragionamento interni che non vengono mai mostrati all’utente, ma che comunque appaiono sulla fattura.

I risultati descrivono un sistema che sembra preciso, con numeri esatti che implicano chiarezza, ma la cui logica sottostante rimane nascosta. Che sia per design o per un difetto strutturale, il risultato è lo stesso: gli utenti pagano per più di quanto possano vedere, e spesso più di quanto si aspettino.

Cheaper by the Dozen?

Nel primo di questi saggi – intitolato Il tuo LLM ti sta addebitando troppo? Tokenizzazione, trasparenza e incentivi, di quattro ricercatori dell’Istituto Max Planck per i Sistemi Software – gli autori sostengono che i rischi della fatturazione basata sui token vanno al di là dell’opacità, puntando a un incentivo incorporato per i fornitori di gonfiare i conteggi dei token:

‘Il nucleo del problema risiede nel fatto che la tokenizzazione di una stringa non è unica. Ad esempio, considera che l’utente invia il prompt “Dove si tiene il prossimo NeurIPS?” al fornitore, il fornitore lo alimenta in un LLM e il modello genera l’output “|San| Diego|” costituito da due token.

‘Poiché l’utente è all’oscuro del processo generativo, un fornitore che si comporta in modo egoistico ha la capacità di riportare la tokenizzazione dell’output all’utente senza alterare la stringa sottostante. Ad esempio, il fornitore potrebbe semplicemente condividere la tokenizzazione “|S|a|n| |D|i|e|g|o|” e addebitare all’utente nove token invece di due!’

Il saggio presenta un algoritmo in grado di eseguire questo tipo di calcolo disonesto senza alterare l’output visibile e senza violare la plausibilità in condizioni di decodifica tipiche. Testato su modelli della serie LLaMA, Mistral e Gemma, utilizzando prompt reali, il metodo raggiunge sovraccarichi misurabili senza apparire anomali:

Inflazione dei token utilizzando ‘riportazione plausibile’. Ogni pannello mostra la percentuale di token addebitati in eccesso derivanti dall’applicazione dell’algoritmo 1 agli output di 400 prompt LMSYS, con parametri di campionamento variabili (m e p). Tutti gli output sono stati generati a temperatura 1,3, con cinque ripetizioni per impostazione per calcolare gli intervalli di confidenza al 90%. Fonte: https://arxiv.org/pdf/2505.21627

Per affrontare il problema, i ricercatori chiedono una fatturazione basata sul conteggio dei caratteri invece che sui token, sostenendo che questo è l’unico approccio che dà ai fornitori un motivo per riportare l’uso in modo onesto, e sostenendo che se l’obiettivo è un prezzo equo, allora legare il costo ai caratteri visibili, e non ai processi nascosti, è l’unica opzione che regge alla verifica. La fatturazione basata sui caratteri, sostengono, rimuoverebbe il motivo per riportare in modo errato e premerebbe anche per output più brevi e più efficienti.

Ci sono tuttavia diverse considerazioni aggiuntive (in gran parte concesse dagli autori). In primo luogo, lo schema di fatturazione basato sui caratteri proposto introduce una logica aziendale aggiuntiva che potrebbe favorire il fornitore rispetto al consumatore:

‘[Un] fornitore che non riporta in modo errato ha un chiaro incentivo a generare la sequenza di output token più breve possibile e a migliorare gli algoritmi di tokenizzazione attuali come BPE, in modo che comprimano la sequenza di output token il più possibile’

Il motivo ottimistico qui è che il fornitore è così incoraggiato a produrre output concisi e più significativi e preziosi. Nella pratica, ci sono ovviamente modi meno virtuosi per un fornitore di ridurre il conteggio del testo.

In secondo luogo, è ragionevole supporre, gli autori affermano, che le aziende probabilmente richiederebbero una legislazione per passare dal sistema di token oscuro a un metodo di fatturazione più chiaro e basato sul testo. Lungo la strada, un’azienda startup potrebbe decidere di differenziare il proprio prodotto lanciandolo con questo tipo di modello di prezzo; ma chiunque abbia un prodotto veramente competitivo (e operi a una scala inferiore a quella della categoria EEE) è disincentivato a farlo.

Infine, algoritmi ladruncoli come quello proposto dagli autori verrebbero con un loro costo computazionale; se il costo del calcolo di un ‘sovrapprezzo’ superasse il beneficio potenziale, lo schema non avrebbe alcun merito. Tuttavia i ricercatori enfatizzano che il loro algoritmo proposto è efficace ed economico.

Gli autori forniscono il codice per le loro teorie su GitHub.

The Switch

Il secondo saggio – intitolato Token invisibili, bollette visibili: l’urgente necessità di verificare le operazioni nascoste nei servizi LLM opachi, di ricercatori dell’Università del Maryland e di Berkeley – sostiene che gli incentivi non allineati nei servizi di modello linguistico commerciale non sono limitati alla divisione dei token, ma si estendono a interi classi di operazioni nascoste.

Queste includono chiamate interne del modello, ragionamento speculativo, utilizzo di strumenti e interazioni multi-agente – tutte queste potrebbero essere addebitate all’utente senza visibilità o ricorso.

Prezzi e trasparenza dei servizi LLM di ragionamento tra i principali fornitori. Tutti i servizi elencati addebitano agli utenti token di ragionamento interni nascosti e nessuno li rende visibili in fase di esecuzione. I costi variano notevolmente, con il modello o1-pro di OpenAI che addebita dieci volte più per milione di token rispetto a Claude Opus 4 o Gemini 2.5 Pro, nonostante l’opacità uguale. Fonte: https://www.arxiv.org/pdf/2505.18471

A differenza della fatturazione convenzionale, in cui la quantità e la qualità dei servizi sono verificabili, gli autori sostengono che le piattaforme LLM di oggi operano sotto opacità strutturale: gli utenti vengono addebitati in base ai token e all’uso dell’API segnalati, ma non hanno alcun mezzo per confermare che queste metriche riflettono lavoro reale o necessario.

Il saggio identifica due forme principali di manipolazione: inflazione della quantità, in cui il numero di token o chiamate viene aumentato senza beneficio per l’utente; e declassamento della qualità, in cui vengono utilizzati modelli o strumenti a prestazioni inferiori in sostituzione di componenti premium:

‘Nei servizi LLM di ragionamento, i fornitori spesso mantengono più varianti della stessa famiglia di modelli, che differiscono per capacità, dati di formazione o strategia di ottimizzazione (ad esempio, ChatGPT o1, o3). Il declassamento del modello si riferisce alla sostituzione silenziosa di modelli a basso costo, che possono introdurre una disallineamento tra la qualità del servizio attesa e reale.

‘Ad esempio, un prompt potrebbe essere elaborato da un modello di dimensioni inferiori, mentre l’addebito rimane invariato. Questa pratica è difficile da rilevare per gli utenti, poiché la risposta finale può comunque apparire plausibile per molti compiti.’

Il saggio documenta casi in cui più del 90% dei token addebitati non sono stati mostrati agli utenti, con un’inflazione del ragionamento interno che gonfia l’uso dei token di un fattore superiore a venti. Giustificati o no, l’opacità di questi passaggi nega agli utenti qualsiasi base per valutare la loro rilevanza o legittimità.

Nei sistemi agente, l’opacità aumenta, poiché gli scambi interni tra agenti di intelligenza artificiale possono ciascuno comportare addebiti senza influenzare significativamente l’output finale:

‘Oltre al ragionamento interno, gli agenti comunicano scambiando prompt, riassunti e istruzioni di pianificazione. Ogni agente interpreta gli input degli altri e genera output per guidare il flusso di lavoro. Questi messaggi inter-agente possono consumare sostanziali token, che spesso non vengono visualizzati all’utente.

‘Tutti i token consumati durante la coordinazione degli agenti, inclusi prompt generati, risposte e istruzioni relative agli strumenti, di solito non vengono visualizzati all’utente. Quando gli agenti stessi utilizzano modelli di ragionamento, la fatturazione diventa ancora più opaca’

Per affrontare questi problemi, gli autori propongono un framework di auditing a strati che coinvolge prove criptografiche di attività interna, marcatori verificabili di identità del modello o dello strumento e un controllo indipendente. La preoccupazione sottostante, tuttavia, è strutturale: gli schemi di fatturazione LLM attuali dipendono da un’asimmetria persistente delle informazioni, lasciando gli utenti esposti a costi che non possono verificare o suddividere.

Counting the Invisible

L’ultimo saggio, di ricercatori dell’Università del Maryland, ripropone il problema della fatturazione non come questione di abuso o di riportazione errata, ma di struttura. Il saggio – intitolato CoIn: conteggio dei token di ragionamento invisibili nei servizi LLM commerciali opachi, di dieci ricercatori dell’Università del Maryland – osserva che la maggior parte dei servizi LLM commerciali nasconde attualmente il ragionamento intermedio che contribuisce alla risposta finale del modello, eppure addebita comunque per quei token.

Il saggio afferma che ciò crea una superficie di fatturazione non osservabile in cui intere sequenze possono essere fabbricate, iniettate o gonfiate senza rilevamento:

‘[Ciò] consente ai fornitori di riportare in modo errato i conteggi dei token o iniettare token di ragionamento a basso costo per gonfiare artificialmente i conteggi dei token. Ci riferiamo a questa pratica come inflazione del conteggio dei token.

‘Ad esempio, un singolo run ad alta efficienza di ARC-AGI eseguito dal modello o3 di OpenAI ha consumato 111 milioni di token, costando 66.772,3 dollari. Dato questo livello, anche piccole manipolazioni possono portare a un impatto finanziario sostanziale.

‘Tale asimmetria delle informazioni consente alle aziende di intelligenza artificiale di addebitare agli utenti somme significative, compromettendo così i loro interessi.’

Per contrastare questa asimmetria, gli autori propongono CoIn, un sistema di auditing di terze parti progettato per verificare i token nascosti senza rivelarne il contenuto, e che utilizza impronte digitali hashate e controlli semantici per rilevare segni di inflazione.

Panoramica del sistema di auditing CoIn per i servizi LLM commerciali opachi. Il pannello A mostra come le embedding dei token di ragionamento vengono hashate in un albero di Merkle per la verifica del conteggio dei token senza rivelare il contenuto dei token. Il pannello B illustra i controlli di validità semantica, in cui reti neurali leggere confrontano i blocchi di ragionamento con la risposta finale. Fonte: https://arxiv.org/pdf/2505.13778

Un componente verifica i conteggi dei token in modo criptografico utilizzando un albero di Merkle; l’altro valuta la rilevanza del contenuto nascosto confrontandolo con l’embedding della risposta. Ciò consente agli auditor di rilevare il riempimento o l’irrilevanza – segni che i token vengono inseriti solo per aumentare la fattura.

Quando viene distribuito in test, CoIn raggiunge un tasso di rilevamento del 95% per alcune forme di inflazione, con un’esposizione minima dei dati sottostanti. Sebbene il sistema dipenda ancora dalla cooperazione volontaria dei fornitori e abbia una risoluzione limitata nei casi limite, il suo punto più ampio è inconfondibile: l’architettura stessa della fatturazione LLM attuale presume un onestà che non può essere verificata.

Conclusione

Oltre al vantaggio di ottenere pagamenti anticipati dagli utenti, un sistema di valuta basato su scrip (come il sistema ‘buzz’ di CivitAI) aiuta a separare gli utenti dal valore reale della valuta che stanno spendendo, o della merce che stanno acquistando. Allo stesso modo, dare a un fornitore la possibilità di definire le proprie unità di misura lascia il consumatore all’oscuro di ciò per cui sta effettivamente pagando, in termini di denaro reale.

Come la mancanza di orologi a Las Vegas, misure di questo tipo sono spesso finalizzate a rendere il consumatore imprudente o indifferente al costo.

Il poco compreso token, che può essere consumato e definito in molti modi, potrebbe non essere un’unità di misura adatta per il consumo LLM – non da ultimo perché può costare molti più token per calcolare un risultato LLM peggiore in una lingua diversa dall’inglese, rispetto a una sessione basata sull’inglese.

Tuttavia, l’output basato sui caratteri, come suggerito dai ricercatori del Max Planck, favorirebbe probabilmente lingue più concise e penalizzerebbe lingue naturalmente verbosi. Poiché le indicazioni visive come un contatore di token in diminuzione probabilmente ci renderebbero un po’ più prodighi nelle nostre sessioni LLM, sembra improbabile che tali utili aggiunte GUI arrivino presto – almeno senza un’azione legislativa.

* Enfasi degli autori. La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta giovedì 29 maggio 2025