L’economia nuova dell’IA è costruita su token – ma li stiamo misurando nel modo sbagliato

C’è un cambiamento in atto nell’IA che la maggior parte delle persone percepisce, ma non comprende ancora completamente: siamo passati dal conteggio delle richieste al conteggio dei token.

Nell’era del web, misuravamo i sistemi in richieste al secondo. Era pulito, intuitivo e per lo più accurato. Una richiesta arrivava, una risposta partiva e potevi scalare l’infrastruttura intorno a quel modello.

Quell’astrazione è scomparsa.

Nell’IA, l’unità fondamentale non è più la richiesta – è il token. Ogni prompt, ogni risposta e ogni catena di ragionamento viene suddivisa in token, rappresentando il lavoro che il sistema sta svolgendo, il costo sostenuto e, sempre più spesso, il valore creato.

Naturalmente, l’industria si è mobilitata intorno a questo cambiamento, introducendo metriche come token al secondo, costo per token e addirittura ricavo per token. Sembra che abbiamo finalmente trovato un modo per quantificare i sistemi di IA. Ma quella cornice è incompleta.

Il shortcut dell’industria: token equivalgono a valore

C’è una narrazione crescente che i token sono la nuova valuta dell’IA – che più token equivalgono a più intelligenza e, di conseguenza, a più ricavi. È un’idea convincente, ma semplifica eccessivamente ciò che sta realmente accadendo all’interno di questi sistemi.

Non tutti i token sono uguali. Alcuni token rappresentano un lavoro reale: analizzare dati, generare insight, automatizzare flussi di lavoro e supportare decisioni che guidano risultati aziendali. Altri sono molto meno significativi – generazione di contenuti casuali, sperimentazione o casi d’uso che non vanno oltre l’esplorazione interna.

Già si può vedere questo all’interno delle imprese. Un team potrebbe generare milioni di token per supportare la produttività degli sviluppatori o le operazioni dei clienti, impattando direttamente sull’efficienza e sui ricavi. Un altro team potrebbe generare lo stesso volume sperimentando con strumenti che non vanno oltre l’esplorazione interna. Sulla carta, i conteggi dei token sembrano identici. Nella realtà, il valore aziendale è completamente diverso.

Trattare tutti i token come unità intercambiabili di valore crea una visione distorta di ciò che l’IA sta realmente facendo all’interno di un’organizzazione. Le aziende non sono costruite sul volume dei token; sono costruite su ciò che quei token abilitano.

Per comprendere quella differenza, è necessario guardare al di sotto della superficie per vedere come questi sistemi operano effettivamente.

Perché la tua seconda richiesta è più veloce della prima

Se hai mai utilizzato uno strumento come ChatGPT, hai probabilmente notato che la tua seconda domanda è spesso più veloce della prima. Quel comportamento non è dovuto al fatto che il modello diventa più intelligente – è dovuto a come il sistema riutilizza il contesto dalle richieste precedenti.

I moderni sistemi di IA non elaborano ogni richiesta in isolamento. Costruiscono il contesto, memorizzando le richieste e le risposte precedenti in una memoria, spesso in ciò che viene chiamato cache KV. Questa cache si trova vicino alla GPU in modo che possa essere accessibile rapidamente quando si generano risposte successive.

La prima richiesta è costosa perché inizializza quello stato – alloca la memoria, elabora l’input e costruisce il contesto. Le richieste successive riutilizzano quello stato, riducendo la latenza e migliorando la risposta.

Questa dinamica diventa più importante man mano che le finestre di contesto si espandono da migliaia a centinaia di migliaia – o addirittura milioni – di token. Più contesto un sistema mantiene, più pressione esercita sulla memoria e sull’infrastruttura, rendendo critico decidere cosa viene memorizzato, compresso o scartato.

Dal punto di vista dell’utente, sembra un sistema più veloce. Dal punto di vista dell’infrastruttura, è un complesso compromesso tra memoria, latenza e costo.

Questo è dove il vero lavoro sta avvenendo: non solo nel modello stesso, ma nel sistema che lo circonda.

La constraint ultima: l’energia

Una volta superata la prestazione del modello, la conversazione si sposta rapidamente.

I team che eseguono l’IA a larga scala non chiedono principalmente quale modello sia il migliore. Chiedono come mantenerlo.

L’infrastruttura di IA sta spingendo contro i limiti fisici: disponibilità di energia, capacità di raffreddamento e larghezza di banda della memoria. I data center vengono ridisegnati intorno a queste limitazioni e le organizzazioni che distribuiscono sistemi di IA a larga scala stanno iniziando a operare più come utility che come società di software tradizionali.

Stiamo già vedendo questo nelle grandi imprese che costruiscono infrastrutture di IA, dove l’energia e il raffreddamento – e non la capacità del modello – stanno diventando la principale limitazione.

I carichi di lavoro di IA non si scalano in modo pulito o prevedibile. Essi aumentano la domanda attraverso calcolo, memoria e rete allo stesso tempo. Generare più token non è semplicemente una questione di aggiungere più GPU; è una questione di se l’infrastruttura sottostante possa sostenere l’energia e il carico termico necessari per mantenere quei sistemi in esecuzione efficientemente.

Il costo di generare un token quindi si estende oltre il calcolo. Include l’elettricità, il raffreddamento, l’infrastruttura fisica e la capacità di mantenere le prestazioni sotto carico senza degrado.

La maggior parte delle discussioni su “costo per token” non riflette completamente questa realtà. A larga scala, l’energia diventa il budget, non solo un’altra voce di spesa.

Il futuro non sono modelli più grandi. Sono sistemi migliori.

Per i due anni precedenti, l’industria si è concentrata sui confronti dei modelli, guardando a benchmark, classifiche e miglioramenti incrementali nella capacità.

Quel focus sta iniziando a spostarsi.

Negli ambienti di produzione, le prestazioni sono meno legate a quale modello si sceglie e più a come lo si utilizza. Le organizzazioni stanno muovendosi verso sistemi di modelli – combinando modelli grandi e piccoli, instradando compiti in modo intelligente e ottimizzando per costo, latenza e throughput in tutto il flusso di lavoro.

Invece di inviare ogni richiesta a un singolo modello grande, i sistemi suddividono i carichi di lavoro in componenti più piccoli. Compiti più semplici possono essere gestiti da modelli più efficienti, mentre ragionamenti più complessi sono riservati ai modelli più grandi. Il contesto viene riutilizzato ovunque possibile e le strategie di caching vengono applicate in modo aggressivo.

Queste decisioni spesso hanno un impatto maggiore sulle prestazioni e sui costi rispetto al passaggio da un modello all’altro. In questo senso, i token rimangono l’unità di lavoro, ma il sistema che li genera e li gestisce diventa il vero differenziatore.

Il livello più trascurato nei sistemi di IA

L’IA viene spesso descritta in termini di modelli da un lato e applicazioni dall’altro, ma il livello tra di loro è dove si trova la maggior parte della complessità – e dell’opportunità.

Questo livello non si limita a spostare le richieste; le plasma. Determina come il traffico fluisce, come le decisioni vengono applicate e come i sistemi si comportano in condizioni del mondo reale.

La consegna e la sicurezza non possono essere trattate come preoccupazioni separate qui. Lo stesso livello che instrada le richieste e gestisce il contesto è anche dove le politiche vengono applicate, i rischi vengono mitigati e la fiducia viene stabilita.

Man mano che la complessità cresce, le soluzioni puntuali si rompono. Ciò che è necessario è una piattaforma unificata che possa coordinare queste funzioni in tempo reale, piuttosto che cucirle insieme dopo il fatto.

Questo è dove vengono fatti i compromessi. È dove il costo viene controllato, le prestazioni vengono ottimizzate e le decisioni di sicurezza vengono applicate in tempo reale. Man mano che i sistemi di IA si espandono, questo livello diventa sempre più importante. È la differenza tra un sistema che funziona bene in una demo e uno che opera in modo affidabile ed efficiente in produzione. Quel cambiamento ha implicazioni reali per come le organizzazioni progettano e gestiscono i sistemi di IA.

Cosa significa questo per le organizzazioni

Mentre le imprese spostano l’IA in produzione, la domanda non è solo quale modello utilizzare – è come il sistema intorno ad esso è progettato per operare.

Significa pensare oltre le metriche dei token e i benchmark dei modelli, e concentrarsi su come le richieste vengono instradate, come il contesto viene gestito e come le politiche vengono applicate in tutto il flusso di lavoro.

La maggior parte delle organizzazioni sta ancora cucendo insieme questi pezzi – e quell’approccio non regge la pressione della produzione reale.

Stiamo misurando la cosa sbagliata

I token forniscono un’utile astrazione. Danno all’industria un modo per quantificare qualcosa che un tempo sembrava intangibile, ma non sono l’intero quadro.

Al momento, l’industria sta gravitando verso ciò che è più facile da misurare – conteggi dei token, throughput e metriche di costo – piuttosto che ciò che conta di più. Senza contesto, quei numeri possono essere fuorvianti.

La prossima fase dell’IA non sarà definita da chi genera più token. Sarà definita da chi comprende cosa quei token rappresentano e da chi può costruire sistemi che li trasformano in risultati significativi, efficienti e scalabili.

Perché alla fine, i token non sono il prodotto. Sono semplicemente il sottoprodotto dell’intelligenza che viene creata.