Perché l’Inferenza AI, non l’Addestramento, è la Prossima Grande Sfida di Ingegneria

Per il decennio scorso, l’attenzione nel settore dell’intelligenza artificiale è stata monopolizzata dall’addestramento. I progressi sono stati principalmente il risultato di enormi cluster di calcolo, modelli con trilioni di parametri e dei miliardi di dollari spesi per insegnare ai sistemi a “pensare”. Abbiamo trattato lo sviluppo dell’IA principalmente come un progetto di costruzione: costruire il grattacielo dell’intelligenza. Ma ora che questo grattacielo è stato costruito, la vera sfida è capire come facilitare i milioni di persone che devono vivere e operare all’interno di esso contemporaneamente. Ciò sposta l’attenzione dei ricercatori e degli ingegneri dell’IA dall’addestramento (l’atto di creare l’intelligenza) all’inferenza (l’atto di utilizzarla). Mentre l’addestramento è una spesa di capitale enorme e una tantum (CapEx), l’inferenza è una spesa operativa continua (OpEx) che continua indefinitamente. Quando le aziende distribuiscono agenti che servono milioni di utenti 24 ore su 24, scoprono una dura realtà: l’inferenza non è solo “addestramento al contrario”. È una sfida di ingegneria fondamentalmente diversa e forse più difficile.

Perché i Costi dell’Inferenza Contano più che Mai

Per comprendere la sfida di ingegneria, è necessario comprendere prima l’imperativo economico sottostante. Nella fase di addestramento, l’inefficienza è tollerabile. Se una sessione di addestramento richiede quattro settimane invece di tre, è un fastidio. Nell’inferenza, tuttavia, l’inefficienza può essere catastrofica per l’azienda. Ad esempio, addestrare un modello di frontiera potrebbe costare 100 milioni di dollari. Ma distribuire quel modello per rispondere a 10 milioni di query al giorno può superare quel costo in pochi mesi se non ottimizzato. È per questo che stiamo assistendo a un cambiamento del mercato, con gli investimenti nell’inferenza previsti per superare gli investimenti nell’addestramento.

Per gli ingegneri, ciò sposta i goalpost. Non stiamo più ottimizzando per il throughput (quanto velocemente posso elaborare questo enorme set di dati?). Stiamo ottimizzando per la latenza (quanto velocemente posso restituire un singolo token?) e la concorrenza (quanti utenti posso servire su una sola GPU?). L’approccio “brute force” che ha dominato la fase di addestramento semplicemente aggiungendo più calcoli non funziona qui. Non puoi lanciare più H100 su un problema di latenza se il collo di bottiglia è la larghezza di banda della memoria.

Il Muro della Memoria: il Vero Collo di Bottiglia

La verità poco conosciuta sull’inferenza dei Modelli Linguistici di Grande Scala (LLM) è che raramente è limitata dal calcolo; è vincolata dalla memoria. Durante l’addestramento, elaboriamo i dati in lotti massicci, mantenendo le unità di calcolo della GPU completamente utilizzate. Nell’inferenza, specialmente per applicazioni in tempo reale come chatbot o agenti, le richieste arrivano in sequenza. Ogni token generato richiede al modello di caricare i suoi miliardi di parametri dalla memoria ad alta larghezza di banda (HBM) nei core di calcolo. Questo è il “Muro della Memoria“. È come avere un motore Ferrari (il core della GPU) bloccato nel traffico (la larghezza di banda della memoria limitata).

Questa sfida sta spingendo i team di ingegneria a ripensare l’architettura del sistema a livello di silicio. È per questo che stiamo vedendo l’ascesa di Unità di Elaborazione Lineare (LPUs) come quelle di Groq, e unità di elaborazione neurali specializzate (NPUs). Questi chip sono progettati per bypassare il collo di bottiglia dell’HBM utilizzando enormi quantità di SRAM on-chip, trattando l’accesso alla memoria come un flusso di dati continuo anziché un’operazione di fetch semplice. Per l’ingegnere del software, ciò segnala la fine dell’era “default to CUDA”. Dobbiamo ora scrivere codice che sia consapevole dell’hardware, comprendendo esattamente come i dati si muovono nel filo.

La Nuova Frontiera dell’Efficienza dell’AI

Poiché non possiamo sempre cambiare l’hardware, la prossima frontiera dell’ingegneria giace nell’ottimizzazione del software. È qui che stanno avvenendo alcune delle innovazioni più innovative. Stiamo assistendo a un rinascimento di tecniche che stanno ridefinendo come i computer implementano ed eseguono le reti neurali.

• Batching Continuo: Il batching tradizionale aspetta che il “bus” si riempia prima di partire, il che introduce ritardi. Il batching continuo (pioniere di framework come vLLM) agisce come un sistema di metropolitana, consentendo a nuove richieste di unirsi o uscire dal treno di elaborazione della GPU ad ogni iterazione. Massimizza il throughput senza sacrificare la latenza, risolvendo un complesso problema di pianificazione che richiede una profonda competenza a livello di sistema operativo.

• Decodifica Speculativa: Questa tecnica impiega un modello piccolo, veloce e economico per abbozzare una risposta, mentre un modello più grande, più lento e più capace verifica in parallelo. Si basa sul fatto che verificare il testo è molto meno costoso dal punto di vista computazionale rispetto alla generazione.
• Gestione della Cache KV: In lunghe conversazioni, la “storia” (la cache Key-Value) cresce rapidamente, consumando grandi quantità di memoria della GPU. Gli ingegneri stanno ora implementando “PagedAttention“, una tecnica ispirata alla paginazione della memoria virtuale nei sistemi operativi. Questa tecnica divide la memoria in frammenti e la gestisce in modo non contiguo.

La Complessità Agente

Se l’inferenza standard è difficile, l’AI Agente la rende esponenzialmente più difficile. Un chatbot standard è senza stato: l’utente chiede, l’AI risponde, il processo termina. Un agente AI, tuttavia, ha un ciclo. Pianifica, esegue strumenti, osserva i risultati e iterisce. Dal punto di vista dell’ingegneria, questo è un incubo. Questo cambiamento architettonico introduce diverse sfide fondamentali:

1. Gestione dello Stato: Il motore di inferenza deve mantenere lo “stato” del processo di pensiero dell’agente attraverso più passaggi, spesso che coprono minuti.
2. Cicli Infiniti: A differenza di un passo forward prevedibile, un agente può rimanere bloccato in un ciclo di ragionamento. Progettare “cani da guardia” e “interruttori” robusti per codice probabilistico è un campo interamente nuovo.
3. Calcolo Variabile: Una query dell’utente potrebbe attivare una singola chiamata di inferenza, mentre un’altra potrebbe attivare cinquanta. Gestire il carico e l’infrastruttura di autoscaling quando ogni richiesta porta una varianza estrema richiede una classe interamente nuova di logica di orchestrazione.

Stiamo essenzialmente passando da “servire modelli” a “orchestrare architetture cognitive”.

Portare l’AI ai Dispositivi di Tutti i Giorni

Infine, i limiti dell’energia e della latenza di rete costringeranno inevitabilmente l’inferenza ai margini. Non possiamo aspettarci che ogni lampadina intelligente, veicolo autonomo o robot di fabbrica instradi le sue richieste attraverso un data center. La sfida di ingegneria qui è la compressione. Come si fa a inserire un modello che ha imparato dall’intero internet su un chip più piccolo di un’unghia, alimentato da una batteria?

Tecniche come quantizzazione (riducendo la precisione da 16 bit a 4 bit o anche 1 bit) e distillazione del modello (insegnando a un modello studente piccolo a imitare un modello insegnante grande) stanno diventando pratica standard. Ma la vera sfida è distribuire questi modelli a un ecosistema frammentato di miliardi di dispositivi come Android, iOS, Linux incorporato, sensori personalizzati, ognuno con le proprie limitazioni hardware. È il “incubo della frammentazione” dello sviluppo mobile, moltiplicato per la complessità delle reti neurali.

Il Punto Chiave

Stiamo entrando nell’era “Day 2” dell’AI Generativa. Il Day 1 era dimostrare che l’AI poteva scrivere poesie. Il Day 2 è ingegnerizzare, rendendo quell’abilità più affidabile, accessibile e ubiqua. Gli ingegneri che definiranno il prossimo decennio non sono necessariamente quelli che inventano nuove architetture di modelli. Sono gli ingegneri di sistemi, gli hacker del kernel e gli architetti di infrastrutture che possono capire come servire un miliardo di token al secondo senza fondere la rete elettrica o mandare in bancarotta l’azienda. L’inferenza AI non è più solo un dettaglio di runtime. È il prodotto. E ottimizzarla è la prossima grande sfida di ingegneria.