Il Sacro Graal del Potere di Calcolo nell’Intelligenza Artificiale

Nonostante i progressi incredibili, le capacità dell’intelligenza artificiale sono ancora limitate quando paragonate alle aspettative del mondo reale. Costruiamo modelli complessi, eseguiamo reti neurali e testiamo algoritmi, ma a volte il progresso si ferma nei posti in cui meno ce lo aspettiamo.

Il problema spesso non risiede negli algoritmi o nei dati, ma nella potenza di calcolo, le risorse che consentono ai modelli di apprendere e operare alla scala necessaria. Quindi, cosa si nasconde dietro a questa barriera? Analizziamo la risorsa critica senza la quale anche i progetti di intelligenza artificiale più promettenti non possono andare oltre il laboratorio.

Il deficit di calcolo e le sue conseguenze

Per capire questo argomento, iniziamo con la storia delle comunicazioni mobili. Quando sono apparsi i network 3G e successivamente 4G, internet era già quasi globale. E quando è stato introdotto il 5G, molte persone hanno posto una domanda più che ragionevole: “L’internet sarà più veloce – ma cosa cambia?”

Nella realtà, l’aumento della velocità di internet non si riduce alla comodità dell’utente. Trasforma l’intero paesaggio tecnologico. Emergono casi d’uso che precedentemente erano impossibili. Il 5G si è rivelato essere molto più veloce del 4G, e questo balzo non è stato graduale, come il passaggio da 1G a 2G, ma esponenziale. Di conseguenza, nuove applicazioni, dispositivi e intere classi di tecnologia possono apparire.

Le telecamere dei semafori, i sistemi di analisi del traffico in tempo reale e i meccanismi di regolazione del traffico automatizzati – tutto ciò diventa possibile grazie alle nuove tecnologie di comunicazione. La polizia ottiene nuovi modi per scambiare dati, e nello spazio, i telescopi e i satelliti possono trasmettere enormi quantità di informazioni alla Terra. Un balzo qualitativo in una tecnologia fondamentale guida lo sviluppo dell’intero ecosistema.

Lo stesso principio si applica alla potenza di calcolo. Immaginiamo la capacità di calcolo totale dell’umanità in unità ipotetiche. Oggi, potremmo avere, diciamo, dieci di queste unità. Con esse, possiamo generare immagini e video, scrivere testi, creare materiali di marketing… Questo è già sostanziale, ma la gamma di applicazioni è limitata principalmente.

Ora immaginiamo di avere non dieci, ma mille di queste unità. All’improvviso, tecnologie che erano precedentemente troppo costose diventano fattibili, e le startup che erano state abbandonate a causa dei costi di calcolo elevati iniziano a avere senso economico.

Prendiamo ad esempio i robotaxi. Oggi, si basano principalmente su computer locali relativamente deboli installati nel veicolo. Tuttavia, se il flusso video venisse trasmesso al cloud con enormi risorse di calcolo, i dati potrebbero essere elaborati e restituiti in tempo reale. E questo è critico: un’auto in movimento a 100 km/h deve prendere decisioni in frazioni di secondo – andare dritto, girare, frenare o non frenare.

È quando un’industria di robotaxi completamente funzionante diventa possibile, non solo soluzioni isolate come quelle che vediamo oggi. Qualsiasi computer locale installato in un’auto è intrinsecamente limitato in un modo che un sistema connesso non è. Più velocemente possiamo scalare, più velocemente il mondo intorno a noi cambierà.

Accesso ai chip e il “biglietto d’oro” nell’IA

Nel contesto della potenza di calcolo, sorge la domanda: l’accesso ai chip moderni sta diventando il “biglietto d’oro” per entrare nel mercato dell’IA? I grandi player che firmano contratti con i produttori di chip o li producono essi stessi stanno creando un divario tra le grandi aziende e tutti gli altri?

Un tale divario si verifica solo in un caso: se un modello di business si concentra esclusivamente sulla vendita di chip ai grandi clienti. Nella pratica, i produttori come NVIDIA mirano a fornire soluzioni cloud per tutti. I loro chip ottimizzati sono disponibili nel cloud sia per OpenAI che per sviluppatori indipendenti.

Anche le alleanze strategiche tra aziende come Google, Anthropic, Microsoft, OpenAI, Amazon e NVIDIA sono principalmente partnership per l’utilizzo condiviso di risorse, piuttosto che tentativi di chiudere il mercato. Questo modello consente l’allocazione efficiente della potenza di calcolo, accelerando così lo sviluppo tecnologico.

Se tracciamo la catena di utilizzo delle risorse di calcolo, inizia con l’utente finale. Ad esempio, quando si utilizza WhatsApp per videochiamate e messaggistica, l’azienda deve assicurarsi che il servizio funzioni: archiviazione e elaborazione dei dati, esecuzione di modelli per la pulizia dei video, aggiunta di effetti e miglioramento della qualità delle immagini.

Mantenere server proprietari è costoso, diventano obsoleti e richiedono una costante manutenzione. È per questo che sono emerse le soluzioni cloud, “il cloud”. Il mercato è dominato da tre giocatori: Google Cloud, AWS e Microsoft Azure. Altre aziende non possono competere a questo livello: la scala dell’infrastruttura è troppo vasta.

I servizi cloud sono enormi centri di dati con raffreddamento, alimentazione e manutenzione continua. Ospitano server e chip specializzati di NVIDIA, AMD e altri produttori, consentendo processi di calcolo su larga scala.

Qui arriviamo alla domanda chiave che ho discusso nella mia precedente colonna sui data center, e voglio continuare qui: qual è il principale collo di bottiglia in questo sistema? È la scarsità di elettricità o la difficoltà di raffreddamento dei data center in regioni dove il clima lo rende particolarmente impegnativo? In realtà, il segreto si trova nei chip stessi…

Il sacro graal

Perché NVIDIA oggi è valutata intorno ai 5 trilioni di dollari e conta tra le aziende più di successo al mondo? La ragione è semplice: NVIDIA produce i chip su cui vengono addestrati e eseguiti i modelli di intelligenza artificiale.

Ognuno di questi chip consuma enormi quantità di elettricità quando si addestrano grandi modelli o si elaborano volumi di dati in costante crescita. Ma come viene utilizzata efficientemente quell’energia? È qui che entrano in gioco i chip specializzati; gestiscono compiti specifici molto più efficientemente dei GPU di uso generico.

I modelli di intelligenza artificiale differiscono. OpenAI, ad esempio, ha una famiglia di modelli, Anthropic un’altra. I concetti possono essere simili, ma le strutture matematiche e i processi di calcolo sono diversi. Un chip di uso generico, quando si addestra un modello OpenAI (come ChatGPT) rispetto a un modello Anthropic (come Claude), agisce come uno “strumento universale”, consumando, diciamo, 100.000 ore di calcolo per un modello e 150.000 per un altro. L’efficienza varia notevolmente e raramente è ottimale.

Le aziende risolvono questo problema producendo chip specializzati. Ad esempio, un chip può essere ottimizzato per l’architettura ChatGPT e addestrarla in, diciamo, 20 minuti, mentre un altro è personalizzato per l’architettura Anthropic e completa l’addestramento in 20 minuti. Il consumo di energia e il tempo di addestramento vengono ridotti molte volte rispetto a un chip di uso generico.

Quando questi chip vengono venduti a grandi aziende, come Google, Amazon, Microsoft o Azure, vengono offerti come prodotti autonomi. Gli utenti possono scegliere, ad esempio, un chip ottimizzato per un modello YOLO o un chip più semplice e meno costoso per un’architettura Xen. In questo modo, le aziende ottengono accesso a risorse di calcolo precisamente adattate ai loro compiti, piuttosto che acquistare GPU di uso generico. Se un utente ha dieci funzioni diverse, può utilizzare dieci chip specializzati diversi.

La tendenza è chiara: i chip specializzati stanno gradualmente sostituendo quelli di uso generico. Molti startup lavorano ora con ASIC (Application-Specific Integrated Circuits), chip progettati per compiti di calcolo specifici. I primi ASIC sono apparsi per il mining di Bitcoin: inizialmente, la criptovaluta veniva minata su GPU NVIDIA, poi sono stati creati chip esclusivamente per Bitcoin e non erano in grado di eseguire altri compiti.

Lo vedo nella pratica: la stessa configurazione hardware può produrre risultati completamente diversi a seconda del compito. Nella mia startup Introspector, studiamo questi processi in progetti reali, e come consulente strategico di Keymakr, osservo come i clienti guadagnano efficienza dai chip specializzati, consentendo ai modelli di eseguire più velocemente. Progetti che precedentemente si bloccavano durante l’addestramento o l’esecuzione raggiungono risultati stabili con questo approccio.

Tuttavia, una specializzazione ristretta comporta rischi. Un chip ottimizzato per l’architettura Anthropic non funzionerà per l’addestramento di modelli OpenAI, e viceversa. Ogni nuova architettura richiede una nuova generazione di hardware, creando un rischio di “deprecazione” su larga scala. Se Anthropic rilascia una nuova architettura domani, tutti i chip della generazione precedente diventano inefficienti o inutili. Produrre nuovi chip costa miliardi di dollari e può richiedere anni.

Questo crea un dilemma: dovremmo creare chip specializzati che funzionano perfettamente in uno scenario ristretto, o continuare a produrre chip di uso generico che risolvono tutti i compiti in modo moderato, ma non richiedono il completo rimpiazzo quando le architetture cambiano?

L’efficienza in questo contesto è misurata da tre parametri principali: tempo di esecuzione, consumo di elettricità e generazione di calore. Questi metriche sono direttamente correlate: più a lungo un sistema funziona, più energia consuma e più calore produce. Ridurre un parametro migliora automaticamente gli altri due.

Qui si trova il “sacro graal” delle prestazioni dell’IA: se almeno uno dei fondamentali metriche di efficienza può essere ottimizzato, le altre metriche migliorano automaticamente anche loro.

Processo sostenibile

Con l’aumento dell’uso di chip specializzati, il problema del rischio di sovrapproduzione è diventato urgente. Attualmente, il surplus di attrezzature è già significativo, e le aziende stanno affrontando questo problema in vari modi sostenibili, tra cui il riutilizzo delle risorse esistenti.

Il riciclo delle attrezzature è diventato un elemento chiave dello sviluppo sostenibile nelle industrie ad alta tecnologia. I chip contengono quantità sostanziali di metalli preziosi e di base, oro, rame, alluminio, palladio e materiali rare, nonché materiali utilizzati nei microchip e nei transistor. Una volta che le attrezzature diventano obsolete, queste risorse preziose possono essere restituite alla produzione, riducendo il costo dei nuovi componenti e contemporaneamente riducendo l’impronta ambientale dell’industria.

Alcune fabbriche specializzate e aziende si concentrano sul riciclo e sull’estrazione di metalli preziosi da componenti obsoleti. Ad esempio, alcune strutture utilizzano processi idrometallurgici e metodi chimici avanzati per estrarre oro e rame con un alto grado di purezza, consentendo a questi materiali di essere riutilizzati in nuovi chip.

Inoltre, le aziende stanno implementando modelli a ciclo chiuso, in cui le attrezzature vecchie vengono aggiornate o integrate in nuove soluzioni, riducendo così la necessità di estrazione di risorse primarie. Tali approcci non solo aiutano a minimizzare i rifiuti, ma riducono anche l’impronta di carbonio della produzione, poiché l’estrazione e l’elaborazione tradizionali dei metalli richiedono energia significativa.

La gestione sostenibile del ciclo di vita dei chip e delle attrezzature potrebbe diventare uno standard industriale, in cui il progresso tecnologico si allinea con la responsabilità ambientale.