Oltre la GPU: ottimizzare la fabbrica di IA come sistema

Una fabbrica di IA non è un centro dati più grande. È progettata specificamente per produrre token intelligenti, non per fornire pagine web e gestire la posta elettronica. Quando un hyperscaler o una neocloud investe miliardi di dollari e anni nella costruzione di una fabbrica di IA, le GPU, che svolgono il grosso del lavoro di calcolo, diventano naturalmente una priorità. Ma ottimizzare soltanto la GPU non significa ottimizzare anche la fabbrica che la ospita. I sistemi di alimentazione e gestione termica devono supportare il calcolo, e le decisioni prese in un sistema possono avere conseguenze significative sugli altri. L’IA serve a ottimizzare sistemi complessi, eppure le fabbriche che la producono sono state spesso ottimizzate un componente alla volta. La tecnologia del gemello virtuale consente agli ingegneri di realizzare e ottimizzare l’intero sistema prima ancora che inizi la costruzione.

Perché la progettazione conservativa è diventata l’opzione più sicura

Considerate le gravi conseguenze di un guasto del sistema o di un collo di bottiglia nelle prestazioni, i primi impianti sono stati costruiti con margini di sicurezza e dotazioni hardware eccessivi. In assenza di una tabella di marcia per questa nuova generazione di centri dati, procedere con cautela poteva sembrare l’approccio più sicuro. Questi margini contribuivano a proteggere da problemi come i picchi termici vicino ai chip, che possono lasciare agli operatori appena un minuto per intervenire prima che l’hardware si guasti. In alcuni dei primi impianti, fino al 10 per cento della potenza disponibile restava inutilizzato come margine di riserva.

Le fabbriche di IA sono esposte a temperature, condizioni meteorologiche, guasti alle apparecchiature, capacità insufficiente, carenze di progettazione e problemi di manutenzione. Con una posta in gioco così alta, su scala di gigawatt, ogni giorno di ritardo nell’entrata in funzione della capacità può tradursi in una perdita di ricavi dalla generazione di token pari a circa 100 milioni di dollari. La cautela sembrava necessaria quando non era possibile prevedere l’esito di questi problemi.

La sfida diventa ancora più complessa quando questi rischi coinvolgono più sistemi indipendenti. Una fabbrica di IA dipende da tre sistemi strettamente interconnessi: calcolo, alimentazione e gestione termica. La GPU richiede un’elaborata catena di alimentazione per funzionare e un sistema altrettanto impegnativo per dissipare il calore che genera. Quando calcolo, alimentazione e gestione termica vengono trattati come fasi separate, ciascuna ottimizzata nel proprio ambito, i team possono non cogliere l’impatto che una decisione presa in un sistema ha sugli altri. Si creano così punti ciechi e squilibri, soprattutto quando l’alimentazione e il raffreddamento sono considerati requisiti infrastrutturali da affrontare dopo aver preso le decisioni relative al calcolo.

Alimentazione e raffreddamento non possono essere separati dal calcolo. Fanno parte del sistema che determina l’efficienza con cui il calcolo può operare. Il cambiamento consiste quindi nel passare dall’ottimizzazione dei singoli sistemi a quella dell’intera fabbrica.

Perché puntare sulla co-ottimizzazione

Per risolvere il problema, occorre passare dall’ottimizzazione indipendente di ciascun sistema alla co-ottimizzazione dell’intera fabbrica. La costruzione fisica impone una sequenza di decisioni: si progetta un sistema, poi se ne costruisce un altro attorno a esso e se ne aggiunge un altro ancora per supportarlo. Questo rende difficile ottimizzare la fabbrica nel suo complesso, perché ogni decisione restringe le opzioni disponibili per i sistemi successivi. La co-ottimizzazione richiede di trasferire il processo in un ambiente virtuale, dove è possibile modellare, modificare e valutare l’intero sistema prima che qualsiasi elemento venga definito sul piano fisico, creando così un progetto dinamico.

Modellare la fabbrica prima che esista

È qui che la tecnologia del gemello virtuale a livello di sistema diventa fondamentale.

Un gemello virtuale utilizza la modellazione formale dei sistemi per rappresentare insieme le infrastrutture di calcolo, alimentazione e gestione termica, e consente di modellare la fabbrica di IA prima che esista fisicamente. A differenza di un gemello digitale tradizionale, incentrato su un asset fisico esistente, un gemello virtuale può modellare un sistema prima che esista fisicamente. Consente agli ingegneri di provare diverse configurazioni e capire come le modifiche apportate a una parte del sistema influiscano sulle altre, prima che quelle scelte diventino impegni concreti.

Per esempio, aumentare la densità delle GPU non significa semplicemente aggiungere più capacità di calcolo. Può aumentare il carico elettrico, modificare i requisiti di dissipazione del calore, incidere sul posizionamento delle apparecchiature e introdurre nuove esigenze in fase di messa in servizio. Modellare insieme queste relazioni consente agli ingegneri di valutare i compromessi prima della costruzione, anziché scoprirli man mano che il progetto procede.

La tecnologia del gemello virtuale consente agli ingegneri di commettere virtualmente un errore costoso prima che diventi un errore costoso nel mondo fisico. Offre un modo per individuare potenziali problemi e opportunità nell’ambiente virtuale, consentendo ai team di risolvere i problemi prima che si presentino nel mondo fisico. Provare le configurazioni prima della messa in servizio fisica permette inoltre di individuare e rimuovere già in fase di progettazione margini progettuali non necessari, potenza inutilizzata e sprechi dovuti ai margini di sicurezza. Su larga scala, anche riduzioni modeste possono tradursi in milioni di risparmi sugli investimenti e consentire di generare ricavi prima.

 Rendere il modello predittivo

Il modello può inoltre utilizzare simulazioni basate sulla fisica per prevedere il comportamento del sistema. Quando i principi fisici o chimici alla base sono ben compresi, gli strumenti di simulazione possono prevedere il comportamento del sistema. Quando un’ampia disponibilità di dati operativi offre un approccio migliore, i modelli di IA e apprendimento automatico possono integrare le simulazioni.

Il risultato è un ambiente in cui esplorare il comportamento del sistema accoppiato e coordinare le decisioni tra i diversi ambiti ingegneristici. Il modello può inoltre evolversi man mano che diventano disponibili dati operativi, così che le lezioni apprese in una struttura o in un ciclo operativo possano orientare la progettazione e le decisioni future.

Un progetto guida per la fabbrica di IA

Il settore sta già gettando le basi per questo approccio. Il progetto guida DSX di NVIDIA codifica un progetto di riferimento per fabbriche di IA su scala di gigawatt. NVIDIA ha iniziato codificando la componente informatica di questo progetto guida, utilizzando la modellazione dei sistemi e un approccio di simulazione basato su un gemello virtuale; sta inoltre invitando i partner dell’ecosistema attivi nei settori dell’energia, del raffreddamento e delle costruzioni, tra cui aziende come Eaton, Vertiv e Jacobs, a contribuire con le rispettive parti del progetto. L’interoperabilità dei progetti di riferimento è resa possibile da SysML , che supporta la definizione a livello di sistema, mentre OpenUSD fornisce una base per i dati incentrati sul 3D.

L’obiettivo non è che ogni azienda ottimizzi il proprio componente aspettandosi poi che tutti i componenti si integrino. Occorre riunire le competenze in materia di calcolo, energia, raffreddamento e strutture, affinché ogni tecnologia ai vertici del settore contribuisca alle prestazioni dell’intero sistema.

Ogni settore può ottimizzare il proprio ambito, ma per realizzare un prodotto finale potente è necessario ottimizzare insieme questi sistemi. Con la maturazione di questo approccio, l’infrastruttura di IA può inoltre superare i progetti pilota isolati e una tantum, evolvendo verso sistemi su scala aziendale in grado di gestire ambienti operativi estremamente complessi.

Ottimizzare la fabbrica, non solo la GPU

La GPU continuerà a essere fondamentale per le prestazioni della fabbrica di IA. Tuttavia, acquistare le GPU migliori non basta, di per sé, a ottimizzare la fabbrica che le ospita. La prossima generazione di infrastrutture di IA dipenderà dalla progettazione integrata dei sistemi di calcolo, alimentazione e gestione termica, dalla modellazione delle loro interazioni prima di assumere importanti impegni sul piano concreto e dall’uso continuo degli insegnamenti ricavati dal sistema per migliorare ciò che verrà dopo. Non possiamo prevedere il futuro né prevenire ogni errore, ma la tecnologia del gemello virtuale può aiutare i team a pianificare in condizioni di incertezza e a ottimizzare le fabbriche di IA come un sistema.