Dincolo de GPU: optimizarea fabricii de IA ca sistem

O fabrică de IA nu este un centru de date mai mare. Este construită special pentru a produce tokenuri inteligente, nu pentru a găzdui pagini web și e-mailuri. Când un hiperscaler sau un neocloud investește miliarde de dolari și ani în construirea unei fabrici de IA, GPU-urile care fac cea mai mare parte a muncii de calcul devin, în mod firesc, o prioritate. Însă optimizarea GPU-ului, de una singură, nu înseamnă optimizarea fabricii din jurul lui. Sistemele de alimentare cu energie și cele termice trebuie să susțină puterea de calcul, iar deciziile luate într-un sistem pot avea consecințe semnificative asupra celorlalte. IA are rolul de a optimiza sisteme complexe, însă fabricile în care este produsă au fost adesea optimizate pe componente, una câte una. Tehnologia geamănului virtual le permite inginerilor să construiască și să eficientizeze întregul sistem înainte chiar de începerea construcției.

De ce proiectarea conservatoare a devenit cea mai sigură opțiune

Având în vedere consecințele grave ale unei defecțiuni a sistemului sau ale unui blocaj de performanță, primele instalații au fost construite cu marje de siguranță și echipamente excesive. În lipsa unui plan de referință pentru această nouă generație de centre de date, o abordare prudentă putea părea cea mai sigură opțiune. Aceste marje ofereau protecție împotriva unor probleme precum vârfurile de temperatură din apropierea cipului, care le pot lăsa operatorilor cel mult un minut pentru a interveni înainte ca echipamentul să se defecteze. În unele dintre primele instalații, până la 10 la sută din energia disponibilă rămânea neutilizată, ca marjă de rezervă.

Fabricile de IA sunt expuse la temperaturi, condiții meteorologice, defecțiuni ale echipamentelor, capacitate insuficientă, deficiențe de proiectare și probleme de întreținere. Având în vedere miza atât de mare, la scara unui gigawatt, fiecare zi de întârziere a capacității poate însemna pierderi de venituri din generarea de tokenuri de aproximativ 100 de milioane de dolari. Prudența părea necesară atunci când nu exista nicio modalitate de a anticipa consecințele acestor probleme.

Provocarea devine și mai mare atunci când aceste riscuri se extind asupra mai multor sisteme independente. O fabrică de IA se bazează pe trei sisteme strâns interconectate: calculul, alimentarea cu energie și managementul termic. GPU-ul necesită un lanț complex de alimentare cu energie, iar căldura pe care o generează trebuie eliminată de un sistem termic la fel de solicitant. Când calculul, alimentarea cu energie și managementul termic sunt tratate ca etape separate, optimizate fiecare în domeniul propriu, echipele pot să nu observe cum afectează celelalte sisteme o decizie luată într-unul dintre ele. Astfel apar puncte nevralgice și dezechilibre, mai ales când alimentarea cu energie și răcirea sunt tratate ca cerințe de infrastructură care trebuie abordate după luarea deciziilor privind calculul.

Alimentarea cu energie și răcirea nu pot fi separate de calcul. Ele fac parte din sistemul care determină cât de eficient poate funcționa infrastructura de calcul. Prin urmare, trecerea constă în renunțarea la optimizarea sistemelor individuale în favoarea optimizării întregii fabrici.

Argumentele în favoarea co-optimizării

Pentru a rezolva această problemă, trebuie să trecem de la optimizarea independentă a fiecărui sistem la co-optimizarea fabricii în ansamblu. Construcția fizică impune luarea deciziilor pe rând: se proiectează un sistem, apoi se construiește altul în jurul lui, iar ulterior se adaugă un altul pentru a-l susține. Astfel, devine dificilă optimizarea fabricii în ansamblu, deoarece fiecare decizie restrânge opțiunile disponibile pentru sistemele proiectate ulterior. Co-optimizarea presupune mutarea acestui proces într-un mediu virtual, unde întregul sistem poate fi modelat, modificat și evaluat înainte ca ceva să fie stabilit definitiv în plan fizic, creând astfel un proiect dinamic.

Modelarea fabricii înainte ca aceasta să existe

Aici devine esențială tehnologia geamănului virtual la nivel de sistem.

Un geamăn virtual folosește modelarea formală a sistemelor pentru a reprezenta împreună infrastructura de calcul, alimentarea cu energie și infrastructura termică și poate modela fabrica de IA înainte ca aceasta să existe în lumea fizică. Spre deosebire de un geamăn digital tradițional, axat pe un activ fizic existent, un geamăn virtual poate modela un sistem înainte ca acesta să existe în lumea fizică. Acesta le permite inginerilor să testeze diferite configurații și să înțeleagă cum afectează modificările aduse unei părți a sistemului celelalte părți, înainte ca opțiunile respective să devină angajamente concrete.

De exemplu, creșterea densității GPU-urilor nu înseamnă pur și simplu adăugarea unei capacități de calcul mai mari. Ea poate spori sarcina electrică, poate modifica cerințele de evacuare a căldurii, poate afecta amplasarea echipamentelor și poate aduce noi aspecte de luat în calcul la punerea în funcțiune. Modelarea împreună a acestor relații le permite inginerilor să evalueze compromisurile înainte de construcție, în loc să le descopere pe măsură ce proiectul avansează.

Tehnologia geamănului virtual le permite inginerilor să facă în mediul virtual o greșeală costisitoare înainte ca aceasta să devină costisitoare în lumea fizică. Ea oferă o modalitate de a identifica probleme și oportunități potențiale în mediul virtual, permițând echipelor să rezolve problemele înainte ca acestea să apară în lumea fizică. Testarea configurațiilor înainte de punerea în funcțiune în lumea fizică permite, de asemenea, identificarea și eliminarea, încă din etapa de proiectare, a marjelor de proiectare inutile, a energiei rămase neutilizate și a risipei cauzate de marjele de siguranță. La scară mare, chiar și reducerile mici se pot traduce în economii de capital de ordinul milioanelor și în acces mai timpuriu la venituri.

 Transformarea modelului într-un instrument predictiv

Modelul poate folosi și simulări bazate pe legile fizicii pentru a anticipa comportamentul sistemului. Atunci când principiile fizice sau chimice care stau la baza sistemului sunt bine cunoscute, instrumentele de simulare pot anticipa comportamentul acestuia. Când datele operaționale abundente oferă o abordare mai bună, modelele de IA și de învățare automată pot completa aceste simulări.

Rezultatul este un mediu în care se poate explora comportamentul sistemului interconectat și se pot coordona deciziile din diferite domenii inginerești. Modelul poate evolua și pe măsură ce devin disponibile date operaționale, astfel încât lecțiile învățate într-o unitate sau într-un ciclu de operare să contribuie la proiectele și deciziile viitoare.

Un plan director pentru fabrica de IA

Industria pune deja bazele acestei abordări. Planul director DSX al NVIDIA codifică un proiect de referință pentru fabrici de IA la scară de gigawați. NVIDIA a început prin a codifica componenta de calcul a acestui plan, folosind modelarea sistemelor și o abordare de simulare cu un geamăn digital, și invită parteneri din ecosistem din domeniile energiei, răcirii și construcțiilor, inclusiv companii precum Eaton, Vertiv și Jacobs, să contribuie cu propriile componente ale proiectului. Interoperabilitatea proiectelor de referință este posibilă prin SysML, care permite definirea la nivel de sistem, în timp ce OpenUSD oferă o bază pentru date centrate pe 3D.

Scopul nu este ca fiecare companie să-și optimizeze propria componentă și apoi să se aștepte ca toate componentele să funcționeze împreună. Expertiza în calcul, alimentare cu energie, răcire și infrastructură trebuie reunită, astfel încât fiecare tehnologie de vârf să contribuie la performanța întregului sistem.

Fiecare industrie își poate optimiza propriul domeniu, însă realizarea unui produs final performant presupune optimizarea acestor sisteme împreună. Pe măsură ce această abordare se maturizează, ea permite, de asemenea, infrastructurii de IA să depășească proiectele-pilot izolate, de sine stătătoare, și să evolueze către sisteme la scară de întreprindere, capabile să gestioneze medii operaționale extrem de complexe.

Optimizarea fabricii de IA, nu doar a GPU-ului

GPU-ul va rămâne esențial pentru performanța fabricii de IA. Însă simpla achiziționare a celor mai bune GPU-uri nu optimizează fabrica din jurul lor. Următoarea generație de infrastructură de IA va depinde de proiectarea sistemelor de calcul, de alimentare cu energie și termice ca părți ale unui singur sistem integrat, de modelarea relațiilor dintre acestea înainte de asumarea unor angajamente fizice majore și de folosirea continuă a ceea ce învață sistemul pentru a îmbunătăți ceea ce urmează. Nu putem prezice viitorul și nici preveni orice greșeală, dar tehnologia geamănului digital poate ajuta echipele să planifice în condiții de incertitudine și să optimizeze fabricile de IA ca pe un sistem.