Hans Hasselby-Andersen, director general al Lotus Microsystems – Seria de interviuri

Hans Hasselby-Andersen este directorul general al Lotus Microsystems și are peste 20 de ani de experiență în industria semiconductorilor, în calitate de fondator, director executiv, membru al consiliului de administrație și investitor. A fondat Merus Audio și a condus compania până la achiziția sa de către Infineon, în 2018, și a ocupat funcții de conducere la Texas Instruments, Infineon, Toccata Technology și Nokia. Activitatea sa s-a concentrat pe introducerea pe piață a tehnologiilor eficiente energetic pentru semiconductori.

Lotus Microsystems este o companie de semiconductori fără fabrici proprii, cu sediul la Copenhaga, care dezvoltă convertoare de putere integrate și soluții de alimentare cu energie pentru echipamente electronice avansate. Tehnologia sa Power Interposer Technology, bazată pe siliciu, combină conversia puterii cu managementul termic, inclusiv prin platforma sa de alimentare verticală cu energie vStrata, destinată inteligenței artificiale și calculului de înaltă performanță. În acest interviu, Hasselby-Andersen vorbește despre pierderile de energie la nivelul serverelor, limitele arhitecturilor convenționale de alimentare și motivele pentru care alimentarea cu energie, răcirea și încapsularea semiconductorilor trebuie proiectate tot mai mult împreună.

Cariera dumneavoastră a cuprins sisteme wireless la Nokia, dezvoltarea semiconductorilor la Texas Instruments, fondarea Merus Audio și conducerea companiei până la achiziția de către Infineon, iar acum conducerea Lotus Microsystems. Cum v-a influențat această experiență modul în care priviți provocările legate de alimentarea cu energie și managementul termic, care se conturează în infrastructura de inteligență artificială de astăzi?

Am ajuns în industria semiconductorilor aproape din întâmplare. Un startup la care lucram a fost achiziționat de Texas Instruments, iar aceasta a fost ocazia prin care am descoperit cum sunt proiectate, fabricate și aduse pe piață cipurile. Nu eram proiectant de cipuri, dar am învățat enorm despre această industrie.

Mai târziu, când am fondat Merus Audio, impulsul a fost identificarea unei lacune clare pe piață: nevoia de a reduce pierderile de energie și de a prelungi autonomia bateriilor în boxele wireless. Apoi, m-am concentrat pe atragerea oamenilor și a tehnologiei potrivite pentru a răspunde acestei nevoi.

După ce Merus a fost achiziționată de Infineon, am petrecut o perioadă în afara industriei semiconductorilor, dar în cele din urmă mi-am dat seama că acolo îmi doream să fiu. Ceea ce m-a atras la Lotus Microsystems a fost faptul că echipa fondatoare se concentra pe trei aspecte fundamentale ale tehnologiei sale avansate de alimentare cu energie: eficiența energetică, dimensiunile fizice și performanța termică. Aceste provocări nu dispar niciodată cu adevărat în domeniul alimentării cu energie, indiferent de aplicație, însă inteligența artificială le-a făcut deosebit de urgente.

Progresul în tehnologia procesoarelor este extraordinar, dar toată această putere de calcul se lovește de constrângeri fizice foarte concrete. Experiența m-a învățat că rezolvarea acestor probleme mai puțin vizibile poate fi la fel de valoroasă ca dezvoltarea tehnologiei asupra căreia se concentrează toată lumea.

Discuțiile despre infrastructura de inteligență artificială se concentrează adesea în mare măsură pe performanța GPU-urilor, rețelistică și răcire. De ce considerați că alimentarea cu energie devine una dintre cele mai importante constrângeri în continuarea extinderii sistemelor de inteligență artificială?

Vorbim mult despre câtă putere de calcul poate furniza un GPU, dar mult mai puțin despre cum putem să-i furnizăm suficientă energie electrică în mod eficient. Acceleratoarele moderne de inteligență artificială au nevoie de curenți de mii de amperi la tensiuni foarte joase, iar necesarul lor de energie se poate schimba aproape instantaneu, în funcție de sarcina de lucru. Sistemele tradiționale de alimentare cu energie nu au fost proiectate pentru un asemenea nivel de solicitare. Poți avea cel mai avansat procesor din lume, dar, dacă nu-i poți furniza o alimentare stabilă atunci când este nevoie, nu-i vei putea valorifica întregul potențial. De aceea, alimentarea cu energie devine o componentă atât de importantă a provocării pe care o reprezintă extinderea sistemelor de inteligență artificială.

Când operatorii centrelor de date vorbesc despre eficiența energetică, cea mai mare parte a atenției se îndreaptă către sistemele de răcire și indicatorii la nivelul întregii instalații. Câtă energie se pierde, de fapt, în interiorul serverului înainte să ajungă la procesor și de ce s-a acordat acestei probleme relativ puțină atenție?

Nu există o singură valoare valabilă pentru toate serverele, însă pierderile pot fi substanțiale. Am estimat că, în anumite arhitecturi cu curenți mari, aproximativ 7–10% din energie se poate pierde în ultimele etape ale alimentării procesorului. Această energie nu contribuie la niciun calcul util, ci se transformă în căldură, care trebuie apoi eliminată. Când operezi mii de procesoare non-stop, chiar și ineficiențele relativ mici devin foarte costisitoare.

Unul dintre motivele pentru care problema a fost trecută cu vederea ține de modul în care am măsurat în mod tradițional eficiența centrelor de date. Eficiența utilizării energiei, sau PUE, a devenit standardul industriei și este utilă pentru a înțelege consumul suplimentar al instalației, inclusiv cel asociat răcirii și distribuției energiei. Însă nu arată cât de eficient este transformată și furnizată energia electrică în interiorul serverului propriu-zis.

Nu sugerez că eficiența răcirii nu este importantă; este, fără îndoială, importantă. Dar e oarecum paradoxal să cheltuim sume uriașe pentru eliminarea căldurii, fără să acordăm suficientă atenție surselor unei părți din această căldură inutilă. Ar trebui să încercăm să prevenim pierderile de la bun început.

Pe măsură ce GPU-urile și alte acceleratoare de inteligență artificială consumă tot mai multă energie, ce limitări apar în arhitecturile tradiționale de alimentare cu energie la nivelul plăcii?

Problema devine mai clară când analizăm cum ajunge, de fapt, energia electrică la un GPU. Într-un design tradițional, convertoarele de putere sunt amplasate lângă procesor, iar curentul electric parcurge orizontal placa de circuit pentru a ajunge la acesta. Distanța poate părea nesemnificativă, dar, când circulă mii de amperi, chiar și o rezistență mică contează. Pierderile rezistive cresc proporțional cu pătratul curentului, ceea ce înseamnă că dublarea curentului prin aceeași rezistență poate cvadrupla aceste pierderi.

O altă provocare este să răspunzi la schimbările rapide ale cererii de putere, menținând în același timp o tensiune stabilă. Inginerii pot compensa adăugând condensatoare și alte componente, însă aceste soluții ocupă spațiu valoros. În cele din urmă, este mai logic să regândești arhitectura decât să continui să adaugi componente la designul existent.

Ce schimbări trebuie să aibă loc în modul în care energia electrică este distribuită de la rackul serverelor la procesor, dacă industria vrea să continue să crească densitatea de calcul fără a genera probleme nesustenabile de natură termică sau de eficiență?

Se întâmplă deja multe inovații la nivelul rackului, inclusiv tranziția către distribuția energiei electrice la tensiuni mai mari. Acest lucru este important, deoarece tensiunile mai mari permit transmiterea electricității cu un curent mai mic, reducând pierderile pe distanțe mai mari. Însă, în cele din urmă, electricitatea trebuie în continuare convertită la tensiunile foarte joase de care au nevoie procesoarele, iar aici persistă unele dintre cele mai dificile provocări.

Una dintre cele mai promițătoare evoluții este distribuția verticală a energiei, care plasează conversia acesteia direct sub procesor, nu alături de el. Scurtarea traseului electric ajută la reducerea pierderilor și la îmbunătățirea timpilor de răspuns. Însă această soluție aduce și o provocare proprie: componentele care generează căldură ajung mult mai aproape unele de altele. Pentru ca aceste arhitecturi să funcționeze la scară largă, trebuie să nu mai tratăm distribuția energiei, managementul termic și integrarea componentelor ca pe niște demersuri inginerești separate. Acestea trebuie proiectate împreună, de la bun început.

Lotus Microsystems a lansat recent platforma sa vStrata pentru distribuția verticală a energiei. Ce problemă urmărește să rezolve distribuția verticală a energiei și prin ce diferă această abordare de arhitecturile convenționale de alimentare utilizate în prezent în serverele AI?

Ideea de bază a distribuției verticale a energiei este relativ simplă. În loc să deplasezi cantități enorme de curent pe orizontală, de-a lungul unei plăci de circuit, amplasezi sursa de alimentare direct sub procesor. Astfel, traseul electric se scurtează considerabil, ceea ce reduce pierderile și ajută sistemul să reacționeze mai rapid la modificările cerințelor de putere.

Însă există o diferență importantă între apropierea sursei de alimentare de procesor și rezolvarea efectivă a întregii probleme. Concentrezi și căldura într-un spațiu mai mic, chiar lângă componente care se confruntă deja cu solicitări termice semnificative. Dacă nu abordezi această problemă, riști să creezi un nou blocaj în timp ce îl rezolvi pe cel inițial.

Tocmai acest lucru ne-am propus să-l abordăm cu vStrata. Tehnologia noastră proprietară Power Interposer Technology, pe bază de siliciu, ne permite să distribuim energia pe verticală, integrând totodată managementul termic în aceeași arhitectură. Primul nostru modul, LSC0580, este proiectat să atingă o eficiență de până la 96% la punctul de sarcină, cu reduceri ale temperaturii de până la 25°C în configurații optimizate. Scopul nu este doar să deplasăm mai mult curent, ci să ajutăm centrele de date să obțină mai multă putere de calcul utilă din aceeași amprentă fizică, reducând în același timp consumul suplimentar de energie și necesarul de răcire.

Industria AI pornește adesea de la premisa că viitoarele creșteri de performanță vor proveni de la cipuri mai bune sau de la procese semiconductoare mai avansate. Ar putea îmbunătățirile arhitecturii de alimentare să devină, în cele din urmă, la fel de importante pentru performanța AI ca progresele procesoarelor în sine?

Absolut. Performanța teoretică a unui procesor este utilă doar dacă sistemul din jurul lui îi permite să funcționeze la acel nivel. Dacă alimentarea cu energie nu poate ține pasul cu cererea sau dacă o căldură excesivă obligă sistemul să-și reducă performanța, nu obții tot ceea ce ai plătit. Este interesant faptul că o arhitectură de alimentare mai bună poate contribui la valorificarea unei performanțe susținute mai mari de pe hardware-ul existent, fără să fie neapărat nevoie să schimbi procesorul. Nu aș prezenta situația ca pe o alegere între cipuri mai bune și o infrastructură mai bună. Avem nevoie de ambele și mă aștept ca relația dintre ele să devină tot mai importantă.

Centrele de date AI exercită deja o presiune considerabilă asupra rețelelor electrice din întreaga lume. În ce măsură ar putea îmbunătățirile conversiei și distribuției energiei la nivelul serverelor să reducă amprenta energetică totală a infrastructurii AI la scară largă?

Potențialul este semnificativ, deși este dificil să-l exprimi printr-o singură cifră, deoarece impactul depinde de arhitectura și dimensiunea instalației. O îmbunătățire de un punct procentual într-o etapă de conversie nu se traduce automat într-o reducere egală a consumului total de electricitate al centrului de date.

Dar să ne gândim ce se întâmplă când multiplicăm chiar și îmbunătățiri modeste ale eficienței la nivelul miilor de procesoare care funcționează continuu. Am putea vorbi despre reduceri semnificative ale energiei irosite, costurilor de exploatare, cheltuielilor de capital și cantității de căldură pe care sistemele de răcire trebuie să o gestioneze. Acest lucru este deosebit de valoros atunci când capacitatea rețelei electrice limitează deja locurile în care pot fi construite centre de date noi și ritmul în care pot fi construite.

Altfel spus, energia cea mai verde este energia pe care nu o consumi. S-a pus un accent enorm pe asigurarea unei cantități mai mari de energie pentru a susține extinderea IA, ceea ce este de înțeles, dar ar trebui să ne preocupe în aceeași măsură folosirea mai eficientă a electricității deja disponibile.

Pe măsură ce hardware-ul pentru IA se îndreaptă spre GPU-uri de putere mai mare, acceleratoare personalizate și sisteme de calcul tot mai dense, cu ce blocaje tehnice credeți că se vor confrunta inginerii din domeniul alimentării cu energie în următorii câțiva ani?

Necesarul de curent va continua să crească, iar provocările pe care le generează sunt deja vizibile. Unele procesoare pentru IA necesită câteva mii de amperi, iar modelele viitoare ar putea ajunge la 6.000 sau chiar 8.000 de amperi. Este destul de dificil să furnizezi eficient un asemenea curent, însă menținerea stabilității tensiunii pe măsură ce sarcinile de lucru se schimbă rapid adaugă un nivel suplimentar de complexitate.

De asemenea, industria tinde să considere densitatea curentului principalul indicator al progresului. Este impresionant să furnizezi mai mult curent cu un convertor de putere mai mic, dar dacă generezi aceeași cantitate de căldură într-un spațiu mai mic, nu înseamnă neapărat că ai îmbunătățit sistemul în ansamblu. De fapt, este posibil să fi agravat problema termică. Cred că inginerii care vor reuși să echilibreze eficiența, performanța termică, răspunsul dinamic și fiabilitatea vor face cele mai mari progrese.

Privind spre următoarea generație de infrastructură pentru IA, ce schimbări vor fi necesare în distribuția energiei, răcire, încapsularea semiconductorilor și arhitectura sistemelor pentru a susține o nouă creștere semnificativă a capacității de calcul pentru IA?

Mă aștept să vedem o integrare mult mai strânsă între distribuția energiei și procesorul propriu-zis. Distribuția verticală a energiei este un pas important, dar nu cred că evoluția se va opri aici. Ne orientăm deja spre module de alimentare mai subțiri, care pot fi încorporate în plăcile de circuit, iar, în cele din urmă, spre arhitecturi în care o parte mai mare din funcționalitatea de distribuție a energiei este integrată direct în capsulele xPU. Fiecare pas apropie alimentarea cu energie de locul în care aceasta este efectiv consumată.

Sistemele de răcire vor trebui să evolueze odată cu aceste schimbări. Răcirea cu lichid devine tot mai importantă pentru calculul de înaltă densitate, însă îmbunătățirea modului în care eliminăm căldura este doar o parte a soluției. Trebuie, de asemenea, să reducem cantitatea de căldură inutilă pe care o generăm și să găsim metode mai bune de a o gestiona aproape de sursă.

Poate că cea mai importantă schimbare va privi modul în care sunt dezvoltate aceste sisteme. În mod tradițional, diferitele componente ale ansamblului hardware au fost adesea optimizate într-o oarecare măsură în mod independent. La nivelurile de putere spre care ne îndreptăm, acest lucru devine din ce în ce mai dificil. Producătorii de cipuri, specialiștii în electronică de putere, inginerii specializați în încapsulare și proiectanții de sisteme vor trebui să colaboreze mult mai strâns. Ani la rând am împins la limită capacitățile procesoarelor individuale, însă următoarea etapă a infrastructurii pentru IA va presupune să ne asigurăm că întregul sistem poate susține ceea ce sunt capabile să facă aceste procesoare.

Vă mulțumesc pentru interviul excelent. Cititorii care doresc să afle mai multe despre distribuția verticală a energiei și gestionarea termică pentru infrastructura IA ar trebui să viziteze Lotus Microsystems.