Hans Hasselby-Andersen, dyrektor generalny Lotus Microsystems – cykl wywiadów

Hans Hasselby-Andersen jest dyrektorem generalnym Lotus Microsystems i ma ponad 20 lat doświadczenia w branży półprzewodników jako założyciel, członek kadry kierowniczej, członek zarządu i inwestor. Założył Merus Audio i kierował firmą aż do jej przejęcia przez Infineon w 2018 roku. Zajmował też stanowiska kierownicze w Texas Instruments, Infineon, Toccata Technology i Nokia. Jego praca koncentrowała się na wprowadzaniu na rynek energooszczędnych technologii półprzewodnikowych.

Lotus Microsystems to bezfabryczna firma z branży półprzewodników z siedzibą w Kopenhadze, która opracowuje zintegrowane przetwornice mocy i rozwiązania do dostarczania energii dla zaawansowanej elektroniki. Jej krzemowa technologia Power Interposer łączy konwersję mocy z zarządzaniem termicznym, między innymi za pośrednictwem platformy pionowego dostarczania energii vStrata przeznaczonej do zastosowań związanych ze sztuczną inteligencją i obliczeniami wysokiej wydajności. W tym wywiadzie Hasselby-Andersen omawia straty energii na poziomie serwerów, ograniczenia konwencjonalnych architektur zasilania oraz to, dlaczego dostarczanie energii, chłodzenie i obudowywanie półprzewodników coraz częściej trzeba projektować łącznie.

Pańska kariera obejmowała systemy bezprzewodowe w Nokia, rozwój półprzewodników w Texas Instruments, założenie Merus Audio i doprowadzenie do przejęcia firmy przez Infineon, a obecnie kierowanie Lotus Microsystems. Jak te doświadczenia wpłynęły na Pańskie podejście do wyzwań związanych z zasilaniem i zarządzaniem temperaturą, które pojawiają się w dzisiejszej infrastrukturze AI?

Do branży półprzewodników trafiłem niemal przez przypadek. Startup, z którym współpracowałem, został przejęty przez Texas Instruments, co pozwoliło mi po raz pierwszy poznać proces projektowania i produkcji układów scalonych oraz wprowadzania ich na rynek. Sam nie projektowałem układów, ale bardzo dużo dowiedziałem się o tej branży.

Później, gdy założyłem Merus Audio, impulsem do działania było dostrzeżenie wyraźnej luki rynkowej: potrzeby ograniczenia strat energii i wydłużenia czasu pracy bezprzewodowych głośników na baterii. Następnie skupiłem się na pozyskaniu odpowiednich ludzi i technologii, aby rozwiązać ten problem.

Po przejęciu Merus przez Infineon przez pewien czas pracowałem poza branżą półprzewodników, ale ostatecznie zdałem sobie sprawę, że właśnie w niej chcę działać. Do Lotus Microsystems przyciągnęło mnie to, że zespół założycielski koncentrował się na trzech podstawowych aspektach zaawansowanej technologii dostarczania energii: efektywności energetycznej, rozmiarze fizycznym i parametrach termicznych. Te wyzwania nie znikają w przypadku żadnego zastosowania, ale rozwój AI sprawił, że stały się szczególnie pilne.

Obserwujemy niezwykły postęp w technologii procesorów, ale tak duża moc obliczeniowa wiąże się z bardzo realnymi ograniczeniami fizycznymi. Z mojego doświadczenia wynika, że rozwiązywanie mniej widocznych problemów może być równie wartościowe jak rozwijanie technologii, na której wszyscy skupiają uwagę.

W dyskusjach o infrastrukturze AI dużo uwagi poświęca się wydajności procesorów GPU, sieciom i chłodzeniu. Dlaczego uważa Pan, że samo dostarczanie energii staje się jednym z najważniejszych ograniczeń dalszego skalowania systemów AI?

Dużo rozmawiamy o tym, jaką moc obliczeniową może zapewnić procesor GPU, a znacznie mniej o tym, jak efektywnie dostarczyć do niego wystarczającą ilość energii elektrycznej. Nowoczesne akceleratory AI wymagają prądu o natężeniu tysięcy amperów przy bardzo niskim napięciu, a ich zapotrzebowanie na energię może zmieniać się niemal natychmiast, zależnie od obciążenia. Tradycyjne systemy zasilania nie zostały zaprojektowane z myślą o tak dużych wymaganiach. Można mieć najbardziej zaawansowany procesor na świecie, ale jeśli nie da się dostarczyć do niego stabilnego zasilania wtedy, gdy jest potrzebne, nie będzie można w pełni wykorzystać jego możliwości. Dlatego dostarczanie energii staje się tak istotnym elementem wyzwania, jakim jest skalowanie AI.

Operatorzy centrów danych, mówiąc o efektywności energetycznej, często koncentrują się na systemach chłodzenia i wskaźnikach dotyczących całego obiektu. Ile energii faktycznie traci się wewnątrz serwera, zanim dotrze do procesora, i dlaczego temu zagadnieniu poświęca się stosunkowo niewiele uwagi?

Nie ma jednej wartości, która dotyczyłaby każdego serwera, ale straty mogą być znaczne. Szacujemy, że w niektórych architekturach o dużym natężeniu prądu na końcowych etapach dostarczania energii do procesora może być tracone około 7–10% mocy. Energia ta nie jest wykorzystywana do żadnych użytecznych obliczeń — zamienia się w ciepło, które trzeba następnie odprowadzić. Gdy przez całą dobę działa kilka tysięcy procesorów, nawet stosunkowo niewielkie straty stają się bardzo kosztowne.

Jednym z powodów, dla których problem ten był pomijany, jest sposób, w jaki tradycyjnie mierzymy efektywność centrów danych. Wskaźnik Power Usage Effectiveness, czyli PUE, stał się standardem branżowym i pomaga ocenić zużycie energii przez infrastrukturę obiektu, w tym chłodzenie i dystrybucję energii. Nie pokazuje jednak, jak efektywnie energia elektryczna jest przetwarzana i dostarczana wewnątrz samego serwera.

Nie twierdzę, że efektywność chłodzenia nie jest ważna — jest bardzo ważna. Jest jednak coś nieco przewrotnego w wydawaniu ogromnych pieniędzy na odprowadzanie ciepła bez dostatecznej uwagi poświęcanej temu, skąd bierze się część tego niepotrzebnego ciepła. Powinniśmy przede wszystkim zapobiegać takim stratom.

W miarę jak procesory GPU i inne akceleratory AI zużywają coraz więcej energii, jakie ograniczenia ujawniają się w tradycyjnych architekturach zasilania na poziomie płytki?

Problem staje się bardziej zrozumiały, gdy przyjrzymy się temu, jak energia elektryczna faktycznie dociera do GPU. W tradycyjnej konstrukcji przetwornice znajdują się obok procesora, a prąd płynie poziomo przez płytkę drukowaną, by do niego dotrzeć. Ta odległość może wydawać się nieistotna, ale gdy przepływa prąd o natężeniu tysięcy amperów, nawet niewielki opór ma znaczenie. Straty rezystancyjne rosną proporcjonalnie do kwadratu natężenia prądu, co oznacza, że podwojenie natężenia przy takim samym oporze może czterokrotnie zwiększyć te straty.

Wyzwaniem jest również reagowanie na szybkie zmiany zapotrzebowania na moc przy jednoczesnym utrzymaniu stabilnego napięcia. Inżynierowie mogą temu zaradzić, dodając kondensatory i inne podzespoły, ale takie rozwiązania zajmują cenną przestrzeń. W końcu bardziej sensowne staje się przemyślenie architektury na nowo niż dalsze rozbudowywanie istniejącej konstrukcji.

Jakie zmiany w sposobie dostarczania energii elektrycznej z szafy serwerowej do procesora są konieczne, jeśli branża chce nadal zwiększać gęstość obliczeniową, nie powodując przy tym niemożliwych do utrzymania problemów z temperaturą ani efektywnością?

Na poziomie szaf serwerowych już wiele się dzieje, między innymi przechodzi się na dystrybucję energii elektrycznej pod wyższym napięciem. Ma to znaczenie, ponieważ wyższe napięcie pozwala przesyłać prąd o mniejszym natężeniu, ograniczając straty na większych odległościach. Ostatecznie jednak napięcie nadal trzeba obniżyć do bardzo niskiego poziomu wymaganego przez procesory. I właśnie tu wciąż pojawiają się jedne z najtrudniejszych wyzwań.

Jednym z najbardziej obiecujących rozwiązań jest pionowe dostarczanie energii, w którym przetwarzanie energii odbywa się bezpośrednio pod procesorem, a nie obok niego. Skrócenie drogi przepływu prądu pomaga ograniczyć straty i skrócić czas reakcji. Wiąże się to jednak z dodatkowym wyzwaniem: elementy wytwarzające ciepło znajdują się znacznie bliżej siebie. Aby takie architektury mogły działać na dużą skalę, musimy przestać traktować dostarczanie energii, zarządzanie temperaturą i projektowanie obudów jako odrębne zadania inżynieryjne. Należy je projektować wspólnie od samego początku.

Firma Lotus Microsystems niedawno zaprezentowała platformę vStrata do pionowego dostarczania energii. Jaki problem ma rozwiązać pionowe dostarczanie energii i czym to podejście różni się od konwencjonalnych architektur zasilania stosowanych obecnie w serwerach AI?

Podstawowa idea pionowego dostarczania energii jest dość prosta. Zamiast przesyłać ogromne natężenie prądu poziomo przez płytkę drukowaną, umieszcza się źródło zasilania bezpośrednio pod procesorem. Dzięki temu droga przepływu prądu znacznie się skraca, co ogranicza straty i pozwala systemowi szybciej reagować na zmiany zapotrzebowania na moc.

Trzeba jednak odróżnić samo umieszczenie źródła zasilania bliżej procesora od rozwiązania całego problemu. Ciepło koncentruje się wtedy na mniejszej przestrzeni, tuż obok podzespołów, które już pracują pod znacznym obciążeniem cieplnym. Jeśli się tym nie zajmiemy, możemy stworzyć nowe wąskie gardło, usuwając pierwotne.

Właśnie temu postanowiliśmy zaradzić za pomocą vStrata. Nasza autorska krzemowa technologia Power Interposer Technology umożliwia pionowe dostarczanie energii i jednoczesne uwzględnienie zarządzania temperaturą w tej samej architekturze. Nasz pierwszy moduł, LSC0580, został zaprojektowany tak, by zapewniać sprawność przy punkcie obciążenia do 96%, a w zoptymalizowanych konfiguracjach obniżać temperaturę nawet o 25°C. Celem nie jest samo zwiększenie natężenia prądu, lecz umożliwienie centrom danych uzyskania większej mocy obliczeniowej z tej samej przestrzeni fizycznej, przy jednoczesnym ograniczeniu zapotrzebowania na energię i chłodzenie.

W branży AI często zakłada się, że przyszły wzrost wydajności będzie wynikać z lepszych układów scalonych lub bardziej zaawansowanych procesów półprzewodnikowych. Czy udoskonalenia architektury zasilania mogą ostatecznie mieć dla wydajności AI równie duże znaczenie co postępy w samych procesorach?

Zdecydowanie. Teoretyczna wydajność procesora ma znaczenie tylko wtedy, gdy reszta systemu pozwala mu ją osiągnąć. Jeśli zasilanie nie nadąża za zapotrzebowaniem albo nadmierne nagrzewanie zmusza system do ograniczenia wydajności, nie uzyskujesz wszystkiego, za co zapłaciłeś. Co ciekawe, lepsza architektura zasilania może pomóc w uzyskaniu wyższej, utrzymywanej wydajności z istniejącego sprzętu, bez konieczności zmiany samego procesora. Nie przedstawiałbym tego jako wyboru między lepszymi układami scalonymi a lepszą infrastrukturą. Potrzebujemy obu, a ich wzajemne powiązania będą, jak sądzę, coraz ważniejsze.

Centra danych AI już teraz wywierają znaczny nacisk na sieci elektroenergetyczne na całym świecie. W jakim stopniu udoskonalenia przetwarzania i dostarczania energii na poziomie serwerów mogłyby zmniejszyć całkowity ślad energetyczny wielkoskalowej infrastruktury AI?

Potencjalne korzyści są znaczne, choć trudno podać jedną wartość, ponieważ wpływ zależy od architektury i skali obiektu. Poprawa o jeden punkt procentowy na jednym etapie konwersji nie przekłada się automatycznie na taki sam spadek całkowitego zużycia energii elektrycznej przez centrum danych.

Warto jednak zastanowić się, co się dzieje, gdy nawet niewielką poprawę wydajności pomnożymy przez tysiące procesorów pracujących bez przerwy. Może to przynieść znaczne ograniczenie marnowanej energii, kosztów operacyjnych, nakładów inwestycyjnych oraz ilości ciepła, którą muszą odprowadzać systemy chłodzenia. Ma to szczególne znaczenie, gdy dostępna moc sieci już teraz ogranicza to, gdzie i jak szybko można budować nowe centra danych.

Inaczej mówiąc, najbardziej ekologiczna energia to ta, której w ogóle nie zużywamy. Wiele uwagi poświęca się pozyskiwaniu większej ilości energii, aby wspierać rozwój AI, co jest zrozumiałe, ale równie mocno powinniśmy się interesować lepszym wykorzystaniem dostępnej już energii elektrycznej.

W miarę jak sprzęt do obsługi AI będzie ewoluował w kierunku wydajniejszych energetycznie GPU, wyspecjalizowanych akceleratorów i coraz bardziej zagęszczonych systemów obliczeniowych, jakie techniczne wąskie gardła napotkają, Pana zdaniem, inżynierowie systemów zasilania w ciągu najbliższych kilku lat?

Wymagania dotyczące natężenia prądu będą nadal rosły, a wyzwania z tym związane już dają o sobie znać. Niektóre procesory AI wymagają prądu o natężeniu kilku tysięcy amperów, a w przyszłych konstrukcjach może ono sięgnąć nawet 6000, a nawet 8000 amperów. Efektywne dostarczanie prądu o takim natężeniu jest samo w sobie trudne, a utrzymanie stabilnego napięcia przy gwałtownie zmieniającym się obciążeniu dodatkowo komplikuje sytuację.

Branża ma też tendencję do traktowania gęstości prądu jako głównej miary postępu. Imponujące jest dostarczenie większego prądu z mniejszego przetwornika mocy, ale jeśli w mniejszej przestrzeni wytwarza się tyle samo ciepła, nie oznacza to, że cały system działa lepiej. W rzeczywistości problem cieplny może się nawet pogłębić. Uważam, że największe postępy osiągną inżynierowie, którzy potrafią zapewnić równowagę między wydajnością, parametrami cieplnymi, szybkością reakcji na zmiany i niezawodnością.

Patrząc na kolejną generację infrastruktury AI, jakie zmiany w zakresie dostarczania energii, chłodzenia, obudów półprzewodnikowych i architektury systemów będą niezbędne, aby umożliwić kolejny znaczący wzrost mocy obliczeniowej AI?

Spodziewam się znacznie ściślejszej integracji systemu zasilania z samym procesorem. Zasilanie pionowe to ważny krok, ale nie sądzę, by na tym kończyła się ewolucja. Już teraz pracujemy nad cieńszymi modułami zasilania, które można osadzać na płytkach drukowanych, a z czasem także nad architekturami, w których większa część układu zasilania będzie zintegrowana bezpośrednio z obudowami xPU. Każdy kolejny etap przybliża zasilanie do miejsca, w którym energia jest faktycznie zużywana.

Chłodzenie również będzie musiało ewoluować wraz z tymi zmianami. Chłodzenie cieczą zyskuje na znaczeniu w obliczeniach o dużej gęstości mocy, ale skuteczniejsze odprowadzanie ciepła to tylko część rozwiązania. Musimy też ograniczyć ilość niepotrzebnie wytwarzanego ciepła i znaleźć lepsze sposoby zarządzania nim blisko źródła.

Być może największe zmiany zajdą w sposobie projektowania tych systemów. Tradycyjnie różne elementy stosu sprzętowego często optymalizowano w pewnym stopniu niezależnie od siebie. Przy poziomach mocy, do których zmierzamy, staje się to coraz trudniejsze. Producenci układów scalonych, specjaliści od energoelektroniki, inżynierowie zajmujący się obudowami oraz projektanci systemów będą musieli znacznie ściślej ze sobą współpracować. Przez lata przesuwaliśmy granice możliwości poszczególnych procesorów, ale kolejny etap rozwoju infrastruktury AI będzie polegał na zapewnieniu, że cały system sprosta możliwościom tych procesorów.

Dziękujemy za interesujący wywiad. Czytelnicy, którzy chcą dowiedzieć się więcej o zasilaniu pionowym i zarządzaniu ciepłem w infrastrukturze AI, powinni odwiedzić stronę Lotus Microsystems.