Hans Hasselby-Andersen, generální ředitel Lotus Microsystems – série rozhovorů

Hans Hasselby-Andersen je generálním ředitelem společnosti Lotus Microsystems a má více než 20 let zkušeností z polovodičového průmyslu, kde působil jako zakladatel, vedoucí pracovník, člen správní rady i investor. Založil Merus Audio a vedl ji až do její akvizice společností Infineon v roce 2018. Vedoucí pozice zastával také ve společnostech Texas Instruments, Infineon, Toccata Technology a Nokia. Ve své práci se zaměřoval na uvádění energeticky úsporných polovodičových technologií na trh.

Lotus Microsystems je polovodičová společnost se sídlem v Kodani, která nemá vlastní výrobu čipů a vyvíjí integrované měniče a řešení pro napájení pokročilé elektroniky. Její křemíková technologie Power Interposer Technology spojuje konverzi energie s tepelným managementem, mimo jiné prostřednictvím platformy vStrata pro vertikální napájení určené pro umělou inteligenci a vysoce výkonné výpočty. V tomto rozhovoru Hasselby-Andersen hovoří o energetických ztrátách na úrovni serverů, omezeních tradičních napájecích architektur a o tom, proč je stále důležitější navrhovat společně napájení, chlazení a pouzdření polovodičů.

Vaše kariéra zahrnuje bezdrátové systémy ve společnosti Nokia, vývoj polovodičů v Texas Instruments, založení Merus Audio a její dovedení až k akvizici společností Infineon, a nyní vedení Lotus Microsystems. Jak tyto zkušenosti ovlivnily váš pohled na problémy s napájením a tepelným managementem, které se objevují v dnešní infrastruktuře umělé inteligence?

K polovodičům jsem se dostal téměř náhodou. Startup, ve kterém jsem pracoval, koupila společnost Texas Instruments, a právě díky tomu jsem poprvé poznal, jak se čipy navrhují, vyrábějí a uvádějí na trh. Sám jsem návrhářem čipů nebyl, ale o tomto odvětví jsem se toho naučil opravdu hodně.

Později, když jsem založil Merus Audio, mě k tomu přivedlo zřetelné neobsazené místo na trhu: potřeba snížit energetické ztráty a prodloužit výdrž baterií v bezdrátových reproduktorech. Poté jsem se soustředil na získání správných lidí a technologií, které by tento problém pomohly řešit.

Po akvizici Merus společností Infineon jsem nějakou dobu působil mimo polovodičový průmysl, ale nakonec jsem si uvědomil, že právě v něm chci pracovat. K Lotus Microsystems mě přivedlo zaměření zakladatelského týmu na tři základní vlastnosti pokročilé technologie napájení: energetickou účinnost, fyzické rozměry a tepelné parametry. Tyto problémy při napájení nikdy zcela nezmizí, bez ohledu na konkrétní použití, ale umělá inteligence je učinila obzvlášť naléhavými.

V oblasti procesorových technologií jsme svědky mimořádného pokroku, ale s veškerým tímto výpočetním výkonem se pojí velmi reálná fyzikální omezení. Zkušenosti mě naučily, že řešení těchto méně viditelných problémů může být stejně hodnotné jako vývoj technologií, kterým všichni věnují pozornost.

Diskuse o infrastruktuře umělé inteligence se obvykle soustředí především na výkon GPU, síťové propojení a chlazení. Proč se podle vás samotné napájení stává jednou z nejvýznamnějších překážek dalšího rozšiřování systémů umělé inteligence?

Hodně mluvíme o tom, jaký výpočetní výkon může GPU nabídnout, ale mnohem méně o tom, jak k němu účinně přivést dostatek elektřiny. Moderní akcelerátory umělé inteligence vyžadují při velmi nízkém napětí proud o intenzitě tisíců ampérů a jejich spotřeba se může měnit téměř okamžitě podle aktuální zátěže. Tradiční napájecí systémy nebyly navrženy pro takovou intenzitu. Můžete mít nejpokročilejší procesor na světě, ale pokud mu nedokážete dodat stabilní napájení ve chvíli, kdy ho potřebuje, nevyužijete jeho plný potenciál. Proto se napájení stává tak důležitou součástí výzvy, kterou představuje další rozšiřování umělé inteligence.

Když provozovatelé datových center mluví o energetické účinnosti, velká pozornost se věnuje chladicím systémům a ukazatelům na úrovni celého zařízení. Kolik energie se ve skutečnosti ztratí uvnitř serveru, než se dostane k procesoru, a proč se tomuto problému věnovalo poměrně málo pozornosti?

Neexistuje jediné číslo, které by platilo pro všechny servery, ale ztráty mohou být značné. U některých architektur pracujících s vysokými proudy jsme odhadli, že v závěrečných stupních dodávky energie k procesoru se může ztratit přibližně 7–10 % energie. Tato energie nepřispívá k žádným užitečným výpočtům; mění se v teplo, které je pak třeba odvádět. Při nepřetržitém provozu tisíců procesorů se i poměrně malé neefektivity prodraží.

Jedním z důvodů, proč se tomuto problému nevěnovala dostatečná pozornost, je způsob, jakým jsme tradičně měřili účinnost datových center. Ukazatel Power Usage Effectiveness (PUE) se stal průmyslovým standardem a pomáhá pochopit režijní spotřebu celého zařízení, včetně chlazení a distribuce energie. Neukazuje však, jak účinně se elektřina přeměňuje a rozvádí uvnitř samotného serveru.

Netvrdím, že účinnost chlazení není důležitá; rozhodně důležitá je. Je ale trochu postavené na hlavu vynakládat obrovské částky na odvádění tepla, aniž bychom věnovali dostatečnou pozornost tomu, odkud část tohoto zbytečného tepla pochází. Měli bychom se snažit těmto ztrátám předcházet hned na začátku.

Jaká omezení tradičních architektur napájení na úrovni desek se objevují s tím, jak GPU a další akcelerátory umělé inteligence spotřebovávají stále více energie?

Problém je zřetelnější, když se podíváme na to, jak se energie skutečně dostává ke GPU. V tradičním uspořádání jsou měniče napájení umístěny vedle procesoru a elektřina k němu putuje vodorovně přes desku plošných spojů. Tato vzdálenost se může zdát zanedbatelná, ale při přenosu tisíců ampérů hraje roli i malý elektrický odpor. Ztráty způsobené odporem rostou s druhou mocninou proudu, což znamená, že zdvojnásobení proudu při stejném odporu může tyto ztráty zčtyřnásobit.

Další výzvou je reagovat na rychlé změny spotřeby energie a zároveň udržovat stabilní napětí. Inženýři mohou situaci řešit přidáním kondenzátorů a dalších součástek, tyto přístupy však zabírají cenné místo. Nakonec dává větší smysl přehodnotit celou architekturu než dál přidávat součástky do stávajícího návrhu.

Jaké změny je třeba provést ve způsobu, jakým se energie přivádí ze serverového racku k procesoru, chce-li odvětví dál zvyšovat výpočetní hustotu, aniž by tím vznikaly neudržitelné problémy s teplotou nebo účinností?

Na úrovni racků už probíhá řada inovací, mimo jiné přechod k distribuci energie při vyšším napětí. To je důležité, protože vyšší napětí umožňuje přenášet elektřinu při nižším proudu, a omezit tak ztráty na větší vzdálenosti. Nakonec je však stále nutné toto napětí snížit na velmi nízkou úroveň, kterou procesory potřebují, a právě zde přetrvávají některé z nejobtížnějších výzev.

Jedním z nejslibnějších řešení je vertikální přívod energie, při němž se převod energie umisťuje přímo pod procesor, nikoli vedle něj. Zkrácení elektrické cesty pomáhá omezit ztráty a zrychlit reakce systému. Přináší však i vlastní výzvu: součástky vytvářející teplo se ocitají mnohem blíže u sebe. Aby tyto architektury fungovaly ve velkém měřítku, musíme přestat považovat napájení, tepelný management a pouzdření za oddělené inženýrské úkoly. Je třeba je navrhovat společně od samého začátku.

Společnost Lotus Microsystems nedávno představila svou platformu vertikálního napájení vStrata. Jaký problém má vertikální napájení řešit a v čem se tento přístup liší od konvenčních napájecích architektur, které se dnes používají v serverech s umělou inteligencí?

Základní myšlenka vertikálního napájení je poměrně jednoduchá. Namísto přenosu obrovského proudu vodorovně přes desku plošných spojů umístíte zdroj napájení přímo pod procesor. Tím se elektrická cesta výrazně zkrátí, což omezuje ztráty a pomáhá systému rychleji reagovat na změny požadavků na napájení.

Je však důležité rozlišovat mezi přiblížením napájení k procesoru a skutečným vyřešením celého problému. Zároveň soustřeďujete teplo do menšího prostoru, hned vedle součástek, které jsou už tak vystaveny značné tepelné zátěži. Pokud tento problém nevyřešíte, riskujete, že při odstraňování původního úzkého místa vytvoříte nové.

Právě to jsme se rozhodli řešit platformou vStrata. Naše proprietární křemíková technologie Power Interposer Technology nám umožňuje přivádět energii vertikálně a zároveň začlenit tepelný management do téže architektury. Náš první modul, LSC0580, je navržen pro účinnost až 96 % v místě zátěže a v optimalizovaných konfiguracích umožňuje snížit teplotu až o 25 °C. Cílem není jen přenášet větší proud, ale pomoci datovým centrům získat ze stejného fyzického prostoru více užitečného výpočetního výkonu a zároveň snížit režijní náklady na napájení a chlazení.

Odvětví umělé inteligence často předpokládá, že budoucí zvýšení výkonu přinesou lepší čipy nebo pokročilejší polovodičové výrobní procesy. Mohlo by se zlepšování napájecí architektury stát pro výkon umělé inteligence stejně důležitým jako zdokonalování samotných procesorů?

Rozhodně. Teoretický výkon procesoru má smysl jen tehdy, pokud mu okolní systém umožňuje pracovat na této úrovni. Pokud napájení nedokáže pokrýt požadovanou spotřebu nebo nadměrné teplo přiměje systém snížit výkon, nevyužíváte naplno to, za co jste zaplatili. Zajímavé je, že lepší napájecí architektura může pomoci dosáhnout vyššího a déle udržitelného výkonu i se stávajícím hardwarem, aniž by bylo nutné měnit samotný procesor. Nevnímal bych to jako volbu mezi lepšími čipy a lepší infrastrukturou. Potřebujeme obojí a očekávám, že jejich vzájemný vztah bude stále důležitější.

Datová centra pro umělou inteligenci už nyní výrazně zatěžují elektrické sítě po celém světě. O kolik by mohlo zlepšení převodu a distribuce energie na úrovni serverů snížit celkovou energetickou stopu rozsáhlé infrastruktury pro umělou inteligenci?

Potenciál je značný, i když je obtížné vyjádřit jej jediným číslem, protože dopad závisí na architektuře a velikosti zařízení. Zlepšení o jeden procentní bod v jedné fázi převodu se automaticky nepromítne do stejného snížení celkové spotřeby elektřiny datového centra.

Představte si ale, co se stane, když i poměrně malé zvýšení účinnosti vynásobíte tisíci procesorů, které běží nepřetržitě. Může to znamenat výrazné snížení plýtvání energií, provozních nákladů, kapitálových výdajů i množství tepla, které musí chladicí systémy odvádět. To je zvlášť cenné v situaci, kdy kapacita elektrické sítě už nyní omezuje, kde a jak rychle lze stavět nová datová centra.

Jinými slovy, nejzelenější je energie, kterou vůbec nespotřebujeme. Zajištění většího množství energie pro podporu rozvoje AI se věnuje obrovská pozornost, což je pochopitelné, ale stejně tak bychom se měli zajímat o to, jak lépe využívat elektřinu, kterou už máme k dispozici.

Jak se hardware pro AI posouvá k výkonnějším GPU, specializovaným akcelerátorům a stále hustším výpočetním systémům, s jakými technickými úzkými místy se podle vás budou muset energetičtí inženýři v příštích několika letech potýkat?

Požadavky na proud budou nadále růst a problémy, které to přináší, už vidíme. Některé procesory pro AI vyžadují několik tisíc ampérů a budoucí návrhy by mohly dosáhnout 6 000, nebo dokonce 8 000 ampérů. Už samotné efektivní dodávání takového proudu je náročné, ale udržet stabilní napětí při rychlých změnách pracovního zatížení přidává další úroveň složitosti.

Odvětví má také sklon považovat proudovou hustotu za hlavní měřítko pokroku. Dodávat větší proud z menšího měniče napětí je působivé, ale pokud ve stísněnějším prostoru vytváříte stejné množství tepla, nemusí to celkový systém nutně zlepšit. Ve skutečnosti jste tím mohli problém s teplem ještě zhoršit. Myslím, že největší pokrok přinesou inženýři, kteří dokážou vyvážit účinnost, tepelné vlastnosti, dynamickou odezvu a spolehlivost.

Jaké změny v distribuci napájení, chlazení, pouzdření polovodičů a architektuře systémů budou podle vás nezbytné, aby infrastruktura příští generace AI zvládla další výrazné zvýšení výpočetní kapacity?

Očekávám, že napájení bude mnohem těsněji integrováno přímo s procesorem. Vertikální distribuce napájení je důležitým krokem, ale nemyslím si, že tím tento vývoj skončí. Už nyní se zabýváme tenčími napájecími moduly, které lze zabudovat do desek plošných spojů, a výhledově také architekturami, v nichž bude více funkcí distribuce napájení integrováno přímo do pouzder xPU. Každý krok přibližuje napájení k místu, kde se energie skutečně spotřebovává.

Chlazení se bude muset vyvíjet souběžně s těmito změnami. Kapalinové chlazení je pro výpočetní systémy s vysokou hustotou stále důležitější, ale zlepšení odvodu tepla představuje jen část řešení. Musíme také omezit množství zbytečného tepla, které vytváříme, a najít lepší způsoby, jak s ním nakládat přímo u zdroje.

Největší změna se možná bude týkat způsobu vývoje těchto systémů. Různé části hardwarové výbavy se tradičně často optimalizovaly do určité míry samostatně. Při výkonech, k nimž směřujeme, je to stále obtížnější. Výrobci čipů, specialisté na výkonovou elektroniku, konstruktéři pouzder a návrháři systémů budou muset mnohem úžeji spolupracovat. Po léta jsme posouvali hranice možností jednotlivých procesorů, ale další etapa infrastruktury AI bude spočívat v tom, abychom zajistili, že celý systém dokáže podporovat to, čeho jsou tyto procesory schopny.

Děkuji za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více o vertikální distribuci napájení a řízení tepla v infrastruktuře AI, by měli navštívit Lotus Microsystems.