Hans Hasselby-Andersen, vd för Lotus Microsystems – intervjuserie

Hans Hasselby-Andersen är vd för Lotus Microsystems och har mer än 20 års erfarenhet från halvledarbranschen som grundare, företagsledare, styrelseledamot och investerare. Han grundade Merus Audio och ledde företaget fram till förvärvet av Infineon 2018. Han har även haft ledande befattningar på Texas Instruments, Infineon, Toccata Technology och Nokia. Hans arbete har kretsat kring att kommersialisera energieffektiv halvledarteknik.

Lotus Microsystems är ett fabless halvledarföretag med bas i Köpenhamn som utvecklar integrerade kraftomvandlare och lösningar för strömförsörjning av avancerad elektronik. Företagets kiselbaserade Power Interposer Technology kombinerar kraftomvandling med värmehantering, bland annat genom den vertikala strömförsörjningsplattformen vStrata för AI och högpresterande datorsystem. I den här intervjun diskuterar Hasselby-Andersen energiförluster på servernivå, begränsningarna hos konventionella kraftarkitekturer och varför strömförsörjning, kylning och halvledarkapsling i allt högre grad behöver utformas tillsammans.

Din karriär har omfattat trådlösa system på Nokia, halvledarutveckling på Texas Instruments, grundandet av Merus Audio och företagets förvärv av Infineon, och nu leder du Lotus Microsystems. Hur har de här erfarenheterna format ditt sätt att se på de utmaningar kring strömförsörjning och värmehantering som växer fram i dagens AI-infrastruktur?

Jag började med halvledare nästan av en slump. Ett startupföretag som jag arbetade på förvärvades av Texas Instruments, och det blev min introduktion till hur chip utformas, tillverkas och förs ut på marknaden. Jag var inte själv chipkonstruktör, men lärde mig väldigt mycket om branschen.

Senare, när jag grundade Merus Audio, var den utlösande faktorn att jag såg en tydlig lucka på marknaden: behovet av att minska effektförlusterna och förlänga batteritiden i trådlösa högtalare. Därefter fokuserade jag på att hitta rätt personer och teknik för att lösa problemet.

Efter att Merus förvärvades av Infineon tillbringade jag en tid utanför halvledarbranschen, men insåg till slut att det var där jag ville vara. Det som lockade mig till Lotus Microsystems var grundarteamets fokus på tre grundläggande egenskaper hos företagets avancerade teknik för strömförsörjning: energieffektivitet, fysisk storlek och termiska prestanda. Det här är utmaningar som alltid finns kvar inom strömförsörjning, oavsett användningsområde, men AI har gjort dem särskilt brådskande.

Vi ser enastående framsteg inom processorteknik, men all den beräkningskraften medför mycket konkreta fysiska begränsningar. Min erfarenhet har lärt mig att det kan vara minst lika värdefullt att lösa de mindre synliga problemen som att utveckla den teknik som alla riktar sin uppmärksamhet mot.

Diskussioner om AI-infrastruktur handlar ofta till stor del om GPU-prestanda, nätverk och kylning. Varför anser du att själva strömförsörjningen blir ett av de viktigaste hindren för fortsatt skalning av AI-system?

Vi ägnar mycket tid åt att prata om hur stor beräkningskapacitet en GPU kan leverera, men betydligt mindre åt hur man effektivt ska förse den med tillräckligt med elektricitet. Moderna AI-acceleratorer kräver tusentals ampere vid mycket låg spänning, och deras effektbehov kan förändras nästan omedelbart beroende på arbetsbelastningen. Traditionella system för strömförsörjning är inte konstruerade för den här belastningsnivån. Man kan ha världens mest avancerade processor, men om man inte kan leverera stabil ström när det behövs får man inte ut dess fulla potential. Därför blir strömförsörjningen en allt viktigare del av utmaningen med att skala upp AI.

När datacenteroperatörer talar om energieffektivitet ligger mycket av fokus på kylsystem och mått på anläggningsnivå. Hur mycket ström går faktiskt förlorad inne i servern innan den når processorn, och varför har den här frågan fått jämförelsevis liten uppmärksamhet?

Det finns ingen enskild siffra som gäller för alla servrar, men förlusterna kan vara betydande. I vissa arkitekturer med hög strömstyrka har vi uppskattat att omkring 7–10 % av strömmen kan gå förlorad i de sista stegen på väg till processorn. Den energin bidrar inte till någon nyttig beräkning, utan omvandlas till värme som sedan måste föras bort. När man driver tusentals processorer dygnet runt blir även relativt små ineffektiviteter mycket kostsamma.

En anledning till att frågan har hamnat i skymundan är hur vi traditionellt har mätt datacenters effektivitet. Power Usage Effectiveness, eller PUE, har blivit branschstandard och är användbart för att förstå anläggningens omkostnader, däribland kylning och kraftdistribution. Men måttet visar inte hur effektivt elektriciteten omvandlas och levereras inne i själva servern.

Jag menar inte att kylningens effektivitet är oviktig; det är den verkligen inte. Men det är något bakvänt med att lägga enorma summor på att föra bort värme utan att ägna tillräcklig uppmärksamhet åt varifrån en del av den onödiga värmen kommer. Vi borde försöka förhindra de här förlusterna från början.

Vilka begränsningar börjar märkas i traditionella lösningar för strömförsörjning på kortnivå när GPU:er och andra AI-acceleratorer förbrukar allt större mängder ström?

Problemet blir tydligare när man ser hur strömmen faktiskt når en GPU. I en traditionell konstruktion sitter strömomvandlarna bredvid processorn, och elektriciteten färdas horisontellt genom kretskortet för att nå fram. Avståndet kan verka obetydligt, men när man hanterar tusentals ampere spelar även små resistansvärden roll. Resistiva förluster ökar med strömmens kvadrat, vilket innebär att om strömmen genom samma resistans fördubblas kan förlusterna fyrdubblas.

En annan utmaning är att hantera snabba förändringar i effektbehovet och samtidigt hålla spänningen stabil. Ingenjörer kan kompensera genom att lägga till kondensatorer och andra komponenter, men sådana lösningar tar upp värdefullt utrymme. Till slut blir det mer ändamålsenligt att tänka om kring arkitekturen än att fortsätta bygga vidare på den befintliga konstruktionen.

Vilka förändringar behöver göras i hur strömmen leds från serverracket till processorn om branschen vill fortsätta öka beräkningstätheten utan att skapa ohållbara problem med värme eller verkningsgrad?

Det pågår redan mycket innovation på racknivå, bland annat en övergång till kraftdistribution med högre spänning. Det är viktigt eftersom högre spänning gör att elektricitet kan överföras med lägre strömstyrka, vilket minskar förlusterna över längre avstånd. Men förr eller senare måste elektriciteten ändå omvandlas till de mycket låga spänningar som processorerna kräver, och det är där några av de svåraste utmaningarna kvarstår.

En av de mest lovande utvecklingarna är vertikal kraftmatning, där strömomvandlingen placeras direkt under processorn i stället för bredvid den. En kortare elektrisk ledningsväg bidrar till att minska förlusterna och förbättra svarstiderna. Men det medför också en egen utmaning: värmealstrande komponenter placeras mycket närmare varandra. För att sådana arkitekturer ska fungera i stor skala måste vi sluta behandla kraftmatning, värmehantering och kapsling som separata konstruktionsuppgifter. De måste utformas tillsammans från början.

Lotus Microsystems lanserade nyligen sin plattform för vertikal kraftmatning, vStrata. Vilket problem är vertikal kraftmatning avsedd att lösa, och hur skiljer sig den här metoden från konventionella kraftarkitekturer som används i dagens AI-servrar?

Grundidén bakom vertikal kraftmatning är relativt enkel. I stället för att leda enorma strömmar horisontellt över ett kretskort placerar man strömkällan direkt under processorn. Det förkortar den elektriska ledningsvägen avsevärt, minskar förlusterna och hjälper systemet att reagera snabbare när effektbehovet förändras.

Men det är viktigt att skilja mellan att flytta strömförsörjningen närmare processorn och att faktiskt lösa hela problemet. Då koncentreras också värmen till ett mindre utrymme, alldeles intill komponenter som redan utsätts för betydande värmebelastning. Om man inte hanterar det riskerar man att skapa en ny flaskhals samtidigt som man löser den ursprungliga.

Det var det vi ville ta itu med genom vStrata. Vår egenutvecklade kiselbaserade Power Interposer Technology gör det möjligt för oss att leverera ström vertikalt och samtidigt integrera värmehantering i samma arkitektur. Vår första modul, LSC0580, är konstruerad för en verkningsgrad vid lastpunkten på upp till 96 procent, med temperatursänkningar på upp till 25 °C i optimerade konfigurationer. Målet är inte bara att leda mer ström, utan att hjälpa datacenter att få ut mer användbar beräkningskapacitet ur samma fysiska utrymme och samtidigt minska den extra effekt och kylning som krävs för att driva den.

AI-branschen utgår ofta från att framtida prestandaförbättringar kommer att bero på bättre chip eller mer avancerade halvledarprocesser. Kan förbättringar av kraftarkitekturen i slutändan vara lika viktiga för AI-prestandan som framsteg inom själva processorerna?

Absolut. En processors teoretiska prestanda är bara användbar om det omgivande systemet gör det möjligt för den att arbeta på den nivån. Om kraftmatningen inte klarar att möta efterfrågan, eller om överdriven värme tvingar systemet att sänka prestandan, får man inte ut allt man har betalat för. Det intressanta är att en bättre kraftarkitektur kan bidra till att frigöra högre uthållig prestanda ur befintlig hårdvara, utan att processorn nödvändigtvis behöver ändras. Jag skulle inte beskriva det som ett val mellan bättre chip och bättre infrastruktur. Vi behöver båda, och jag tror att samspelet mellan dem kommer att bli allt viktigare.

AI-datacenter sätter redan elnäten runt om i världen under betydande press. Hur mycket skulle förbättringar av kraftomvandling och kraftmatning på servernivå kunna minska den totala energianvändningen i storskalig AI-infrastruktur?

Potentialen är betydande, även om det är svårt att ange en enda siffra eftersom effekten beror på anläggningens arkitektur och storlek. En förbättring på en procentenhet i ett omvandlingssteg innebär inte automatiskt en lika stor minskning av datacentrets totala elförbrukning.

Men tänk på vad som händer när även måttliga effektivitetsförbättringar får genomslag bland tusentals processorer som körs kontinuerligt. Det kan innebära betydande minskningar av energislöseri, driftskostnader, investeringar och mängden värme som kylsystemen behöver hantera. Det är särskilt värdefullt när nätkapaciteten redan begränsar var och hur snabbt nya datacenter kan byggas.

Ett annat sätt att uttrycka det är att den grönaste energin är den energi man aldrig använder. Det har lagts stort fokus på att säkra mer elkraft för att stödja AI-expansionen, vilket är förståeligt, men vi bör vara lika angelägna om att använda den el som redan finns tillgänglig bättre.

När AI-hårdvara går mot kraftfullare GPU:er, specialutvecklade acceleratorer och allt mer kompakt packade datorsystem, vilka tekniska flaskhalsar tror du att kraftingenjörer kommer att möta under de kommande åren?

Strömkraven kommer att fortsätta öka, och vi ser redan de utmaningar som det medför. Vissa AI-processorer kräver flera tusen ampere, och framtida konstruktioner kan komma att kräva 6 000 eller till och med 8 000 ampere. Det är redan svårt nog att leverera den strömmen effektivt, men att hålla spänningen stabil när arbetsbelastningen förändras snabbt innebär ytterligare en utmaning.

Branschen tenderar också att fokusera på strömtäthet som det främsta måttet på framsteg. Det är imponerande att kunna leverera mer ström från en mindre effektomvandlare, men om man alstrar lika mycket värme på en mindre yta har man inte nödvändigtvis förbättrat systemet som helhet. Tvärtom kan man ha förvärrat värmeproblemet. Jag tror att de ingenjörer som kan balansera effektivitet, termiska egenskaper, dynamisk respons och tillförlitlighet kommer att stå för de största framstegen.

Om vi blickar framåt mot nästa generation AI-infrastruktur, vilka förändringar inom kraftmatning, kylning, halvledarkapsling och systemarkitektur kommer att krävas för att klara ännu en kraftig ökning av AI-beräkningskapaciteten?

Jag tror att vi kommer att se en mycket tätare integration mellan kraftmatningen och själva processorn. Vertikal kraftmatning är ett viktigt steg, men jag tror inte att utvecklingen stannar där. Vi tittar redan på tunnare kraftmoduler som kan byggas in i kretskort och så småningom på arkitekturer där mer av kraftmatningsfunktionen integreras direkt i xPU-kapslingar. Varje steg för kraften närmare den punkt där den faktiskt förbrukas.

Kylningen måste utvecklas i takt med de här förändringarna. Vätskekylning blir allt viktigare för datorsystem med hög effekttäthet, men att förbättra värmeavledningen är bara en del av lösningen. Vi måste också minska mängden onödig värme vi alstrar och hitta bättre sätt att hantera den nära värmekällan.

Den kanske största förändringen kommer att gälla hur de här systemen utvecklas. Traditionellt har olika delar av hårdvarustacken ofta optimerats var för sig, i viss mån oberoende av varandra. Vid de effektnivåer vi är på väg mot blir det allt svårare. Chiptillverkare, specialister på kraftelektronik, kapslingsingenjörer och systemkonstruktörer kommer att behöva samarbeta betydligt närmare. I åratal har vi tänjt på gränserna för enskilda processorer, men nästa fas i utvecklingen av AI-infrastruktur kommer att handla om att säkerställa att hela systemet klarar av att stödja det som processorerna kan prestera.

Tack för en utmärkt intervju. Läsare som vill fördjupa sig i vertikal kraftmatning och värmehantering för AI-infrastruktur kan besöka Lotus Microsystems.