Hans Hasselby-Andersen, CEO van Lotus Microsystems – Interviewreeks

Hans Hasselby-Andersen is CEO van Lotus Microsystems en heeft meer dan 20 jaar ervaring in de halfgeleiderindustrie als oprichter, bestuurder, bestuurslid en investeerder. Hij richtte Merus Audio op en leidde het bedrijf tot de overname door Infineon in 2018. Ook bekleedde hij leidinggevende functies bij Texas Instruments, Infineon, Toccata Technology en Nokia. Zijn werk was vooral gericht op het op de markt brengen van energiezuinige halfgeleidertechnologieën.

Lotus Microsystems is een fabless halfgeleiderbedrijf uit Kopenhagen dat geïntegreerde stroomomzetters en stroomvoorzieningsoplossingen ontwikkelt voor geavanceerde elektronica. De siliciumtechnologie Power Interposer Technology combineert stroomomzetting met thermisch beheer, onder meer via het verticale stroomvoorzieningsplatform vStrata voor AI en high-performance computing. In dit interview bespreekt Hasselby-Andersen energieverliezen op serverniveau, de beperkingen van traditionele stroomvoorzieningsarchitecturen en waarom stroomvoorziening, koeling en halfgeleiderverpakking steeds vaker gezamenlijk moeten worden ontworpen.

Je carrière omvat draadloze systemen bij Nokia, de ontwikkeling van halfgeleiders bij Texas Instruments, de oprichting van Merus Audio en de overname daarvan door Infineon, en nu je leidinggevende rol bij Lotus Microsystems. Hoe heeft die ervaring je kijk gevormd op de uitdagingen rond stroomvoorziening en warmtebeheer die zich aandienen in de huidige AI-infrastructuur?

Ik ben min of meer toevallig in de halfgeleiderindustrie terechtgekomen. Een startup waarvoor ik werkte, werd overgenomen door Texas Instruments. Zo maakte ik voor het eerst kennis met de manier waarop chips worden ontworpen, geproduceerd en op de markt gebracht. Ik was zelf geen chipontwerper, maar heb enorm veel over de industrie geleerd.

Later, toen ik Merus Audio oprichtte, was de aanleiding dat ik een duidelijke leemte in de markt zag: de behoefte om stroomverliezen te beperken en de batterijduur van draadloze luidsprekers te verlengen. Vervolgens richtte ik me op het aantrekken van de juiste mensen en het vinden van de juiste technologie om dat probleem aan te pakken.

Nadat Merus door Infineon was overgenomen, werkte ik een tijd buiten de halfgeleiderindustrie, maar uiteindelijk besefte ik dat dit de sector was waarin ik wilde werken. Wat me aantrok in Lotus Microsystems was dat het oprichtersteam zich richtte op drie fundamentele aspecten van de geavanceerde stroomvoorzieningstechnologie: energie-efficiëntie, fysieke omvang en thermische prestaties. Dat zijn uitdagingen die bij stroomvoorziening altijd blijven bestaan, ongeacht de toepassing, maar door AI zijn ze bijzonder urgent geworden.

We zien een buitengewone vooruitgang in processortechnologie, maar al die rekenkracht brengt zeer reële fysieke beperkingen met zich mee. Mijn ervaring heeft me geleerd dat het oplossen van die minder zichtbare problemen net zo waardevol kan zijn als het ontwikkelen van de technologie waar iedereen de aandacht op richt.

In discussies over AI-infrastructuur gaat veel aandacht uit naar GPU-prestaties, netwerken en koeling. Waarom denk je dat de stroomvoorziening zelf een van de belangrijkste beperkingen wordt voor de verdere schaalvergroting van AI-systemen?

We praten veel over hoeveel rekenkracht een GPU kan leveren, maar veel minder over hoe we die efficiënt van voldoende elektriciteit kunnen voorzien. Moderne AI-versnellers hebben duizenden ampère stroom nodig bij zeer lage spanningen, en hun stroomverbruik kan vrijwel onmiddellijk veranderen, afhankelijk van de werklast. Traditionele stroomvoorzieningssystemen zijn niet ontworpen voor zo’n hoge belasting. Je kunt de meest geavanceerde processor ter wereld hebben, maar als je niet op het juiste moment stabiele stroom kunt leveren, benut je niet het volledige potentieel ervan. Daarom wordt stroomvoorziening een steeds belangrijker onderdeel van de uitdaging om AI op te schalen.

Wanneer datacenterbeheerders het over energie-efficiëntie hebben, gaat veel aandacht uit naar koelsystemen en meetwaarden op faciliteitsniveau. Hoeveel stroom gaat er in de server zelf verloren voordat die de processor bereikt, en waarom heeft dit probleem relatief weinig aandacht gekregen?

Er is geen enkel getal dat voor elke server geldt, maar de verliezen kunnen aanzienlijk zijn. We schatten dat in bepaalde architecturen met hoge stromen ongeveer 7–10% van de stroom verloren kan gaan in de laatste fasen van de toevoer naar de processor. Die energie wordt niet gebruikt voor nuttige berekeningen, maar omgezet in warmte, die vervolgens moet worden afgevoerd. Wanneer je dag en nacht duizenden processors gebruikt, worden zelfs relatief kleine inefficiënties zeer kostbaar.

Een van de redenen waarom dit over het hoofd is gezien, is de manier waarop we de efficiëntie van datacenters traditioneel meten. Power Usage Effectiveness, ofwel PUE, is de industriestandaard geworden en is nuttig om inzicht te krijgen in de overhead van een faciliteit, waaronder koeling en stroomdistributie. De maatstaf laat echter niet zien hoe efficiënt elektriciteit binnen de server zelf wordt omgezet en geleverd.

Ik wil niet zeggen dat koelefficiëntie onbelangrijk is; die is absoluut belangrijk. Maar het is enigszins merkwaardig dat we enorme bedragen uitgeven aan het afvoeren van warmte zonder voldoende aandacht te besteden aan de oorsprong van een deel van die onnodige warmte. We zouden die verliezen juist in de eerste plaats moeten proberen te voorkomen.

Nu GPU’s en andere AI-versnellers steeds meer stroom verbruiken, welke beperkingen worden zichtbaar in traditionele architecturen voor stroomvoorziening op bordniveau?

Het probleem wordt duidelijker als je kijkt naar hoe stroom een GPU daadwerkelijk bereikt. Bij een traditioneel ontwerp bevinden de stroomomzetters zich naast de processor en loopt de elektriciteit horizontaal door de printplaat om die te bereiken. Die afstand lijkt misschien verwaarloosbaar, maar wanneer er duizenden ampères doorheen gaan, is zelfs een kleine hoeveelheid weerstand van belang. Weerstandsverliezen nemen toe met het kwadraat van de stroomsterkte. Dat betekent dat een verdubbeling van de stroomsterkte bij dezelfde weerstand die verliezen kan verviervoudigen.

Ook is het een uitdaging om snel veranderende stroomvraag op te vangen en tegelijk de spanning stabiel te houden. Ingenieurs kunnen dit ondervangen door condensatoren en andere componenten toe te voegen, maar die oplossingen nemen kostbare ruimte in beslag. Uiteindelijk is het zinvoller om de architectuur opnieuw te doordenken dan steeds meer aan het bestaande ontwerp toe te voegen.

Welke veranderingen zijn nodig in de manier waarop stroom van het serverrack naar de processor wordt geleid als de sector de rekendichtheid wil blijven verhogen zonder onhoudbare problemen met warmte of efficiëntie te veroorzaken?

Op rackniveau wordt al veel geïnnoveerd, onder meer door over te stappen op stroomdistributie met een hogere spanning. Dat is belangrijk, omdat elektriciteit bij een hogere spanning met een lagere stroomsterkte kan worden getransporteerd, waardoor de verliezen over grotere afstanden afnemen. Uiteindelijk moet die elektriciteit echter nog steeds worden omgezet naar de zeer lage spanningen die processors nodig hebben. Juist daar liggen enkele van de lastigste uitdagingen.

Een van de meest veelbelovende ontwikkelingen is verticale stroomvoorziening, waarbij de stroom direct onder de processor wordt omgezet in plaats van ernaast. Door deze elektrische weg korter te maken, nemen de verliezen af en verbeteren de reactietijden. Dit brengt echter ook een eigen uitdaging met zich mee: warmteproducerende componenten komen veel dichter bij elkaar te zitten. Om deze architecturen op grote schaal te laten werken, moeten we stroomvoorziening, warmtebeheer en behuizing niet langer als afzonderlijke technische vraagstukken behandelen. Ze moeten vanaf het begin gezamenlijk worden ontworpen.

Lotus Microsystems heeft onlangs zijn platform voor verticale stroomvoorziening, vStrata, geïntroduceerd. Welk probleem moet verticale stroomvoorziening oplossen en hoe verschilt deze aanpak van de conventionele stroomarchitecturen die tegenwoordig in AI-servers worden gebruikt?

Het basisidee achter verticale stroomvoorziening is vrij eenvoudig. In plaats van enorme stroomsterktes horizontaal over een printplaat te leiden, plaats je de stroombron direct onder de processor. Daardoor wordt de elektrische weg aanzienlijk korter, nemen de verliezen af en kan het systeem sneller reageren wanneer de stroombehoefte verandert.

Maar er is een belangrijk verschil tussen stroom dichter bij de processor brengen en het hele probleem daadwerkelijk oplossen. Je concentreert de warmte ook in een kleinere ruimte, vlak naast componenten die al onder aanzienlijke thermische druk staan. Als je dat niet aanpakt, loop je het risico een nieuw knelpunt te creëren terwijl je het oorspronkelijke oplost.

Dat is wat we met vStrata wilden aanpakken. Met onze eigen siliciumtechnologie Power Interposer Technology kunnen we stroom verticaal leveren en tegelijk warmtebeheer in dezelfde architectuur integreren. Onze eerste module, de LSC0580, is ontworpen voor een efficiëntie bij de belasting tot 96%, met temperatuurverlagingen tot 25 °C in geoptimaliseerde configuraties. Het doel is niet simpelweg om meer stroom te leveren, maar om datacenters te helpen meer nuttige rekenkracht uit dezelfde fysieke ruimte te halen en tegelijk minder stroom en koelcapaciteit nodig te hebben om die te ondersteunen.

In de AI-sector wordt vaak aangenomen dat toekomstige prestatiewinst voortkomt uit betere chips of geavanceerdere halfgeleiderprocessen. Kunnen verbeteringen in de stroomarchitectuur uiteindelijk net zo belangrijk zijn voor AI-prestaties als vooruitgang in de processors zelf?

Absoluut. De theoretische prestaties van een processor zijn alleen nuttig als het omringende systeem die prestaties mogelijk maakt. Als de stroomvoorziening de vraag niet kan bijbenen of overmatige warmte het systeem dwingt de prestaties terug te schroeven, krijg je niet waar je voor hebt betaald. Interessant is dat een betere stroomarchitectuur kan helpen om bestaande hardware langduriger op hogere prestaties te laten werken, zonder dat de processor zelf noodzakelijkerwijs verandert. Ik zou het niet voorstellen als een keuze tussen betere chips en betere infrastructuur. We hebben beide nodig en ik verwacht dat hun onderlinge samenhang steeds belangrijker wordt.

AI-datacenters zetten nu al wereldwijd aanzienlijke druk op elektriciteitsnetten. In hoeverre kunnen verbeteringen in de stroomomzetting en -voorziening op serverniveau de totale energievoetafdruk van grootschalige AI-infrastructuur verkleinen?

Het potentieel is aanzienlijk, al is het moeilijk om er één cijfer op te plakken, omdat de impact afhangt van de architectuur en de schaal van de faciliteit. Een verbetering van één procentpunt in één omzettingsfase leidt niet automatisch tot dezelfde vermindering van het totale elektriciteitsverbruik van een datacenter.

Maar bedenk eens wat er gebeurt als je zelfs bescheiden efficiëntieverbeteringen doorvoert bij duizenden processors die continu draaien. Dat kan leiden tot een aanzienlijke vermindering van energieverspilling, bedrijfskosten, kapitaaluitgaven en de hoeveelheid warmte die koelsystemen moeten afvoeren. Dat is vooral waardevol wanneer de capaciteit van het elektriciteitsnet al beperkt waar en hoe snel nieuwe datacenters kunnen worden gebouwd.

Je kunt het ook zo zeggen: de groenste energie is de energie die je niet verbruikt. Er is enorm veel aandacht besteed aan het veiligstellen van meer stroom om de groei van AI te ondersteunen. Dat is begrijpelijk, maar we zouden evenveel aandacht moeten besteden aan een beter gebruik van de elektriciteit die al beschikbaar is.

Nu AI-hardware steeds krachtigere GPU’s, op maat gemaakte accelerators en steeds compactere computersystemen omvat, met welke technische knelpunten krijgen stroomvoorzieningsingenieurs volgens u de komende jaren te maken?

De stroombehoefte zal blijven toenemen, en we zien nu al welke uitdagingen dat met zich meebrengt. Sommige AI-processors vereisen enkele duizenden ampère; bij toekomstige ontwerpen kan dat oplopen tot 6.000 of zelfs 8.000 ampère. Die stroom efficiënt leveren is al moeilijk genoeg, maar de spanning stabiel houden terwijl workloads snel veranderen, voegt daar nog een extra laag complexiteit aan toe.

De sector richt zich ook vaak op stroomdichtheid als belangrijkste maatstaf voor vooruitgang. Het is indrukwekkend om met een kleinere stroomomzetter meer stroom te leveren, maar als je in een kleinere ruimte evenveel warmte produceert, is het totale systeem er niet per se op vooruitgegaan. Sterker nog, het thermische probleem kan daardoor juist groter zijn geworden. Ik denk dat de ingenieurs die efficiëntie, thermische prestaties, dynamische respons en betrouwbaarheid met elkaar in evenwicht weten te brengen, de grootste vooruitgang zullen boeken.

Als we vooruitkijken naar de volgende generatie AI-infrastructuur: welke veranderingen in stroomvoorziening, koeling, halfgeleiderverpakking en systeemarchitectuur zijn nodig om een volgende grote toename van de AI-rekencapaciteit mogelijk te maken?

Ik verwacht dat de stroomvoorziening en de processor zelf veel nauwer geïntegreerd zullen worden. Verticale stroomvoorziening is een belangrijke stap, maar ik denk niet dat de ontwikkeling daar ophoudt. We kijken nu al naar dunnere voedingsmodules die in printplaten kunnen worden ingebouwd, en uiteindelijk naar architecturen waarin meer functies voor de stroomvoorziening rechtstreeks in xPU-behuizingen zijn geïntegreerd. Elke stap brengt de stroomvoorziening dichter bij de plek waar de stroom daadwerkelijk wordt verbruikt.

De koeling zal zich met die veranderingen moeten ontwikkelen. Vloeistofkoeling wordt steeds belangrijker voor computersystemen met een hoge dichtheid, maar betere warmteafvoer is slechts een deel van de oplossing. We moeten ook de productie van onnodige warmte terugdringen en betere manieren vinden om die warmte dicht bij de bron af te voeren.

Misschien verandert er het meest in de manier waarop deze systemen worden ontwikkeld. Traditioneel werden verschillende onderdelen van de hardwarestack vaak min of meer onafhankelijk van elkaar geoptimaliseerd. Bij de vermogensniveaus waar we naartoe werken, wordt dat steeds moeilijker. Chipfabrikanten, specialisten in vermogenselektronica, verpakkingstechnici en systeemontwerpers zullen veel nauwer moeten samenwerken. Jarenlang hebben we de grenzen van afzonderlijke processors verlegd, maar in de volgende fase van AI-infrastructuur draait het erom ervoor te zorgen dat het hele systeem aankan waartoe die processors in staat zijn.

Bedankt voor het geweldige interview. Lezers die meer willen weten over verticale stroomvoorziening en thermisch beheer voor AI-infrastructuur, kunnen terecht bij Lotus Microsystems.