Hans Hasselby-Andersen, Lotus Microsystemsin toimitusjohtaja – haastattelusarja

Hans Hasselby-Andersen on Lotus Microsystemsin toimitusjohtaja, ja hänellä on yli 20 vuoden kokemus puolijohdealalta perustajana, johtajana, hallituksen jäsenenä ja sijoittajana. Hän perusti Merus Audion ja johti yrityksen Infineonin ostettavaksi vuonna 2018. Lisäksi hän on toiminut johtotehtävissä yrityksissä Texas Instruments, Infineon, Toccata Technology ja Nokia. Hänen työnsä keskiössä on ollut energiatehokkaiden puolijohdeteknologioiden tuominen markkinoille.

Lotus Microsystems on Kööpenhaminassa toimiva puolijohdeyritys, jolla ei ole omaa tuotantoa ja joka kehittää edistykselliseen elektroniikkaan integroituja tehonmuuntimia ja tehonsyöttöratkaisuja. Yhtiön piipohjainen Power Interposer Technology yhdistää tehonmuunnoksen lämmönhallintaan muun muassa vStrata-pystysuuntaisen tehonsyöttöalustan avulla. Alusta on suunniteltu tekoälyyn ja suurteholaskentaan. Tässä haastattelussa Hasselby-Andersen käsittelee palvelintasolla syntyviä energiahäviöitä, perinteisten tehoarkkitehtuurien rajoituksia sekä sitä, miksi tehonsyöttö, jäähdytys ja puolijohdepaketointi on yhä useammin suunniteltava yhdessä.

Urasi on ulottunut Nokian langattomista järjestelmistä Texas Instrumentsin puolijohdekehitykseen, Merus Audion perustamiseen ja sen viemiseen Infineonin yritysostoon sekä nykyiseen tehtävääsi Lotus Microsystemsin johdossa. Miten nämä kokemukset ovat vaikuttaneet siihen, miten ajattelet tekoälyinfrastruktuurissa esiin nousevista tehonhallinnan ja lämmönhallinnan haasteista?

Päädyin puolijohdealalle lähes sattumalta. Texas Instruments osti startup-yrityksen, jossa työskentelin, ja sen myötä pääsin tutustumaan siihen, miten siruja suunnitellaan, valmistetaan ja tuodaan markkinoille. En itse suunnitellut siruja, mutta opin alasta valtavasti.

Myöhemmin, kun perustin Merus Audion, yrityksen perustamisen kimmokkeena oli selkeä markkinarako: tarve vähentää tehohäviöitä ja pidentää langattomien kaiuttimien akunkestoa. Sen jälkeen keskityin hankkimaan oikeat ihmiset ja teknologian haasteen ratkaisemiseksi.

Kun Infineon osti Merusin, työskentelin jonkin aikaa puolijohdealan ulkopuolella, mutta ymmärsin lopulta, että halusin työskennellä alalla. Lotus Microsystemsissä minua houkutteli perustajatiimin keskittyminen edistyksellisen tehonsyöttöteknologian kolmeen perusominaisuuteen: energiatehokkuuteen, fyysiseen kokoon ja lämpötekniseen suorituskykyyn. Nämä haasteet eivät koskaan katoa tehonsyötöstä sovelluksesta riippumatta, mutta tekoälyn myötä niistä on tullut erityisen kiireellisiä.

Prosessoriteknologiassa tapahtuu poikkeuksellista kehitystä, mutta kaikkeen tähän laskentatehoon liittyy hyvin konkreettisia fyysisiä rajoitteita. Kokemukseni on opettanut, että vähemmän näkyvien ongelmien ratkaiseminen voi olla aivan yhtä arvokasta kuin kaikkien huomion kohteena olevan teknologian kehittäminen.

Tekoälyinfrastruktuurista keskusteltaessa painopiste on usein GPU-suorituskyvyssä, verkkoyhteyksissä ja jäähdytyksessä. Miksi uskot, että itse tehonsyötöstä on tulossa yksi tärkeimmistä tekoälyjärjestelmien jatkuvan skaalautumisen rajoitteista?

Puhumme paljon siitä, kuinka paljon laskentatehoa GPU pystyy tarjoamaan, mutta paljon vähemmän siitä, miten sille saadaan riittävästi sähköä tehokkaasti. Nykyaikaiset tekoälykiihdyttimet tarvitsevat tuhansien ampeerien virtoja erittäin matalilla jännitteillä, ja niiden tehontarve voi muuttua lähes välittömästi kuormituksen mukaan. Perinteisiä tehonsyöttöjärjestelmiä ei suunniteltu näin kovaan käyttöön. Käytössä voi olla maailman edistyksellisin prosessori, mutta jos sille ei pystytä syöttämään vakaasti virtaa silloin kun sitä tarvitaan, sen koko potentiaalia ei saada hyödynnettyä. Siksi tehonsyötöstä on tulossa niin tärkeä osa tekoälyn skaalautumisen haastetta.

Datakeskusten energiankäytön tehokkuudesta puhuttaessa huomio kohdistuu usein jäähdytysjärjestelmiin ja koko laitoksen tason mittareihin. Kuinka paljon tehoa palvelimen sisällä todellisuudessa häviää ennen kuin se saavuttaa prosessorin, ja miksi tämä ongelma on saanut suhteellisen vähän huomiota?

Yhtä kaikkiin palvelimiin soveltuvaa lukua ei ole, mutta häviöt voivat olla huomattavia. Olemme arvioineet, että tietyissä suuren virran arkkitehtuureissa noin 7–10 % tehosta voi hävitä tehonsyötön viimeisissä vaiheissa ennen prosessoria. Tämä energia ei edistä laskentaa millään tavalla, vaan muuttuu lämmöksi, joka on sen jälkeen poistettava. Kun tuhansia prosessoreita käytetään ympäri vuorokauden, suhteellisen pienetkin tehottomuudet tulevat hyvin kalliiksi.

Yksi syy siihen, että tämä on jäänyt huomiotta, on datakeskusten tehokkuuden perinteinen mittaustapa. Power Usage Effectiveness eli PUE on vakiintunut alan standardiksi, ja se auttaa hahmottamaan laitoksen yleiskustannuksia, kuten jäähdytyksen ja sähkönjakelun osuutta. Se ei kuitenkaan kerro, kuinka tehokkaasti sähkö muunnetaan ja syötetään itse palvelimen sisällä.

En väitä, ettei jäähdytyksen tehokkuudella olisi merkitystä; sillä on ehdottomasti merkitystä. On kuitenkin hieman nurinkurista käyttää valtavia summia lämmön poistamiseen kiinnittämättä riittävästi huomiota siihen, mistä osa tästä tarpeettomasta lämmöstä syntyy. Meidän pitäisi pyrkiä estämään nämä häviöt jo alun perin.

Kun GPU:t ja muut tekoälykiihdyttimet kuluttavat yhä enemmän tehoa, millaisia rajoituksia perinteisissä piirilevytason tehonsyöttöarkkitehtuureissa on alkanut tulla esiin?

Ongelma hahmottuu paremmin, kun tarkastellaan, miten sähkö todella kulkee GPU:lle. Perinteisessä rakenteessa tehomuuntimet sijaitsevat prosessorin vieressä, ja sähkö kulkee piirilevyä pitkin vaakasuunnassa prosessorille. Matka voi tuntua merkityksettömältä, mutta kun siirretään tuhansia ampeereja, pienikin sähkövastus aiheuttaa huomattavia häviöitä. Resistanssihäviöt kasvavat virran neliössä, joten virran kaksinkertaistaminen saman resistanssin läpi voi nelinkertaistaa häviöt.

Lisäksi on haastavaa vastata nopeasti muuttuviin tehontarpeisiin ja samalla pitää jännite vakaana. Insinöörit voivat tasata vaihteluita lisäämällä kondensaattoreita ja muita komponentteja, mutta ne vievät arvokasta tilaa. Lopulta rakenteen uudistaminen on järkevämpää kuin lisäosien jatkuva lisääminen nykyiseen ratkaisuun.

Mitä muutoksia palvelintelineestä prosessorille tapahtuvaan tehonsyöttöön tarvitaan, jos alan tavoitteena on kasvattaa laskentatiheyttä edelleen aiheuttamatta kestämättömiä lämpö- tai hyötysuhdeongelmia?

Palvelintelineiden tasolla tapahtuu jo paljon innovointia, muun muassa siirtyminen korkeampaan jännitteeseen perustuvaan tehonjakeluun. Tämä on tärkeää, sillä korkeampi jännite mahdollistaa sähkön siirtämisen pienemmällä virralla, mikä vähentää häviöitä pitkillä etäisyyksillä. Sähkö on kuitenkin lopulta muunnettava prosessorien tarvitsemaan hyvin matalaan jännitteeseen, ja juuri tässä on vielä joitakin vaikeimmista haasteista.

Yksi lupaavimmista kehityssuunnista on pystysuuntainen tehonsyöttö, jossa teho muunnetaan suoraan prosessorin alla sen sijaan, että muunnin sijoitettaisiin sen viereen. Sähköisen reitin lyhentäminen auttaa vähentämään häviöitä ja nopeuttamaan järjestelmän reagointia. Ratkaisu tuo kuitenkin mukanaan oman haasteensa: lämpöä tuottavat komponentit sijoittuvat paljon lähemmäs toisiaan. Jotta tällaiset rakenteet toimisivat laajassa mittakaavassa, tehonsyöttöä, lämmönhallintaa ja pakkaustekniikkaa ei pidä käsitellä toisistaan erillisinä suunnittelutehtävinä. Ne on suunniteltava yhdessä alusta alkaen.

Lotus Microsystems esitteli hiljattain vStrata-pystysuuntaisen tehonsyöttöalustansa. Mihin ongelmaan pystysuuntaisella tehonsyötöllä pyritään vastaamaan, ja miten tämä ratkaisu eroaa tekoälypalvelimissa nykyisin käytetyistä perinteisistä tehonsyöttörakenteista?

Pystysuuntaisen tehonsyötön perusajatus on melko yksinkertainen. Sen sijaan, että valtavia sähkövirtoja kuljetettaisiin vaakasuunnassa piirilevyä pitkin, virtalähde sijoitetaan suoraan prosessorin alle. Tämä lyhentää sähköistä reittiä huomattavasti, vähentää häviöitä ja auttaa järjestelmää reagoimaan nopeammin tehontarpeen muutoksiin.

On kuitenkin tärkeää erottaa toisistaan tehon tuominen lähemmäs prosessoria ja koko ongelman ratkaiseminen. Samalla lämpö keskittyy pienempään tilaan, aivan niiden komponenttien viereen, joihin kohdistuu jo ennestään huomattava lämpökuormitus. Jos tätä ei huomioida, alkuperäistä ongelmaa ratkaistaessa voidaan luoda uusi pullonkaula.

Juuri tähän pyrimme vastaamaan vStratalla. Omalla piihin perustuvalla Power Interposer Technology -teknologiallamme voimme syöttää tehoa pystysuunnassa ja samalla sisällyttää lämmönhallinnan samaan rakenteeseen. Ensimmäinen moduulimme, LSC0580, on suunniteltu saavuttamaan jopa 96 prosentin hyötysuhde kuormituspisteessä, ja optimoiduissa kokoonpanoissa lämpötila voi laskea jopa 25 °C. Tavoitteena ei ole vain siirtää enemmän virtaa, vaan auttaa datakeskuksia saamaan samasta fyysisestä tilasta enemmän hyödyllistä laskentatehoa ja samalla vähentää sen tuottamiseen tarvittavaa sähkö- ja jäähdytyskuormaa.

Tekoälyalalla oletetaan usein, että tulevat suorituskykyparannukset syntyvät paremmista siruista tai kehittyneemmistä puolijohdeprosesseista. Voivatko tehonsyötön rakenteiden parannukset viime kädessä olla tekoälyn suorituskyvylle yhtä tärkeitä kuin itse prosessorien kehitys?

Ehdottomasti. Prosessorin teoreettisesta suorituskyvystä on hyötyä vain, jos ympäröivä järjestelmä antaa sen toimia tällä tasolla. Jos tehonsyöttö ei pysy kysynnän tahdissa tai liiallinen kuumuus pakottaa järjestelmän rajoittamaan suorituskykyä, et saa kaikkea sitä, mistä olet maksanut. Kiinnostavaa on, että parempi tehonsyöttörakenne voi auttaa saamaan nykyisestä laitteistosta enemmän irti pitkäkestoisen suorituskyvyn muodossa ilman, että itse prosessoria tarvitsee välttämättä muuttaa. En asettaisi vastakkain parempia siruja ja parempaa infrastruktuuria. Tarvitsemme molempia, ja uskon niiden välisen yhteyden merkityksen kasvavan entisestään.

Tekoälydatakeskukset kuormittavat jo merkittävästi sähköverkkoja eri puolilla maailmaa. Kuinka paljon palvelintason tehonmuunnon ja -syötön parannukset voisivat vähentää laajamittaisen tekoälyinfrastruktuurin kokonaisenergiankulutusta?

Mahdollisuus on huomattava, vaikka yhtä lukua on vaikea esittää, sillä vaikutus riippuu laitoksen rakenteesta ja koosta. Yhden prosenttiyksikön parannus yhdessä muunnosvaiheessa ei automaattisesti tarkoita yhtä suurta vähennystä datakeskuksen sähkön kokonaiskulutuksessa.

Mutta kannattaa miettiä, mitä tapahtuu, kun vaatimattomatkin tehokkuusparannukset kertautuvat tuhansissa jatkuvasti käyvissä prosessoreissa. Tällöin voidaan saavuttaa merkittäviä vähennyksiä hukkaenergiassa, käyttökustannuksissa ja pääomamenoissa sekä jäähdytysjärjestelmien hallittavaksi tulevan lämmön määrässä. Tämä on erityisen arvokasta, kun sähköverkon kapasiteetti jo rajoittaa sitä, missä ja kuinka nopeasti uusia datakeskuksia voidaan rakentaa.

Asian voi ilmaista myös näin: ympäristöystävällisintä energiaa on energia, jota ei koskaan käytetä. Tekoälyn laajentumisen tukemiseksi on keskitytty valtavasti lisäsähkönsaannin varmistamiseen, mikä on ymmärrettävää, mutta meidän pitäisi olla yhtä kiinnostuneita käyttämään jo saatavilla olevaa sähköä paremmin.

Kun tekoälylaitteistoissa siirrytään kohti suurempitehoisia grafiikkasuorittimia, räätälöityjä kiihdyttimiä ja yhä tiheämpiä laskentajärjestelmiä, millaisia teknisiä pullonkauloja tehonsyötön parissa työskentelevät insinöörit kohtaavat mielestäsi seuraavien vuosien aikana?

Virrantarve kasvaa edelleen, ja näemme jo nyt sen aiheuttamat haasteet. Jotkin tekoälyprosessorit tarvitsevat useita tuhansia ampeereja, ja tulevissa malleissa virrantarve voi olla jopa 6 000 tai peräti 8 000 ampeeria. Näin suuren virran tehokas syöttäminen on jo itsessään vaikeaa, mutta jännitteen pitäminen vakaana kuormituksen muuttuessa nopeasti tekee asiasta entistä monimutkaisemman.

Alalla edistymistä mitataan usein ennen kaikkea virrantiheydellä. On vaikuttavaa, jos pienemmällä tehonmuuntimella voidaan syöttää enemmän virtaa, mutta jos samassa pienemmässä tilassa syntyy yhtä paljon lämpöä, koko järjestelmä ei välttämättä ole parantunut. Itse asiassa lämpöongelma on saattanut pahentua. Uskon, että suurimmat edistysaskeleet ottavat ne insinöörit, jotka osaavat sovittaa yhteen tehokkuuden, lämpöteknisen suorituskyvyn, dynaamisen vasteen ja luotettavuuden.

Kun ajatellaan tekoälyinfrastruktuurin seuraavaa sukupolvea, mitä muutoksia tehonsyötössä, jäähdytyksessä, puolijohdekoteloinnissa ja järjestelmäarkkitehtuurissa tarvitaan, jotta tekoälyn laskentakapasiteettia voidaan kasvattaa jälleen merkittävästi?

Uskon, että tehonsyöttö integroidaan entistä tiiviimmin itse prosessoriin. Pystysuuntainen tehonsyöttö on tärkeä askel, mutta kehitys ei mielestäni pysähdy siihen. Tavoitteena ovat jo ohuemmat tehomoduulit, jotka voidaan upottaa piirilevyihin, ja lopulta arkkitehtuurit, joissa yhä suurempi osa tehonsyötön toiminnoista integroidaan suoraan xPU-pakkauksiin. Jokainen askel tuo tehon lähemmäs paikkaa, jossa se todella kulutetaan.

Jäähdytystä on kehitettävä näiden muutosten rinnalla. Nestejäähdytyksen merkitys kasvaa tiheässä laskennassa, mutta lämmönpoiston tehostaminen on vain osa ratkaisua. Meidän on myös vähennettävä tarpeettoman lämmön syntymistä ja löydettävä parempia tapoja hallita lämpöä sen syntypaikan lähellä.

Ehkä suurin muutos liittyy siihen, miten näitä järjestelmiä kehitetään. Laitteistopinon eri osia on perinteisesti usein optimoitu jokseenkin itsenäisesti. Kun siirrytään nykyistä suurempiin tehotasoihin, se käy yhä vaikeammaksi. Siruvalmistajien, tehoelektroniikan asiantuntijoiden, kotelointitekniikan insinöörien ja järjestelmäsuunnittelijoiden on tehtävä paljon tiiviimpää yhteistyötä. Olemme vuosien ajan venyttäneet yksittäisten prosessorien suorituskyvyn rajoja, mutta tekoälyinfrastruktuurin seuraavassa vaiheessa on varmistettava, että koko järjestelmä pystyy hyödyntämään sen, mihin nämä prosessorit pystyvät.

Kiitos hienosta haastattelusta. Lukijoiden, jotka haluavat tutustua tekoälyinfrastruktuurin pystysuuntaiseen tehonsyöttöön ja lämmönhallintaan, kannattaa vierailla sivustolla Lotus Microsystems.