Phillip Burr, Lumain tuotejohtaja – Haastattelusarja

Phillip Burr on Lumain tuotejohtaja, jolla on yli 25 vuoden kokemus globaalista tuotehallinnasta, markkinointistrategiasta ja johtamisrooleista johtavissa puolijohde- ja teknologiayrityksissä, sekä todistettu kyky rakentaa ja skaalata tuotteita ja palveluita.

Lumai on UK-pohjainen syvän teknologian yritys, joka kehittää 3D-optisia prosessoreita tehostamaan tekoälytyökuormia. Suorittamalla matriisi-vektori-kertoja 3D-tilassa valon avulla, heidän teknologiansa tarjoaa jopa 50-kertaisen suorituskyvyn ja 90 % vähemmän virrankulutusta verrattuna perinteisiin piiliittimiin. Tämä tekee siitä erityisen hyvin soveltuvan tekoälyinferenssitehtäviin, mukaan lukien suuret kielimallit, ja samalla vähentää merkittävästi energiakustannuksia ja ympäristövaikutuksia.

Mikä innoitti Lumain perustamista, ja miten idea kehittyi Oxfordin yliopiston tutkimuksesta kaupalliseksi yritykseksi?

Alkuperäinen ajatus syntyi, kun yksi Lumain perustajista, tohtori Xianxin Guo, sai 1851-tutkimusstipendin Oxfordin yliopistosta. Haastattelijat ymmärtivät optisen laskennan potentiaalin ja kysyivät, olisiko Xianxin valmis hakemaan patenteja ja perustamaan yrityksen, jos hänen tutkimuksensa onnistuisi. Tämä herätti Xianxinin luovan ajattelun, ja kun hän yhdessä toisen Lumain perustajan, tohtori James Spallin kanssa, osoittivat, että valon avulla voidaan suorittaa laskutoimituksia, joita tekoäly vaatii, ja samalla vähentää energiaa ja kustannuksia, he tiesivät, että he voivat luoda tuotteen, jota asiakkaat haluavat. He esittivät idean joillekin riskisijoittajille, jotka tukivat heidän yritystään perustaa Lumai. Lumai on vastikään saanut toisen rahoituskierroksensa, jossa se keräsi yli 10 miljoonaa dollaria ja sai uusia sijoittajia, jotka uskovat optisen laskennan jatkuvan skaalautumiseen ja kasvavaan tekoälyvaatimukseen ilman lisääntynyttä energiankulutusta.

Mitä toi sinut Lumaihin tähän vaiheeseen urallasi?

Lyhyt vastaus on tiimi ja teknologia. Lumailla on vaikuttava tiimi optiikan, koneoppimisen ja datakeskuksen asiantuntijoita, jotka tulevat yrityksistä kuten Meta, Intel (INTC ), Altera, Maxeler, Seagate ja IBM (sekä omasta kokemuksestani Armista, indie Semiconductorista, Mentor Graphicsista ja Motorolasta). Tiesin, että joukko poikkeuksellisia ihmisiä, jotka ovat keskittyneet ratkaisemaan tekoälyinferenssin kustannusten leikkaamisen haasteen, voivat saavuttaa upeita asioita.

Uskon vahvasti, että tekoälyn tulevaisuus vaatii uusia, innovatiivisia läpimurtoja laskennassa. Mahdollisuus tarjota 50-kertainen tekoälysuorituskyky sekä leikata tekoälyinferenssin kustannukset kymmenykseen nykyisistä ratkaisuista oli liian hyvä mahdollisuus jättää käyttämättä.

Mitä olivat johtavan tiimisi varhaisia teknisiä tai liiketoimintahaasteita skaalautuessa tutkimusläpimurrosta tuotteenvalmiiseksi yritykseksi?

Tutkimusläpimurto osoitti, että optiikkaa voidaan käyttää nopeaan ja erittäin tehokkaaseen matriisi-vektori-kertolaskuun. Vaikka tekniset läpimurrot, suurin haaste oli vakuuttaa ihmiset siitä, että Lumai voi onnistua siinä, missä muut optisen laskennan startup-yritykset ovat epäonnistuneet. Meidän piti viettää aikaa selittämällä, että Lumain lähestymistapa on erilainen ja että sen sijaan, että riippuisimme yksittäisestä 2D-piirilevystä, käytimme 3D-optiikkaa saavuttaaksemme asteet skaalautuvuutta ja tehokkuutta. On monia askelia laboratoriotutkimuksesta teknologiaan, jota voidaan käyttää laajassa mittakaavassa datakeskuksissa. Tunnistimme hyvin varhain, että avain menestykseen oli tuoda insinöörejä, joilla on kokemusta tuotteiden kehittämisestä suuressa mittakaavassa ja datakeskuksissa. Toinen alue on ohjelmisto – on olennaista, että standardit tekoälykehykset ja -mallit voivat hyötyä Lumain prosessorista, ja että tarjoamme työkalut ja kehykset, joiden avulla tekoälyohjelmistokehittäjät voivat hyödyntää tätä mahdollisimman vaivattomasti.

Lumain teknologiaa sanotaan käyttävän 3D-optista matriisi-vektori-kertolaskua. Voitko selittää sen yksinkertaisesti yleisölle?

Tekoälyjärjestelmien on suoritettava paljon matemaattisia laskutoimituksia, joita kutsutaan matriisi-vektori-kertolaskuksi. Nämä laskutoimitukset ovat moottori, joka pyörittää tekoälyvastauksia. Lumaissa suoritamme tämän valon avulla sähkön sijaan. Tässä on kuinka se toimii:

1. Koodaamme tiedot valon säteisiin
2. Nämä valon säteet kulkevat 3D-tilassa
3. Valo vuorovaikuttaa linssejen ja erityisten materiaalien kanssa
4. Nämä vuorovaikutukset suorittavat matemaattisen operaation

Käyttämällä kaikkia kolmea ulottuvuutta, voimme prosessoida enemmän tietoa kullakin valon säteellä. Tämä tekee lähestymistapamme erittäin tehokkaaksi – vähentämällä energiaa, aikaa ja kustannuksia, joita tarvitaan tekoälyjärjestelmien suorittamiseen.

Mitä ovat optisen laskennan pääedut verrattuna perinteisiin piiliittimien ja jopa integroiden fotoniikkaan?

Koska piiteknologian edistys on hidastunut merkittävästi, jokainen suorituskyvyn parannus piiliittimissä (kuten GPU:ssa) johtaa merkittävään energiankulutuksen lisääntymiseen. Piiliittimien ainoat ratkaisut kuluttavat valtavan määrän energiaa ja ajautuvat väheneviin palautteisiin, mikä tekee niistä erittäin monimutkaisia ja kalliita. Optiikan käytön etu on, että kun ollaan optisessa muodossa, siinä ei käytetä käytännössä energiaa. Energiaa käytetään pääsyyn optiseen muotoon, mutta esimerkiksi Lumain prosessorissa voimme saavuttaa yli 1 000 laskuoperaatiota jokaisella valon säteellä jokaisessa syklissä, mikä tekee sen erittäin tehokkaaksi. Tämä skaalautuvuus ei ole mahdollista integroidulla fotoniikalla johtuen sekä fyysisistä koko- että signaaliääni-rajoituksista, ja siinä on vain 1/8 osa Lumain tällä hetkellä saavutettavissa olevista laskuoperaatioista.

Kuinka Lumain prosessori saavuttaa lähes nollan viiveen inferenssin, ja miksi se on niin kriittinen tekijä modernille tekoälytyökuormille?

Vaikka emme väittäisi, että Lumain prosessori tarjoaa nollaviiveen, se suorittaa erittäin suuren (1024 x 1024) matriisi-vektori-operaation yhdessä syklissä. Piiliittimien ainoat ratkaisut jakavat matriisin pienemmiksi matriiseiksi, jotka prosessoidaan askel kerrallaan ja sitten yhdistetään. Tämä vie aikaa ja johtaa enemmän muistin ja energian käyttöön. Vähentämällä aikaa, energiaa ja kustannuksia, joita tarvitaan tekoälyprosessoinnille, on ratkaisevaa sekä sille, että enemmän yrityksiä voi hyötyä tekoälystä, että edistyneempää tekoälyä voidaan toteuttaa kestävällä tavalla.

Voitko kuljettaa meidät läpi, miten PCIe-yhteensopiva muotoilu integroituu olemassa olevaan datakeskukseen?

Lumain prosessori käyttää PCIe-muotokortteja yhdessä standardin CPU:n kanssa, kaikki standardin 4U-hyllyssä. Olemme työskennelleet useiden datakeskuslaitevalmistajien kanssa, jotta Lumain prosessori integroituu heidän laitteistoonsa. Käytämme standardiverkkorajapintoja, standardiohjelmistoa jne., jotta ulkoisesti Lumain prosessori näyttää vain toiselta datakeskusprosessorilta.
Datakeskusten energiankulutus on kasvava globaali huolenaihe. Miten Lumai asettaa itsensä kestävän ratkaisun tekoälylaskentaan?

Datakeskusten energiankulutus kasvaa hälyttävällä tahdilla. Lawrence Berkeley National Laboratoryn raportin mukaan Yhdysvaltain datakeskusten sähkönkulutus on arvioitu kolminkertaistuvan vuoteen 2028 mennessä, ja se kuluttaa jopa 12 % maan sähköstä. Jotkut datakeskusoperaattorit harkitsevat ydinvoiman asentamista energian saamiseksi. Teollisuuden on tarkasteltava erilaisia lähestymistapoja tekoälyyn, ja uskomme, että optiikka on vastaus tähän energiakriisiin.

Voitko selittää, miten Lumain arkkitehtuuri välttää nykyisten piiliittimien ja fotoniikka-arkkitehtuurien skaalautumisongelmat?

Lumain ensimmäisen prosessorin suorituskyky on vasta alku siitä, mitä on saavutettavissa. Odotamme, että ratkaisumme jatkaa tarjoamista valtavista hyppyistä suorituskyvyssä: lisäämällä optisia kellotaajuuksia ja vektorileveyksiä ilman vastaavaa energiankulutuksen lisääntymistä. Mikään muu ratkaisu ei voi saavuttaa tätä. Standardit digitaaliset piiliittimien ainoat lähestymistavat jatkavat energian ja kustannusten lisääntymistä jokaisen suorituskyvyn parannuksen myötä. Piiliittimien ainoat lähestymistavat kuluttavat enemmän energiaa ja ovat erittäin monimutkaisia ja kalliita. Integroidun fotoniikan ei voida saavuttaa vektorinleveyttä, jota tarvitaan, ja siksi yritykset, jotka tutkivat integroitua fotoniikkaa datakeskuslaskentaan, ovat siirtäneet huomionsa datakeskuksen muihin osiin – esimerkiksi optiseen väylään tai optiseen kytkentään.

Miten näet optisen laskennan roolin tekoälyn tulevaisuudessa — ja laajemmin, koko laskennassa?

Optiikka kokonaisuutena tulee pelaamaan valtavan roolin datakeskuksissa tulevaisuudessa – optisesta väylästä, optisesta verkostoitumisesta, optisesta kytkennästä ja tietysti optisesta tekoälyprosessoinnista. Tekoälyn asettamat vaatimukset datakeskuksille ovat avain siirtymiseen optiikkaan. Optinen väylä mahdollistaa nopeammat yhteydet tekoälyprosessoreiden välillä, mikä on välttämätöntä suurille tekoälymalleille. Optinen kytkentä mahdollistaa tehokkaamman verkostoitumisen, ja optinen laskenta mahdollistaa nopeamman, energiatehokkaamman ja edullisemman tekoälyprosessoinnin. Yhdessä ne auttavat mahdollistamaan edistyneempää tekoälyä, voittaen haasteet, joita piiliittimien skaalautuvuuden hidastuminen asettaa laskennan puolella ja kuparin nopeusrajoitukset väylän puolella.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Lumain sivustolla.