Phillip Burr, Head of Product bij Lumai – Interview Series

Phillip Burr is de Head of Product bij Lumai, met meer dan 25 jaar ervaring in wereldwijde productmanagement, go-to-market en leiderschapsrollen binnen toonaangevende semiconductor- en technologiebedrijven, en een bewezen trackrecord van het opbouwen en schalen van producten en diensten.

Lumai is een in het VK gevestigd deep tech-bedrijf dat 3D-optische computerprocessors ontwikkelt om kunstmatige intelligentie-workloads te versnellen. Door matrix-vector-multiplicaties uit te voeren met lichtstralen in drie dimensies, biedt hun technologie tot 50 keer de prestaties en 90% minder energieverbruik in vergelijking met traditionele siliconen gebaseerde accelerators. Dit maakt het bijzonder geschikt voor AI-inferentietaken, waaronder grote taalmodellen, en vermindert aanzienlijk de energiekosten en de milieubelasting.

Wat was de inspiratie achter de oprichting van Lumai, en hoe is het idee geëvolueerd van onderzoek aan de Universiteit van Oxford naar een commerciële onderneming?

De eerste vonk werd aangestoken toen een van de oprichters van Lumai, Dr. Xianxin Guo, een 1851 Research Fellowship aan de Universiteit van Oxford kreeg. De interviewers begrepen het potentieel van optische computing en vroegen of Xianxin zou overwegen om octrooien aan te vragen en een bedrijf op te richten als zijn onderzoek succesvol zou zijn. Dit zette Xianxins creatieve geest in gang en toen hij, samen met een van de andere mede-oprichters van Lumai, Dr. James Spall, had aangetoond dat het gebruik van licht voor berekeningen in het hart van AI zowel de AI-prestaties aanzienlijk kon verbeteren als de energieverbruik kon verlagen, was het podium geset. Ze wisten dat bestaande siliconen-only AI-hardware (zoals een GPU) worstelde om de prestaties te verhogen zonder een aanzienlijke toename in vermogen en kosten, en dus als ze dit probleem met optische berekeningen konden oplossen, konden ze een product creëren dat klanten wilden. Ze namen dit idee mee naar enkele venture capitalists die hen steunden om Lumai op te richten. Lumai sloot onlangs haar tweede financieringsronde af, waarbij meer dan 10 miljoen dollar werd opgehaald, en bracht additionele investeerders aan boord die ook geloven dat optische berekeningen kunnen blijven schalen en de toenemende vraag naar AI-prestaties kunnen bijhouden zonder de energieverbruik te verhogen.

U heeft een indrukwekkende carrière bij Arm, indie Semiconductor (INDI ) en meer — wat trok u aan om bij Lumai te komen op dit moment?

Het korte antwoord is team en technologie. Lumai heeft een indrukwekkend team van optische, machine learning- en datacenter-experts, met ervaring vanuit bedrijven als Meta, Intel (INTC ), Altera, Maxeler, Seagate en IBM (naast mijn eigen ervaring bij Arm, indie, Mentor Graphics en Motorola). Ik wist dat een team van opmerkelijke mensen dat zo gefocust was op het oplossen van de uitdaging van het verlagen van de kosten van AI-inferentie, geweldige dingen kon doen.

Ik geloof vast dat de toekomst van AI nieuwe, innovatieve doorbraken in computing vereist. De belofte om 50 keer de AI-compute-prestaties te kunnen bieden, evenals de kosten van AI-inferentie te verlagen tot 1/10 van de huidige oplossingen, was te mooi om te missen.

Wat waren enkele van de vroege technische of bedrijfsuitdagingen waar uw oprichtingsteam mee te maken kreeg bij het opschalen van een onderzoeksdoorbraak naar een productklaar bedrijf?

De onderzoeksdoorbraak bewees dat optica kon worden gebruikt voor snelle en zeer efficiënte matrix-vector-multiplicatie. Ondanks de technische doorbraken, was de grootste uitdaging om mensen te overtuigen dat Lumai kon slagen waar andere optische computing-startups hadden gefaald. We moesten tijd besteden aan het uitleggen dat Lumai’s aanpak heel anders was en dat we in plaats van te vertrouwen op een enkele 2D-chip, 3D-optica gebruikten om de niveaus van schaal en efficiëntie te bereiken. Er zijn natuurlijk veel stappen nodig om van laboratoriumonderzoek naar technologie te komen die op grote schaal in een datacenter kan worden ingezet. We erkenden vanaf het begin dat de sleutel tot succes het aantrekken van ingenieurs was die ervaring hadden met het ontwikkelen van producten in hoge volumes en in datacenters. Een ander gebied is software – het is essentieel dat de standaard AI-frameworks en -modellen kunnen profiteren van Lumai’s processor, en dat we de tools en frameworks bieden om dit zo naadloos mogelijk te maken voor AI-software-ingenieurs.

Lumai’s technologie wordt gezegd te gebruiken 3D-optische matrix-vector-multiplicatie. Kan u dat uitleggen in eenvoudige bewoordingen voor een algemeen publiek?

AI-systemen moeten veel wiskundige berekeningen uitvoeren, genaamd matrix-vector-multiplicatie. Deze berekeningen zijn de motor die AI-antwoorden aandrijft. Bij Lumai doen we dit met licht in plaats van elektriciteit. Hier is hoe het werkt:

1. We coderen informatie in lichtstralen
2. Deze lichtstralen reizen door 3D-ruimte
3. Het licht interacteert met lenzen en speciale materialen
4. Deze interacties voltooien de wiskundige bewerking

Door alle drie dimensies van de ruimte te gebruiken, kunnen we meer informatie verwerken met elke lichtstraal. Dit maakt onze aanpak zeer efficiënt – het vermindert de energie, tijd en kosten die nodig zijn om AI-systemen uit te voeren.

Wat zijn de belangrijkste voordelen van optische computing boven traditionele siliconen-gebaseerde GPUs en zelfs geïntegreerde photonics?

Omdat de snelheid van vooruitgang in siliciumtechnologie aanzienlijk is vertraagd, resulteert elke stap omhoog in prestaties van een silicium-only AI-processor (zoals een GPU) in een aanzienlijke toename in energieverbruik. Silicium-only oplossingen verbruiken een enorme hoeveelheid energie en zijn bezig met teruglopende rendementen, waardoor ze extreem complex en duur zijn. Het voordeel van het gebruik van optica is dat er eenmaal in het optische domein vrijwel geen energieverbruik is. Energie wordt gebruikt om in het optische domein te komen, maar bijvoorbeeld in Lumai’s processor kunnen we meer dan 1.000 berekeningsoperaties per lichtstraal per cyclus bereiken, waardoor het zeer efficiënt is. Deze schaalbaarheid kan niet worden bereikt met geïntegreerde photonics vanwege zowel fysieke groottebeperkingen als signaalruis, met het aantal berekeningsoperaties van silicium-fotonische oplossingen slechts 1/8 van wat Lumai vandaag kan bereiken.

Hoe bereikt Lumai’s processor bijna-nul-vertraging-inferentie, en waarom is dat zo’n kritische factor voor moderne AI-workloads?

Hoewel we niet zouden beweren dat de Lumai-processor zero-latency biedt, voert het een zeer grote (1024 x 1024) matrix-vector-bewerking uit in één cyclus. Silicium-only oplossingen delen meestal een matrix op in kleinere matrices, die afzonderlijk worden verwerkt en vervolgens worden samengevoegd. Dit kost tijd en resulteert in meer geheugen en energieverbruik. Het verminderen van de tijd, energie en kosten van AI-verwerking is kritiek om zowel meer bedrijven in staat te stellen van AI te profiteren als om geavanceerde AI op de meest duurzame manier mogelijk te maken.

Kunt u ons door het PCIe-compatibele formaat van Lumai’s processor leiden en hoe het integreert met bestaande datacenter-infrastructuur?

De Lumai-processor gebruikt PCIe-formfactor-kaarten naast een standaard CPU, allemaal binnen een standaard 4U-schap. We werken met een reeks datacenter-rack-uitrustingsleveranciers om ervoor te zorgen dat de Lumai-processor integreert met hun eigen apparatuur. We gebruiken standaard netwerkinterfaces, standaard software, enz., zodat de Lumai-processor van buitenaf gewoon als elke andere datacenter-processor zal lijken.
Datacenter-energieverbruik is een groeiende wereldwijde zorg. Hoe positioneert Lumai zich als een duurzame oplossing voor AI-compute?

Datacenter-energieverbruik neemt met een alarmerende snelheid toe. Volgens een rapport van het Lawrence Berkeley National Laboratory zal het energieverbruik van datacenters in de VS tegen 2028 mogelijk verdrievoudigen en tot 12% van het landelijke energieverbruik beslaan. Sommige datacenter-operatoren overwegen het installeren van kernenergie om de benodigde energie te leveren. De industrie moet naar andere benaderingen van AI kijken, en wij geloven dat optica de sleutel is tot deze energiecisis.

Kunt u uitleggen hoe Lumai’s architectuur de schaalbaarheidsbottlenecks van huidige silicium- en fotonische benaderingen vermijdt?

De prestaties van de eerste Lumai-processor zijn slechts het begin van wat haalbaar is. We verwachten dat onze oplossing zal blijven voorzien in enorme sprongen in prestaties: door de optische kloksnelheden en vectorbreedtes te verhogen, allemaal zonder een overeenkomstige toename in energieverbruik. Geen enkele andere oplossing kan dit bereiken. Standaard digitale silicium-only benaderingen zullen blijven verbruiken meer en meer kosten en energieverbruik voor elke toename in prestaties. Siliciumfotonica kan de benodigde vectorbreedte niet bereiken en daarom zijn bedrijven die naar geïntegreerde fotonica keken voor datacenter-compute, overgestapt naar het aanpakken van andere delen van het datacenter – bijvoorbeeld optische interconnect of optische schakeling.

Wat is de rol die u ziet voor optische computing in de toekomst van AI — en breder, in computing als geheel?

Optica als geheel zal een enorme rol spelen in datacenters in de toekomst – van optische interconnect, optische netwerken, optische schakeling en natuurlijk optische AI-verwerking. De eisen die AI aan datacenters stelt, zijn de sleuteldrijver van deze overstap naar optica. Optische interconnect zal snellere verbindingen tussen AI-processors mogelijk maken, wat essentieel is voor grote AI-modellen. Optische schakeling zal efficiëntere netwerken mogelijk maken, en optische verwerking zal snellere, energie-efficiëntere en lagere kosten van AI-verwerking mogelijk maken. Collectief zullen ze helpen om geavanceerdere AI mogelijk te maken, door de uitdagingen van de vertraging in siliciumschaling aan de compute-kant en de snelheidsbeperkingen van koper aan de interconnect-kant te overwinnen.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Lumai bezoeken Lumai.