Dr. Xianxin Guo, CEO en mede-oprichter van Lumai – Interviewreeks

Dr. Xianxin Guo, CEO en mede-oprichter van Lumai, is een natuurkundige en diepte-technologie-ondernemer die zich specialiseert in optische computing en AI-hardware, met een PhD in kwantumfysica en niet-lineaire optica van de Hong Kong University of Science and Technology. Hij had eerder onderzoeksrollen, waaronder een postdoctorale positie aan de University of Calgary en een 1851 Research Fellowship aan de University of Oxford, waar hij bijdroeg aan de vooruitgang in fotonica en AI-versnelling. Vanuit Lumai groeide hij van hoofd van onderzoek tot CEO, hij is de primaire uitvinder achter de kerntechnologie van het bedrijf en heeft meer dan een decennium ervaring op het snijvlak van fysica, machine learning en geavanceerde computersystemen.

Lumai is een spin-off van de Universiteit van Oxford die de volgende generatie AI-processors ontwikkelt op basis van 3D-optische computing, met licht in plaats van elektriciteit om belangrijke AI-berekeningen uit te voeren. De technologie is ontworpen om matrixoperaties te versnellen die moderne AI-modellen ondersteunen, waardoor significante snellere verwerkingssnelheden worden bereikt terwijl het energieverbruik wordt verlaagd in vergelijking met traditionele siliciumgebaseerde GPUs. Door optische berekening te integreren in bestaande datacenteromgevingen, streeft Lumai ernaar om meer schaalbare en kostenefficiënte AI-implementatie mogelijk te maken, waarmee de groeiende beperkingen rondom rekenkracht en energieverbruik in grote AI-systemen worden aangepakt.

U bent uw carrière begonnen in kwantumfysica en niet-lineaire optica, later werd u 1851 Research Fellow aan de Universiteit van Oxford voordat u Lumai mede-oprichtte vanuit uw onderzoek. Wat was het beslissende moment waarop u besefte dat optische computing van academische theorie naar een commercieel haalbaar bedrijf kon gaan?

Tijdens mijn tijd aan de Universiteit van Oxford, onderzochten we hoe de eigenschappen van licht in vrije ruimte konden worden gebruikt om het soort matrixoperaties op te lossen dat ten grondslag ligt aan machine learning. Rond dezelfde tijd werden de beperkingen van conventionele hardware voor AI belangrijker. De convergentie van deze uitdagingen die we in ons onderzoek hadden opgelost en de behoefte aan meer efficiënte berekening gaven ons het vertrouwen dat we onze ideeën konden nemen en echte wereldproblemen konden oplossen.

We zijn ver gekomen van dat initiële onderzoek – bij Lumai hebben we nu het eerste optische computersysteem gebouwd dat in staat is om billion-parameter LLM’s in real-time uit te voeren.

Lumai tackelt een van de grootste bottlenecks in AI vandaag, de energielimieten en schaalbaarheidsbeperkingen van siliciumgebaseerde computing. Wat waren de specifieke beperkingen in traditionele architectuur die u ertoe brachten om een fundamenteel andere aanpak te kiezen met licht?

Wat ons ertoe bracht, was de beperkte traject van siliciumoplossingen. Met silicium ziet u incrementele verbeteringen, maar die komen met onevenredige toenames in vermogen en complexiteit. De beperking van siliciumschaling is voornamelijk te wijten aan de fysica – frequenties nemen niet toe, en het aantal transistors dat kan worden geschakeld, is beperkt door thermische factoren. Lekkagestromen blijven een probleem. Het wordt geschat dat silicium alleen bijdraagt aan een 25% jaar-op-jaar toename in prestaties.

Op dat moment is het logisch om te vragen of een ander fysiek medium die operaties mogelijk meer natuurlijk kan afhandelen, in plaats van verder te gaan met het pushen van elektronen.

Uw werk richt zich op optische computing en machine learning. Hoe verandert het gebruik van fotonen in plaats van elektronen fundamenteel de manier waarop berekening plaatsvindt op het niveau van de hardware?

Met elektronen is berekening inherent sequentieel en verliesgevend – u schakelt transistors, verplaatst lading, genereert warmte. Elke operatie heeft een thermische kosten, en die kosten accumuleren.

Fotonen gedragen zich heel anders. Licht reist zonder dezelfde weerstandsverliezen, en kritisch, door de eigenschappen van licht te gebruiken, kunnen enorme aantallen matrixoperaties in parallel worden uitgevoerd door te structureren hoe lichtstralen door een fysiek medium interacteren. De berekening vindt plaats in de voortplanting van licht zelf, niet in het schakelen van miljarden poorten.

Lumai’s technologie maakt gebruik van 3D-optische verwerking en massale ruimtelijke parallelisme. Kunt u uitleggen hoe deze architectuur zulke dramatische verbeteringen in doorvoer en efficiëntie mogelijk maakt in vergelijking met GPUs?

Het doel is om dichte matrixvermenigvuldiging zo efficiënt en snel mogelijk in één cyclus uit te voeren. Lumai’s benadering doet precies dat door licht in een driedimensionale ruimte te gebruiken, waarbij miljoenen operaties tegelijkertijd worden uitgevoerd.

U kunt die mate van parallelisme niet bereiken in 2D-structuren, waar operaties worden verwerkt over honderden kernen die constante gegevensoverdracht vereisen. Het is deze inherente parallelisme – gecombineerd met het feit dat, zodra u in het lichtdomein bent, operaties kunnen worden uitgevoerd zonder stroom te verbruiken – dat zowel de doorvoerverbetering als de dramatische reductie in energieverbruik per token aandrijft.

Veel AI-infrastructuurbedrijven zijn nog steeds gefocust op training, terwijl Lumai zich richt op inferentie. Waarom denkt u dat inferentie de bepalende uitdaging is van deze volgende fase van AI?

Inferentie is waar AI daadwerkelijk iets nuttigs doet – elke query die wordt beantwoord, elke agenttaak die wordt voltooid, elke gegenereerde document. We zijn nu de inferentie-era ingegaan, en de vraag groeit met een snelheid die trainingsgerichte hardware nooit was ontworpen om te absorberen.

De economie is ook anders: inferentie loopt continu, over miljoenen gebruikers. Kosten per token worden de bepalende metric, en dat is waar de energiemuur het hardst aankomt.

Wat inferentie bijzonder geschikt maakt voor optische compute, is dat de prefill-fase zwaar rekenintensief is. In deze prefill-fase van gedecentraliseerde inferentie wordt de volledige context verwerkt voordat een antwoord wordt gegenereerd. Dit kaart bijna perfect op onze optische motor en daar hebben we ons eerst op gericht.

Een van de langdurige uitdagingen in optische computing is stabiliteit en schaalbaarheid. Wat waren de belangrijkste technische doorbraken die Lumai in staat stelden om deze barrières te overwinnen?

De uitdaging was nooit om te demonstreren dat optica berekening kon uitvoeren – onderzoekers hadden dat in principe al jaren aangetoond. De uitdaging was om het te laten werken op schaal, buiten het lab.

Twee dingen waren het belangrijkst. Ten eerste gebruiken we dezelfde componenten die al in datacentra worden gebruikt voor communicatie en netwerken. Geen exotische materialen, geen speculatieve toeleveringsketen. Ten tweede hebben we een bewuste architectonische keuze gemaakt om een hybride ontwerp te gebruiken, waarbij de optische tensor-engine wordt gecombineerd met digitale verwerking voor systeembeheer en software.

Uw systeem gebruikt een hybride benadering die optische en digitale componenten combineert. Hoe belangrijk is deze balans in het maken van optische computing praktisch voor echte datacenter-implementatie?

Het is fundamenteel. Optische computing betekent niet dat alles met licht wordt vervangen. Digitale systemen zijn buitengewoon goed in beheer, sequentie en interface met de software-ecosfeer die de industrie decennialang heeft opgebouwd. Onze optische motor excelleert in de kernwiskundige operaties die de inferentieberekening domineren. De hybride architectuur laat elk onderdeel doen wat het het beste doet.

Vanuit het oogpunt van implementatie is dit enorm belangrijk. Lumai Iris integreert in bestaande datacenter-infrastructuur, gebruikt standaardinterfaces en draait echte modellen, waaronder Llama 8B en 70B vandaag.

Met de aankondiging van de Lumai Iris-familie, met name de Iris Nova-server, wat betekent het bereiken van real-time inferentie op billion-parametermodellen voor de toekomst van AI-infrastructuur?

Het signaleert dat optische compute de overgang van onderzoek naar realiteit heeft gemaakt. Het uitvoeren van billion-parametermodellen in real-time is het bewijs dat de industrie nodig had. De Lumai Iris Server-familie bestaat uit drie servers: Nova, Aura en Tetra. Lumai Iris Nova, de eerste server in de familie, is nu beschikbaar voor evaluatie, en we zijn al in gesprek met partners die het willen gebruiken tegen echte inferentieworkloads.

Op bredere schaal signaleert het dat de traject van AI-infrastructuur op het punt staat om te veranderen. De aanname is geweest dat het schalen van inferentie betekent dat u meer GPUs moet kopen, meer stroom moet verbruiken, grotere datacentra moet bouwen. Lumai Iris Nova toont aan dat er een andere weg is – een die dramatisch meer prestaties per kilowatt levert en een fundamenteel andere kostenstructuur per token. Naarmate de Lumai Iris-serverfamilie zich ontwikkelt, zullen de implicaties voor hoe hyperscalers en ondernemingen denken over compute-inkoop aanzienlijk zijn.

Het persbericht benadrukt een energieverbruik met maximaal 90% lager in vergelijking met traditionele systemen. Hoe significant is deze doorbraak in de context van de groeiende energielimieten waarmee wereldwijde datacentra worden geconfronteerd?

De energielimiet is de bepalende infrastructuuruitdaging van de AI-era – stroomcapaciteit is al een beperkende factor op implementatieplannen en we hebben de zogenaamde powerwall bereikt.

Tegen deze achtergrond verandert een reductie van 90% in energieverbruik de fundamentele economie en haalbaarheid van AI op schaal. Een enkel Lumai-systeem kan tientallen stroomverbruikende GPUs vervangen, wat zich vertaalt in een aanzienlijke verschuiving in wat haalbaar is binnen een gegeven stroomomhulsel.

Er is ook een kostendimensie: datacenterbouwkosten weerspiegelen stroomcapaciteit, dus een lagere stroomdatacenter kost minder om te bouwen. Het verlagen van energieverbruik verlaagt rechtstreeks de kosten per token – wat uiteindelijk is wat AI economisch haalbaar maakt op de schaal waar de industrie naar toe werkt.

Kijkend naar de toekomst, terwijl de industrie begint te praten over een post-siliciumera, hoe ziet u de evolutie van optische computing in de komende decennium, en wat zal de rol van Lumai zijn in het vormgeven van die overgang?

Het post-siliciumera is al begonnen, en het gebeurt tegelijkertijd met de verschuiving naar de inferentie-era en de voortdurende vraag naar meer prestaties tegen lagere kosten per token. Silicium zal natuurlijk nog steeds een rol spelen, maar de aanname dat elke generatie rekenverbetering voortkomt uit de vooruitgang van siliciumknooppunten is niet langer geloofwaardig tegen de snelheid die AI eist. We zien optische compute worden gebruikt in sleutelonderdelen van de stack waar hoogparallele, hoge-doorvoerberekening nodig is.

Voor Lumai is de roadmap er een van het blijven pushen van de dichtheid, efficiëntie en capaciteit van optische compute en het uitrollen hiervan naar datacentra. De visie is een wereld waarin de energiekosten van intelligentie dalen en waar een megawatt-schaaldatacenter dezelfde tokenvolume kan genereren als een gigawatt-schaalfaciliteit vandaag.

Die toekomst is geen verre speculatie. We hebben het eerste systeem gebouwd dat aantoont dat optische compute werkt op schaal. Alles vanaf hier is engineering.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Lumai bezoeken.