Phillip Burr, Head of Product at Lumai – Interviewserie

Phillip Burr er Head of Product i Lumai, med over 25 års erfaring i globalt produktledelse, markedsføring og ledelsesroller inden for førende halvleder- og teknologivirksomheder, og en dokumenteret track record for at opbygge og skala produkter og tjenester.

Lumai er en britisk dybteknologivirksomhed, der udvikler 3D-optiske computere til at accelerere kunstig intelligens-arbejdsbelastninger. Ved at udføre matrix-vektor-multiplicationer ved hjælp af lysstråler i tre dimensioner, tilbyder deres teknologi op til 50 gange bedre ydelse og 90% lavere energiforbrug i forhold til traditionelle silicium-baserede acceleratorer. Dette gør den særligt velegnet til AI-inferensopgaver, herunder store sprogmodeller, samtidig med at den reducerer energiomkostningerne og miljøpåvirkningen betydeligt.

Hvad inspirerede oprettelsen af Lumai, og hvordan udviklede idéen sig fra University of Oxford-forskning til en kommerciel virksomhed?

Det første spark blev antændt, da en af Lumais grundlæggere, Dr. Xianxin Guo, modtog en 1851 Research Fellowship ved University of Oxford. Interviewerne forstod potentialet for optisk computing og spurgte, om Xianxin ville overveje patenter og oprette en virksomhed, hvis hans forskning var succesfuld. Dette fik Xianxins kreative hjerte til at slå, og da han sammen med en af Lumais andre medstiftende, Dr. James Spall, havde bevist, at brugen af lys til at udføre beregningerne i hjertet af AI kunne både dramatisk forbedre AI-ydelsen og reducere energiforbrug, var scenen sat. De vidste, at eksisterende silicium-baseret AI-hardware (såsom GPU’er) havde svært ved at øge ydelsen uden en betydelig øgning af strømforbrug og omkostninger, og hvis de kunne løse dette problem ved hjælp af optisk beregning, kunne de skabe et produkt, som kunderne ønskede. De tog denne idé til nogle venturekapitalister, der støttede dem i at oprette Lumai. Lumai har nyligt afsluttet sin anden runde af finansiering, hvor de har indsamlet over 10 millioner dollars og har tilføjet yderligere investorer, der også tror på, at optisk beregning kan fortsætte med at skala og opfylde de øgede krav til AI-ydelse uden at øge strømforbrug.

Hvad var det, der tiltrak dig til at tilslutte dig Lumai på dette tidspunkt?

Det korte svar er team og teknologi. Lumai har et imponerende team af optiske, maskinlærings- og datacenter-eksperter, der kommer fra virksomheder som Meta, Intel (INTC ), Altera, Maxeler, Seagate og IBM (sammen med min egen erfaring fra Arm, indie, Mentor Graphics og Motorola). Jeg vidste, at et team af bemærkelsesværdige mennesker, der var så fokuserede på at løse udfordringen med at reducere omkostningerne ved AI-inferens, kunne gøre fantastiske ting.

Jeg er overbevist om, at fremtiden for AI kræver nye, innovative gennembrud inden for computing. Løftet om at kunne tilbyde 50 gange bedre AI-ydelse samt reducere omkostningerne ved AI-inferens til 1/10 af, hvad det er i dag, var simpelthen for godt en mulighed at lade gå fra.

Hvad var nogle af de tidlige tekniske eller forretningsmæssige udfordringer, som jeres grundlæggende team stod over for under opskaleringen fra et forskningsgennembrud til en produktklar virksomhed?

Forskningsgennembruddet beviste, at optik kunne bruges til hurtig og meget effektiv matrix-vektor-multiplication. Trods de tekniske gennembrud var den største udfordring at overbevise mennesker om, at Lumai kunne lykkes, hvor andre optiske computing-startups havde fejlet. Vi måtte bruge tid på at forklare, at Lumais tilgang var meget anderledes, og at vi i stedet for at afhænge af en enkelt 2D-chip brugte 3D-optik til at nå de nødvendige niveauer af skala og effektivitet. Der er selvfølgelig mange skridt fra laboratorieforskning til teknologi, der kan udvikles i stor skala i et datacenter. Vi erkendte meget tidligt, at nøglen til succes var at tilføre ingeniører, der havde erfaring med at udvikle produkter i stor volumen og i datacentre. Et andet område er software – det er afgørende, at standard AI-rammer og -modeller kan drage fordel af Lumais processor, og at vi tilbyder værktøjer og rammer til at gøre dette så ubesværet som muligt for AI-software-ingeniører.

Lumais teknologi siges at bruge 3D-optisk matrix-vektor-multiplication. Kan du forklare det i simple vendinger for et bredt publikum?

AI-systemer skal udføre mange matematiske beregninger kaldet matrix-vektor-multiplication. Disse beregninger er motoren, der driver AI-svar. Hos Lumai gør vi dette ved hjælp af lys i stedet for elektricitet. Her er, hvordan det fungerer:

1. Vi kodificerer information i lysstråler
2. Disse lysstråler rejser gennem 3D-rum
3. Lysstrålerne interagerer med linser og specielle materialer
4. Disse interaktioner afslutter den matematiske operation

Ved at bruge alle tre dimensioner af rum kan vi behandle mere information med hver lysstråle. Dette gør vores tilgang meget effektiv – reducerer energi, tid og omkostninger til at køre AI-systemer.

Hvad er de primære fordele ved optisk computing i forhold til traditionel silicium-baseret GPU og selv integreret fotonik?

Fordi fremskridtet i siliciumteknologi har langsommere betydeligt, resulterer hver opgradering af ydelsen af en silicium-baseret AI-processor (såsom en GPU) i en betydelig øgning af strømforbrug. Silicium-baserede løsninger forbruger en enorm mængde strøm og er på jagt efter svindende afkast, hvilket gør dem utroligt komplekse og dyre. Fordelen ved at bruge optik er, at når man først er i det optiske domæne, forbruges der næsten ingen strøm. Energi bruges til at komme ind i det optiske domæne, men f.eks. kan vores processor i Lumai opnå over 1.000 beregninger for hver lysstråle, hver enkelt cyklus, hvilket gør det meget effektivt. Denne skalerbarhed kan ikke opnås ved hjælp af integreret fotonik på grund af både fysiske størrelsesbegrænsninger og signalstøj, hvor antallet af beregninger for silicium-fotonic-løsninger kun er 1/8 af, hvad Lumai kan opnå i dag.

Hvordan opnår Lumais processor næsten nul-forsinkelses-inferens, og hvorfor er det så kritisk for moderne AI-arbejdsbelastninger?

Selv om vi ikke ville påstå, at Lumai-processoreren tilbyder nul-forsinkelses-inferens, udfører den en meget stor (1024 x 1024) matrix-vektor-operation i en enkelt cyklus. Silicium-baserede løsninger deler normalt en matrix op i mindre matricer, der behandles individuelt trin for trin, og derefter kombineres resultaterne. Dette tager tid og resulterer i mere hukommelse og energi, der bruges. Reducering af tiden, energien og omkostningerne ved AI-bearbejdning er afgørende for både at tillade flere virksomheder at drage fordel af AI og for at aktivere avanceret AI på den mest bæredygtige måde.

Kan du føre os igennem, hvordan jeres PCIe-kompatible formfaktor integrerer med eksisterende datacenter-infrastruktur?

Lumai-processoreren bruger PCIe-formfaktor-kort sammen med en standard CPU, alt inden for en standard 4U-hylde. Vi arbejder med en række datacenter-rack-udstyrssupplysere, så Lumai-processoreren integrerer med deres eget udstyr. Vi bruger standard netværksgrænseflader, standard software osv., så externt vil Lumai-processoreren blot se ud som en anden datacenter-processor.
Datacenter-energiforbrug er en voksende global bekymring. Hvordan positionerer Lumai sig som en bæredygtig løsning for AI-beregning?

Datacenter-energiforbrug er stigende i en alarmende takt. Ifølge en rapport fra Lawrence Berkeley National Laboratory, forventes datacenter-strømforbrug i USA at tredobles inden 2028 og forbruge op til 12% af landets strøm. Nogle datacenter-operatører overvejer at installere kernekraft for at tilbyde den nødvendige energi. Branchen må se på alternative tilgange til AI, og vi tror, at optik er svaret på denne energikrise.

Kan du forklare, hvordan Lumais arkitektur undgår skaleringsbottlenecksene for nuværende silicium- og fotoniske tilgange?

Ydelsen af den første Lumai-processor er kun begyndelsen på, hvad der kan opnås. Vi forventer, at vores løsning vil fortsætte med at tilbyde enorme spring i ydelse: ved at øge optiske urtakter og vektorbredder, alt uden en tilsvarende øgning i energiforbrug. Ingen anden løsning kan opnå dette. Standard digitale silicium-baserede tilgange vil fortsætte med at forbruge mere og mere kost og strøm for hver øgning i ydelse. Silicium-fotonik kan ikke opnå den vektorbredde, der er nødvendig, og derfor har virksomheder, der så på integreret fotonik til datacenter-beregning, flyttet til at løse andre dele af datacenteret – f.eks. optisk interconnect eller optisk switching.

Hvad rolle ser du for optisk computing i fremtiden for AI – og mere bredt, i computing som helhed?

Optik som helhed vil spille en enorm rolle i datacentre fremover – fra optisk interconnect, optisk netværk, optisk switching og naturligvis optisk AI-beregning. Kravene, som AI stiller til datacenteret, er den nøgle driver for denne overgang til optik. Optisk interconnect vil enable hurtigere forbindelser mellem AI-processorer, hvilket er afgørende for store AI-modeller. Optisk switching vil enable mere effektivt netværk, og optisk beregning vil enable hurtigere, mere energivenlig og lavere-omkostnings AI-beregning. Kollektivt vil de hjælpe med at enable endnu mere avanceret AI, overvindende udfordringerne med langsommelsen i silicium-skala på beregnings-siden og hastighedsbegrænsningerne for kobber på interconnect-siden. Tilsammen vil de hjælpe med at enable endnu mere avanceret AI, overvindende udfordringerne med langsommelsen i silicium-skala på beregnings-siden og hastighedsbegrænsningerne for kobber på interconnect-siden. Thank you for the great interview, læsere, der ønsker at lære mere, skal besøge Lumai.