Phillip Burr, produktansvarlig i Lumai – Intervju-serie

Phillip Burr er produktansvarlig i Lumai, med over 25 års erfaring i globalt produktledelse, markedsføring og ledelsesroller i ledende halvleder- og teknologiselskaper, og en dokumentert rekord i å bygge og skale opp produkter og tjenester.

Lumai er et britisk deep tech-selskap som utvikler 3D-optiske dataprocesorer for å akselerere kunstig intelligens-arbeidsbelastninger. Ved å utføre matris-vektor-multiplikasjon ved hjelp av lysstråler i tre dimensjoner, tilbyr deres teknologi opp til 50 ganger bedre ytelse og 90% lavere strømforbruk sammenlignet med tradisjonelle silisium-baserte akseleratorer. Dette gjør det spesielt godt egnet for AI-inferensoppgaver, inkludert store språkmodeller, samtidig som det betydelig reduserer energikostnader og miljøpåvirkning.

Hva inspirerte etableringen av Lumai, og hvordan utviklet ideen seg fra University of Oxford-forskning til et kommersielt foretak?

Den innledende gnisten ble antent da en av Lumais grunnleggere, Dr. Xianxin Guo, mottok et 1851 Research Fellowship ved University of Oxford. Intervjuerne forsto potensialet for optisk dataprocesering og spurte om Xianxin ville vurdere å søke om patenter og etablere et selskap hvis hans forskning var vellykket. Dette fikk Xianxins kreative hjerner i gang, og da han, sammen med en av Lumais andre medgrunnleggere, Dr. James Spall, hadde bevist at bruk av lys til å utføre beregningene i hjertet av AI både kunne dramatisk forbedre AI-ytelsen og redusere energiforbruket, var scenen satt. De visste at eksisterende silisium-baserte AI-hardware (som GPU-er) hadde vanskeligheter med å øke ytelsen uten å øke strømforbruk og kostnader, og at hvis de kunne løse dette problemet ved hjelp av optisk dataprocesering, kunne de skape et produkt som kundene ønsket. De tok denne ideen til noen venturekapitalister som støttet dem i å etablere Lumai. Lumai har nylig avsluttet sin andre runde av finansiering, og har samlet inn over 10 millioner dollar, og har også fått med seg nye investorer som også tror på at optisk dataprocesering kan fortsette å skale og møte økende AI-ytelseskrav uten å øke strømforbruk.

Hva var det som førte deg til å slutte deg til Lumai på dette tidspunktet?

Svaret er enkelt: teamet og teknologien. Lumai har et imponerende team av optiske, maskinlærings- og datacenter-eksperter, med erfaring fra selskaper som Meta, Intel (INTC ), Altera, Maxeler, Seagate og IBM (i tillegg til min egen erfaring fra Arm, indie, Mentor Graphics og Motorola). Jeg visste at et team av bemerkelsesverdige mennesker som var så fokusert på å løse utfordringen med å redusere kostnadene for AI-inferens, kunne gjøre fantastiske ting.

Jeg tror sterkt på at fremtiden for AI krever nye, innovative gjennombrudd i dataprocesering. Løftet om å kunne tilby 50 ganger bedre AI-ytelse, samt å kutte kostnadene for AI-inferens til 1/10 av hva det er i dag, var bare for godt å gå glipp av.

Hva var noen av de tidlige tekniske eller forretningsmessige utfordringene som grunnleggerne møtte da de skalerte opp fra et forskningsgjennombrudd til et produktklart selskap?

Forskningsgjennombruddet beviste at optikk kunne brukes for rask og svært effektiv matris-vektor-multiplikasjon. Til tross for de tekniske gjennombruddene, var den største utfordringen å overbevise folk om at Lumai kunne lykkes der andre optiske dataproceseringsstartups hadde feilet. Vi måtte bruke tid på å forklare at Lumais tilnærming var svært annerledes, og at vi i stedet for å basere oss på en enkelt 2D-chip, brukte 3D-optikk for å nå de nødvendige nivåene av skala og effisiens. Det er selvfølgelig mange steg å gå fra lab-forskning til teknologi som kan deployeres i stor skala i et datacenter. Vi erkjente tidlig at nøkkel til suksess var å bringe inn ingeniører med erfaring i å utvikle produkter i høy volum og i datacenter. Et annet område er programvare – det er essensielt at standard AI-rammeverk og -modeller kan dra nytte av Lumais prosessor, og at vi tilbyr verktøy og rammeverk for å gjøre dette så enkelt som mulig for AI-programvare-utviklere.

Lumais teknologi skal bruke 3D-optisk matris-vektor-multiplikasjon. Kan du forklare dette i enkle termer for et generelt publikum?

AI-systemer må utføre mange matematiske beregninger kalt matris-vektor-multiplikasjon. Disse beregningene er motoren som driver AI-respons. Hos Lumai gjør vi dette ved hjelp av lys i stedet for elektrisitet. Her er hvordan det fungerer:

1. Vi koder informasjon inn i lysstråler
2. Disse lysstrålene reiser gjennom 3D-rom
3. Lysstrålene interagerer med linser og spesielle materialer
4. Disse interaksjonene fullfører den matematiske operasjonen

Ved å bruke alle tre dimensjoner av rom, kan vi prosessere mer informasjon med hver lysstråle. Dette gjør vår tilnærming svært effektiv – reduserer energi, tid og kostnader nødvendige for å kjøre AI-systemer.

Hva er de viktigste fordelene med optisk dataprocesering sammenlignet med tradisjonelle silisium-baserte GPU-er og integrerte fotondataprocesorer?

Fordi fremgangen i silisiumteknologi har avtatt betydelig, resulterer hver økning i ytelse av en silisium-basert AI-prosessor (som en GPU) i en betydelig økning i strømforbruk. Silisium-baserte løsninger forbruker en enorm mengde strøm og jakter på avtagende avkastning, noe som gjør dem usedvanlig komplekse og dyre. Fordelen med å bruke optikk er at det praktisk talt ikke forbrukes noen strøm når man er i det optiske domenet. Energi brukes for å komme inn i det optiske domenet, men for eksempel kan vi i Lumais prosessor oppnå over 1 000 beregningsoperasjoner for hver lysstråle, hver enkelt syklus, noe som gjør det svært effektivt. Denne skalerbarheten kan ikke oppnås ved hjelp av integrerte fotondataprocesorer på grunn av både fysiske størrelsesbegrensninger og signalstøy, med antall beregningsoperasjoner for silisium-fotondataprocesorer på bare 1/8 av hva Lumai kan oppnå i dag.

Hvordan oppnår Lumais prosessor nesten null forsinkelse ved inferens, og hvorfor er dette en så kritisk faktor for moderne AI-arbeidsbelastninger?

Selv om vi ikke ville hevde at Lumai-prosessen tilbyr null-forsinkelse, utfører den en svært stor (1024 x 1024) matris-vektor-operasjon i en enkelt syklus. Silisium-baserte løsninger deler vanligvis en matrise inn i mindre matriser, som blir prosessert trinnvis og deretter kombineres resultater. Dette tar tid og resulterer i mer minne og energi som brukes. Redusere tiden, energien og kostnadene for AI-prosessering er kritisk for både å tillate flere bedrifter å dra nytte av AI og for å muliggjøre avansert AI på en bærekraftig måte.

Kan du gå gjennom hvordan din PCIe-kompatible formfaktor integrerer med eksisterende datacenter-infrastruktur?

Lumai-prosessen bruker PCIe-formfaktor-kort sammen med en standard CPU, alle innenfor en standard 4U-hylle. Vi arbeider med en rekke datacenter-hyller-utstyr-tilbydere for å sikre at Lumai-prosessen integrerer med deres eget utstyr. Vi bruker standard nettverksgrensesnitt, standard programvare osv., så at Lumai-prosessen utenfor ser ut som en hvilken som helst annen datacenter-prosessor.
Datacenter-energibruken er en økende global bekymring. Hvordan stiller Lumai seg som en bærekraftig løsning for AI-prosessering?

Datacenter-energibruken øker i en alarmerende takt. Ifølge en rapport fra Lawrence Berkeley National Laboratory, forventes datacenter-kraftforbruk i USA å tredobles innen 2028, og kan forbruke opptil 12% av landets kraft. Noen datacenter-operatører vurdere å installere kjernekraft for å dekke energibehovet. Bransjen må se på alternative tilnærminger til AI, og vi tror at optikk er svaret på denne energikrisen.

Kan du forklare hvordan Lumais arkitektur unngår skaleringsflaskehalser for nåværende silisium- og fotondataproceserings-tilnærminger?

Ytelsen til den første Lumai-prosessen er bare begynnelsen på hva som kan oppnås. Vi forventer at vår løsning vil fortsette å tilby enorme sprang i ytelse: ved å øke optiske klokkefrekvenser og vektorbredder, uten en tilsvarende økning i energiforbruk. Ingen annen løsning kan oppnå dette. Standard digitale silisium-baserte tilnærminger vil fortsette å forbruke mer og mer kostnad og kraft for hver økning i ytelse. Silisium-fotondataprocesorer kan ikke oppnå vektorbredden som trengs, og derfor har selskaper som så på integrerte fotondataprocesorer for datacenter-prosessering flyttet fokus til andre deler av datacenteret – for eksempel optisk interkonneksjon eller optisk switching.

Hva rolle ser du for optisk dataprocesering i fremtiden for AI — og mer generelt, i dataprocesering som helhet?

Optikk som helhet vil spille en enorm rolle i datacenter fremover – fra optisk interkonneksjon, optisk nettverking, optisk switching og naturligvis optisk AI-prosessering. Kravene som AI stiller til datacenteret er den viktigste drivkraften bak denne overgangen til optikk. Optisk interkonneksjon vil muliggjøre raskere forbindelser mellom AI-prosessorer, noe som er essensielt for store AI-modeller. Optisk switching vil muliggjøre mer effektivt nettverking, og optisk prosessering vil muliggjøre raskere, mer strømeffektiv og lavkostnad AI-prosessering. Kollektivt vil de hjelpe med å muliggjøre enda mer avansert AI, og overvinne utfordringene med avtatt silisium-skaleringshastighet på prosesseringssiden og hastighetsbegrensningene for kobber på interkonneksjonssiden. ent og lavkostnad AI-prosessering. Kollektivt vil de hjelpe med å muliggjøre enda mer avansert AI, og overvinne utfordringene med avtatt silisium-skaleringshastighet på prosesseringssiden og hastighetsbegrensningene for kobber på interkonneksjonssiden.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke Lumai.