Phillip Burr, produktchef på Lumai – Intervjuerien

Phillip Burr är produktchef på Lumai, med över 25 års erfarenhet av global produktledning, marknadsföring och ledande roller inom ledande halvledar- och teknikföretag, och en bevisad meritlista av att bygga och skala produkter och tjänster.

Lumai är ett brittiskt deep tech-företag som utvecklar 3D-optiska datorprocessorer för att accelerera artificiell intelligensarbetsbelastningar. Genom att utföra matris-vektor-multiplikationer med hjälp av ljusstrålar i tre dimensioner erbjuder deras teknik upp till 50 gånger bättre prestanda och 90 % lägre energiförbrukning jämfört med traditionella kiselbaserade acceleratorer. Detta gör den särskilt lämplig för AI-inferenstyper, inklusive stora språkmodeller, samtidigt som energikostnaderna och miljöpåverkan minskas avsevärt.

Vad inspirerade grundandet av Lumai, och hur utvecklades idén från universitetsforskning vid Oxford till ett kommersiellt företag?

Den initiala gnistan tändes när en av Lumais grundare, Dr Xianxin Guo, tilldelades ett 1851 Research Fellowship vid University of Oxford. Intervjuarna förstod potentialen för optisk datoranvändning och frågade om Xianxin skulle överväga patent och spinna ut ett företag om hans forskning var framgångsrik. Detta fick Xianxins kreativa sinne att börja arbeta och när han, tillsammans med en av Lumais andra medgrundare Dr James Spall, hade bevisat att användning av ljus för att utföra beräkningar i hjärtat av AI kunde både dramatiskt förbättra AI-prestanda och minska energiförbrukningen, var scenen satt. De visste att befintliga kiselbaserade AI-hårdvaror (och fortfarande är) kämpar för att öka prestandan utan att signifikant öka kraften och kostnaden, och om de kunde lösa detta problem med hjälp av optisk beräkning, kunde de skapa en produkt som kunder ville ha. De tog denna idé till vissa riskkapitalister som stödde dem för att bilda Lumai. Lumai nyligen stängde sin andra finansieringsrunda, som hölls över 10 miljoner dollar, och medförde ytterligare investerare som också tror att optisk beräkning kan fortsätta att skala och möta den ökande AI-prestandakravet utan att öka kraften.

Du har haft en imponerande karriär över Arm, indie Semiconductor (INDI ) och mer — vad drog dig till att gå med i Lumai på detta stadium?

Det korta svaret är team och teknik. Lumai har ett imponerande team av optiska, maskinlärnings- och datacenterexperter, med erfarenhet från företag som Meta, Intel (INTC ), Altera, Maxeler, Seagate och IBM (tillsammans med min egen erfarenhet av Arm, indie, Mentor Graphics och Motorola). Jag visste att ett team av remarkabla människor som är så fokuserade på att lösa utmaningen att minska kostnaden för AI-inferens kunde göra fantastiska saker.

Jag tror starkt på att framtiden för AI kräver nya, innovativa genombrott inom datorkraft. Löftet att kunna erbjuda 50 gånger bättre AI-beräkningsprestanda samt minska kostnaden för AI-inferens till 1/10 jämfört med dagens lösningar var bara för bra för att missa.

Vilka var några av de tidiga tekniska eller affärsmässiga utmaningarna som ditt grundarteam stod inför när de gick från ett forskningsgenombrott till ett produktklart företag?

Forskningsgenombrottet bevisade att optik kunde användas för snabb och mycket effektiv matris-vektor-multiplikation. Trots de tekniska genombrotten var den största utmaningen att övertyga människor om att Lumai kunde lyckas där andra optiska datorstartups hade misslyckats. Vi var tvungna att tillbringa tid med att förklara att Lumais tillvägagångssätt var mycket annorlunda och att istället för att förlita sig på en enda 2D-chip, använde vi 3D-optik för att nå nivåer av skala och effektivitet. Det finns naturligtvis många steg för att gå från laboratorieforskning till teknik som kan distribueras i stor skala i ett datacenter. Vi insåg mycket tidigt att nyckeln till framgång var att ta in ingenjörer som har erfarenhet av att utveckla produkter i stor volym och i datacenter. Ett annat område är programvara — det är avgörande att standard-AI-ramverk och -modeller kan dra nytta av Lumais processor, och att vi tillhandahåller verktyg och ramverk för att göra detta så smidigt som möjligt för AI-programvaruutvecklare.

Lumais teknik sägs använda 3D-optisk matris-vektor-multiplikation. Kan du förklara det på ett enkelt sätt för en allmän publik?

AI-system behöver utföra många matematiska beräkningar som kallas matris-vektor-multiplikation. Dessa beräkningar är motorn som driver AI-svar. Hos Lumai gör vi detta med hjälp av ljus istället för elektricitet. Här är hur det fungerar:

1. Vi kodar information i ljusstrålar
2. Dessa ljusstrålar reser genom 3D-utrymme
3. Ljuset interagerar med linser och speciella material
4. De här interaktionerna slutför den matematiska operationen

Genom att använda alla tre dimensioner av utrymme kan vi bearbeta mer information med varje ljusstråle. Detta gör vår tillvägagångssätt mycket effektivt — minskar energi, tid och kostnad som behövs för att köra AI-system.

Vilka är de huvudsakliga fördelarna med optisk datoranvändning jämfört med traditionella kiselbaserade GPU:er och även integrerad fotonik?

Eftersom takten i framsteg inom kiseltillverkning har avtagit avsevärt, resulterar varje steg upp i prestanda för en kiselbaserad AI-processor (som en GPU) i en betydande ökning av kraft. Kiselbaserade lösningar förbrukar en otrolig mängd kraft och jagar avtagande avkastning, vilket gör dem otroligt komplexa och dyra. Fördelen med att använda optik är att det, när det väl är i det optiska området, förbrukar praktiskt taget ingen kraft. Energi används för att komma in i det optiska området, men till exempel i Lumais processor kan vi uppnå över 1 000 beräkningsoperationer för varje ljusstråle, varje enskild cykel, vilket gör det mycket effektivt. Denna skalbarhet kan inte uppnås med hjälp av integrerad fotonik på grund av både fysiska storleksbegränsningar och signalbrus, med antalet beräkningsoperationer för en kisel-fotonisk lösning på endast 1/8 av vad Lumai kan uppnå idag.

Hur uppnår Lumais processor nästan noll fördröjning vid inferens, och varför är detta en så kritisk faktor för moderna AI-arbetsbelastningar?

Även om vi inte skulle hävda att Lumai-processorn erbjuder noll fördröjning, så utför den en mycket stor (1024 x 1024) matris-vektor-operation i en enda cykel. Kiselbaserade lösningar delar vanligtvis upp en matris i mindre matriser, som bearbetas stegvis och sedan kombineras resultaten. Detta tar tid och resulterar i mer minne och energi som används. Att minska tiden, energin och kostnaden för AI-behandling är avgörande för att både tillåta fler företag att dra nytta av AI och för att möjliggöra avancerad AI på ett så hållbart sätt som möjligt.

Kan du gå igenom hur er PCIe-kompatibla formfaktor integrerar med befintlig datacenter-infrastruktur?

Lumai-processorn använder PCIe-formfaktorkort tillsammans med en standard-CPU, allt inom en standard 4U-hylla. Vi samarbetar med en rad datacenter-hylltillverkare så att Lumai-processorn integrerar med deras utrustning. Vi använder standardnätverksgränssnitt, standardprogramvara etc., så att Lumai-processorn utåt sett bara ser ut som vilken annan datacenter-processor som helst.
Datacenter-energiförbrukning är en växande global oro. Hur positionerar Lumai sig som en hållbar lösning för AI-beräkning?

Datacenter-energiförbrukning ökar i en alarmerande takt. Enligt en rapport från Lawrence Berkeley National Laboratory, förväntas datacenter-elkonsumtionen i USA tredubblas till 2028, och kommer att förbruka upp till 12 % av landets el. Vissa datacenter-operatörer överväger att installera kärnkraft för att tillhandahålla den energi som behövs. Branschen måste se på olika tillvägagångssätt för AI, och vi tror att optik är svaret på denna energikris.

Kan du förklara hur Lumais arkitektur undviker skalbarhetsbottlenecken för nuvarande kisel- och fotoniska tillvägagångssätt?

Prestandan för den första Lumai-processorn är bara början på vad som kan uppnås. Vi förväntar oss att vår lösning kommer att fortsätta att ge enorma språng i prestanda: genom att öka optiska klockfrekvenser och vektorbredder, allt utan en motsvarande ökning av förbrukad energi. Inga andra lösningar kan uppnå detta. Standard digitala kiselbaserade tillvägagångssätt kommer att fortsätta att förbruka mer och mer kostnad och kraft för varje ökning av prestanda. Kisel-fotonik kan inte uppnå den vektorbredd som behövs och därför har företag som tidigare undersökte integrerad fotonik för datacenter-beräkning flyttat till att hantera andra delar av datacentret — till exempel optisk interconnect eller optisk switching.

Vilken roll ser du att optisk datoranvändning kommer att spela i framtiden för AI — och mer allmänt, i datorkraft som helhet?

Optik som helhet kommer att spela en enorm roll i datacenter i framtiden — från optisk interconnect, optisk nätverk, optisk switching och naturligtvis optisk AI-behandling. Kraven som AI ställer på datacentret är den viktigaste drivkraften bakom denna övergång till optik. Optisk interconnect kommer att möjliggöra snabbare anslutningar mellan AI-processorer, vilket är avgörande för stora AI-modeller. Optisk switching kommer att möjliggöra mer effektiv nätverkshantering, och optisk beräkning kommer att möjliggöra snabbare, mer energisnål och lägre kostnad för AI-behandling. Kollektivt kommer de att hjälpa till att möjliggöra ännu mer avancerad AI, övervinna utmaningarna med avmattningen i kiselutvecklingen på beräkningsidan och hastighetsbegränsningarna för koppar på interconnect-sidan.

Tack för det underbara samtalet, läsare som vill lära sig mer bör besöka Lumai.