ARIA väljer Lumais optiska servrar för tester av AI-inferens i rackskala

Lumai tar sin optiska AI-hårdvara till en ny testmiljö: laboratoriet för skalning av inferens, med stöd från Storbritanniens Advanced Research and Invention Agency, eller ARIA. Laboratoriet planerar att använda Lumai Iris-inferensservrar som sin första plattform för optisk beräkning, vilket ger forskare möjlighet att testa arkitekturen i rackskala i en kommersiell datacentermiljö.

Laboratoriet drivs av CommonAI CIC och ska överbrygga en svår klyfta för ny AI-hårdvara: det är en sak att demonstrera en ny processor, men en annan att få den att fungera som en del av ett integrerat system med verkliga modeller och vanliga krav på strömförsörjning, kylning och rack.

Tillkännagivandet bygger vidare på lanseringen av Iris Nova i april. Nästa steg är en utvärdering med flera noder i en offentligt finansierad testmiljö, inte lanseringen av ett färdigt, oberoende riktmärke som bevisar Lumais uppmärksammade effektivitetsanspråk.

Matrisberäkningar med ljus

Lumai, en avknoppning från Oxfords universitet som grundades 2021, utvecklar en hybridarkitektur som kombinerar optik och digital teknik. Den optiska motorn är inriktad på de omfattande matematiska operationer som används vid AI-inferens, medan elektroniska komponenter fortsätter att hantera systemets övriga funktioner.

I företagets tekniska beskrivning kodas information i ljusstrålar och bearbetas genom optiska komponenter i ett tredimensionellt rum. Målet är att utföra många matematiska operationer parallellt genom ljusets utbredning, i stället för att göra varje beräkning genom att slå om transistorer.

Det innebär inte att hela servern är passiv eller strömlös. Hela systemet behöver fortfarande ljuskällor, dataomvandling, minne, digital bearbetning och styrning. Den relevanta tekniska frågan är hur mycket av den optiska motorns effektivitet som återstår när dessa kringkostnader räknas in och en användbar modell faktiskt körs.

Lumai beskriver ett brett datagränssnitt som ska fördela omvandlingskostnaderna över stora arbetsbelastningar, en minnesarkitektur i tre nivåer för modellens nyckel-värde-cache och hårdvarumedveten kvantisering. Det här är praktiska delar av arkitekturen: dataöverföring, bevarande av användbar numerisk precision och att hålla acceleratorn sysselsatt påverkar alla prestandan utanför en laboratoriedemonstration.

Varför Lumai satsar på förifyllning

Inferens med stora språkmodeller består av två skilda faser. Under förifyllningen bearbetar systemet indata och bygger upp det interna tillstånd som behövs för att generera ett svar. Under avkodningen producerar det utdatatoken steg för steg och hämtar upprepade gånger modellvikter och cachad kontext.

Förifyllningen domineras ofta av stora matrismultiplikationer, medan avkodningen kan begränsas av minnesbandbredden, särskilt vid mindre batchstorlekar. Balansen förändras beroende på modellens storlek, promptens längd, batchstorlek och serveringskonfiguration. Lumais strategi är att specialisera sig på det beräkningstunga steget i stället för att optimera hela processen med en enda typ av processor.

I Iris produktdokumentation beskrivs den optiska acceleratorn som en del av heterogena datorsystem, bland annat som en processor för förifyllning tillsammans med hårdvara som är optimerad för avkodning. Enligt Lumai stöder Iris Nova Llama-modeller med 8 miljarder respektive 70 miljarder parametrar och finns tillgänglig för utvärdering i datacenter. Produktfamiljen är utformad för standardiserad rackinfrastruktur och luftkylning.

”När ett system med flera noder körs i ett kommersiellt datacenter visar det sig om nya beräkningsarkitekturer är redo för verklig driftsättning”, säger Xianxin Guo, medgrundare och vd för Lumai. ARIA-projektet sätter denna integrationsfråga i centrum för nästa fas.

En testmiljö för kompletta system

ARIA är en brittisk offentlig myndighet som finansierar forskning och utveckling och stödjer ambitiös teknik med potential att gynna samhället. Myndighetens program Scaling Compute undersöker alternativ till etablerade beräkningsmetoder, däribland nya beräkningsprimitiver, nätverk och systemdesign.

Laboratoriet för skalning av inferens får 50 miljoner pund i stöd från ARIA. ARIA beskriver verksamheten som en serie strukturerade pilotprojekt på racknivå, där varje projekt integrerar en oprövad teknik i ett driftsättningsklart system som slutanvändare kan köra modeller på. Målet är att jämföra prestandan för hela system med kommersiella alternativ och snabbt göra förbättringar, med ett nytt rack planerat var sjätte månad.

CommonAI, den Cambridgebaserade ideella medlemsorganisation som driver laboratoriet, samlar företag, offentliga organ och akademiska aktörer för tekniskt samarbete. I organisationens programöversikt beskrivs fler än fem system på racknivå, och oberoende validering lyfts fram som ett sätt att hjälpa ny hårdvara att visa sin faktiska driftprestanda.

Den strukturen är viktig eftersom en accelerator kan prestera väl i en isolerad operation men ge mindre nytta när dataförflyttning, schemaläggning, programvarustöd och resten av serveringsprocessen räknas in. En gemensam testmiljö kan bidra till att synliggöra både fördelar och flaskhalsar.

Vad effektivitetsanspråken visar – och inte visar

Lumai uppger att arkitekturen har potential att minska datacentrens elförbrukning med upp till 90 procent och sänka den totala ägandekostnaden till omkring en tiondel av kostnaden för konventionella GPU-arkitekturer. På företagets webbplats beskrivs en färdplan mot 50 gånger högre prestanda. I pressmeddelandet anges separat att energieffektiviteten per inferens är minst 16 gånger högre när optisk prefill kombineras med kiselbaserad avkodning.

De här siffrorna avser olika jämförelser och bör inte behandlas som utbytbara mått eller som resultat som ARIA redan har verifierat oberoende. I tillkännagivandet anges ingen gemensam benchmarkkonfiguration eller jämförelse av modellkvalitet, och det innehåller inte heller någon publicerad resultatuppsättning på racknivå som skulle belägga förbättringarna för kommersiella arbetsbelastningar.

Laboratoriets utvärdering är därför den egentliga nyheten. Relevanta mätvärden skulle omfatta energiförbrukning per slutförd förfrågan, tid till första token, uthållig utdatahastighet, modellens träffsäkerhet och kostnaden för att driva hela systemet. Meningsfulla jämförelser kräver samma modell, kontextlängder, antaganden om batchhantering och servicekrav.

För Storbritanniens ambition att bygga ut den inhemska AI-kapaciteten inom begränsade elbudgetar skulle ett framgångsrikt optiskt system kunna erbjuda ytterligare ett beräkningsalternativ. Lumais driftsättning är ett steg mot att testa den möjligheten under kommersiella förhållanden. Om systemets fördel leder till lägre kostnader för att leverera AI-tjänster i stor skala beror på vilka belägg för hela systemet som utvärderingen ger.