ARIA vælger Lumais optiske servere til test af AI-inferens i rackskala

Lumai afprøver sin optiske AI-hardware i en ny sammenhæng: Scaling Inference Lab, der støttes af Storbritanniens Advanced Research and Invention Agency, også kaldet ARIA. Laboratoriet planlægger at anvende Lumai Iris-inferensservere som sin første platform til optisk databehandling, så forskere kan teste arkitekturen i rackskala i et kommercielt datacenter.

Laboratoriet drives af CommonAI CIC og skal bygge bro over en vanskelig kløft for ny AI-hardware: Det er én ting at demonstrere en ny processor, noget andet at få den til at fungere som en del af et integreret system med virkelige modeller og almindelige krav til strømforsyning, køling og racks.

Meddelelsen bygger videre på Iris Novas lancering i april. Det nye skridt er en evaluering med flere noder via et offentligt støttet testmiljø – ikke udgivelsen af en færdig, uafhængig benchmark, der beviser Lumais fremhævede effektivitetsgevinster.

Matematiske matrixberegninger med lys

Lumai, en spinout fra University of Oxford, der blev grundlagt i 2021, udvikler en hybridarkitektur, som kombinerer optisk og digital databehandling. Den optiske motor er målrettet de omfattende matematiske operationer, der bruges i AI-inferens, mens elektroniske komponenter fortsat håndterer de øvrige systemfunktioner.

I virksomhedens tekniske beskrivelse indkodes information i lysstråler og behandles gennem optiske komponenter i et tredimensionelt rum. Målet er at udføre mange matematiske operationer parallelt ved hjælp af lysets udbredelse i stedet for at udføre hver eneste beregning ved at skifte transistorer.

Det betyder ikke, at hele serveren er passiv eller ikke bruger strøm. Det fulde system kræver stadig lyskilder, datakonvertering, hukommelse, digital databehandling og styring. Det relevante tekniske spørgsmål er, hvor stor en del af den optiske motors effektivitet der er tilbage, når man medregner disse øvrige omkostninger, mens en brugbar model faktisk kører.

Lumai beskriver et bredt datagrænseflade, der skal fordele konverteringsomkostningerne på store arbejdsbelastninger, et hukommelsesdesign med tre niveauer til modellens key-value-cache og en kvantisering, der tager højde for hardwaren. Det er praktiske dele af arkitekturen: Datatransport, bevarelse af brugbar numerisk præcision og sikring af, at acceleratorens arbejdsbuffer ikke løber tør, påvirker alle ydeevnen uden for en laboratoriedemonstration.

Derfor fokuserer Lumai på præfyldning

Inferens med store sprogmodeller består af to forskellige faser. Under præfyldningen behandler systemet inputtet og opbygger den interne tilstand, der er nødvendig for at generere et svar. Under afkodningen producerer det outputtokens trin for trin og henter gentagne gange modelvægte og cachelagret kontekst.

Præfyldning domineres ofte af store matrixoperationer, mens afkodning kan være begrænset af hukommelsesbåndbredden, især ved mindre batchstørrelser. Balancen ændrer sig afhængigt af modellens størrelse, promptens længde, batching og konfigurationen af inferensserveringen. Lumais tilgang er at specialisere sig i den beregningstunge fase frem for at optimere hele processen med én type processor.

I dokumentationen til Iris-produkterne beskrives den optiske accelerator som en del af heterogene computersystemer, blandt andet som en præfyldningsprocessor sammen med hardware, der er optimeret til afkodning. Lumai oplyser, at Iris Nova understøtter Llama-modeller med 8 milliarder og 70 milliarder parametre, og at produktet kan evalueres i datacentre. Produktfamilien er udviklet til standardrackinfrastruktur og luftkøling.

»Når et system med flere noder kører i et kommercielt datacenter, viser det sig, om nye computerarkitekturer er klar til praktisk implementering,« sagde Xianxin Guo, Lumais medstifter og administrerende direktør. ARIA-projektet sætter dette integrationsspørgsmål i centrum for den næste fase.

Et testmiljø til komplette systemer

ARIA er et britisk offentligt agentur, der finansierer forskning og udvikling og støtter ambitiøse teknologier med potentiale til at gavne samfundet. Agenturets Scaling Compute-program undersøger alternativer til etablerede metoder inden for databehandling, herunder nye beregningsmæssige grundprincipper, netværk og systemdesign.

Scaling Inference Lab modtager 50 millioner pund i støtte fra ARIA. ARIA beskriver laboratoriet som en række strukturerede pilotprojekter på rackniveau, hvor hvert projekt indarbejder en uprøvet teknologi i et system, der kan sættes i drift, og som slutbrugere kan køre modeller på. Målet er at sammenligne ydeevnen for hele systemet med kommercielle alternativer og hurtigt foretage forbedringer, med et nyt rack planlagt hver sjette måned.

CommonAI, den Cambridge-baserede nonprofit-medlemsorganisation, der står for laboratoriet, samler virksomheder, offentlige organer og akademiske deltagere om et samarbejde inden for teknisk udvikling. Organisationens programoversigt beskriver mere end fem systemer på rackniveau og fremhæver uafhængig validering, så ny hardware kan dokumentere sin faktiske ydeevne i drift.

Denne struktur er vigtig, fordi en accelerator kan yde godt ved en isoleret operation, men give en mindre gevinst, når datatransport, planlægning, softwaresupport og resten af inferensprocessen medregnes. Et fælles testmiljø kan bidrage til at afdække både fordelene og flaskehalsene.

Hvad effektivitetsudsagnene viser – og ikke viser

Lumai siger, at arkitekturen har potentiale til at reducere datacentrenes strømforbrug med op til 90 % og bringe de samlede ejeromkostninger ned på omkring en tiendedel af omkostningerne ved konventionelle GPU-arkitekturer. På virksomhedens website beskrives en køreplan mod 50 gange højere ydeevne. I pressemeddelelsen rapporteres der særskilt om mindst 16 gange bedre energieffektivitet pr. inferens, når optisk præfyldning kombineres med siliciumbaseret afkodning.

Disse tal beskriver forskellige sammenligninger og bør ikke betragtes som indbyrdes udskiftelige målinger eller som resultater, der allerede er blevet uafhængigt verificeret af ARIA. Meddelelsen indeholder ikke en fælles benchmarkkonfiguration, en sammenligning af modelkvaliteten eller et offentliggjort sæt resultater på rackniveau, der kan dokumentere forbedringerne på tværs af kommercielle arbejdsbelastninger.

Laboratoriets evaluering er derfor den centrale udvikling. Relevante målinger kunne omfatte energiforbrug pr. fuldført anmodning, tid til første token, vedvarende outputgennemstrømning, modellens nøjagtighed og omkostningerne ved at drive det samlede system. For at kunne foretage meningsfulde sammenligninger skal man bruge den samme model, kontekstlængder, antagelser om batchning og servicekrav.

Hvis Storbritanniens ambition om at udvide landets AI-kapacitet inden for begrænsede strømrammer skal indfries, kan et vellykket optisk system være endnu en beregningsmulighed. Lumais implementering er et skridt på vejen mod at afprøve denne mulighed under kommercielle forhold. Om fordelene fører til lavere omkostninger til inferensdrift i stor skala, afhænger af de resultater for det samlede system, som evalueringen frembringer.