ARIA velger optiske Lumai-servere til testing av AI-inferens i rackskala

Lumai tar sin optiske AI-maskinvare inn i en ny evalueringssituasjon: laboratoriet for skalering av inferens, som får støtte fra Storbritannias Advanced Research and Invention Agency, eller ARIA. Laboratoriet planlegger å ta i bruk Lumai Iris-inferensservere som sin første plattform for optisk databehandling. Dermed får forskere mulighet til å teste arkitekturen i rackskala i et kommersielt datasentermiljø.

Laboratoriet drives av CommonAI CIC og skal bidra til å bygge bro over et vanskelig gap for ny AI-maskinvare: Det er én ting å demonstrere en ny prosessor; noe helt annet er å få den til å fungere som del av et integrert system, med faktiske modeller og vanlige krav til strøm, kjøling og rack.

Kunngjøringen bygger videre på lanseringen av Iris Nova i april. Det nye er en evaluering med flere noder gjennom en offentlig støttet testplattform, ikke publisering av en ferdig, uavhengig referansemåling som beviser Lumais påstander om svært høy effektivitet.

Matematikk med lys

Lumai, en avlegger fra University of Oxford grunnlagt i 2021, utvikler en hybridarkitektur som kombinerer optisk og digital databehandling. Den optiske motoren er rettet mot de omfattende matematiske operasjonene som brukes i AI-inferens, mens elektroniske komponenter fortsatt håndterer funksjonene rundt i systemet.

I selskapets tekniske beskrivelse kodes informasjon inn i lysstråler og behandles gjennom optiske komponenter i tredimensjonalt rom. Målet er å utføre mange matematiske operasjoner parallelt ved hjelp av lysets forplantning, i stedet for å gjennomføre hver beregning ved å slå transistorer av og på.

Det betyr ikke at hele serveren er passiv eller ikke bruker strøm. Hele systemet trenger fortsatt lyskilder, datakonvertering, minne, digital behandling og styring. Det sentrale ingeniørspørsmålet er hvor mye av effektiviteten til den optiske motoren som består når man tar hensyn til disse kostnadene rundt den, mens en nyttig modell faktisk kjører.

Lumai beskriver et bredt datagrensesnitt som skal fordele kostnadene ved konvertering over store arbeidsmengder, en minnearkitektur i tre nivåer for modellens nøkkel-verdi-hurtigbuffer og maskinvarebevisst kvantisering. Dette er praktiske deler av arkitekturen: dataflytting, bevaring av brukbar numerisk presisjon og det å sørge for at akseleratoren har nok arbeid, påvirker alle ytelsen utenfor en laboratoriedemonstrasjon.

Hvorfor Lumai satser på prefylling

Inferens for store språkmodeller har to tydelig atskilte faser. I prefyllingsfasen behandler systemet inndataene og bygger opp den interne tilstanden som trengs for å generere et svar. Under dekoding produserer systemet utdataene token for token, samtidig som det gjentatte ganger leser modellvekter og hurtigbufret kontekst.

Prefylling domineres ofte av store matriseoperasjoner, mens dekoding kan begrenses av minnebåndbredden, særlig ved mindre batchstørrelser. Balansen endres med modellstørrelse, lengden på ledeteksten, batching og konfigurasjonen av tjenesten. Lumais tilnærming er å spesialisere seg på den beregningstunge fasen i stedet for å optimalisere hele behandlingsløpet med én type prosessor.

Dokumentasjonen for Iris-produktene beskriver den optiske akseleratoren som en del av heterogene datasystemer, blant annet som en prosessor for prefylling sammen med maskinvare som er optimalisert for dekoding. Lumai opplyser at Iris Nova støtter Llama-modeller med 8 milliarder og 70 milliarder parametere, og at den er tilgjengelig for evaluering i datasentre. Produktfamilien er utviklet for standard rackinfrastruktur og luftkjøling.

«Det er når et system med flere noder kjøres i et kommersielt datasenter, at nye databehandlingsarkitekturer viser om de er klare for faktisk bruk», sa Xianxin Guo, medgrunnlegger og administrerende direktør i Lumai. ARIA-prosjektet setter dette integrasjonsspørsmålet i sentrum for neste fase.

En testplattform for komplette systemer

ARIA er et britisk offentlig finansieringsorgan for forskning og utvikling som støtter ambisiøse teknologier med potensial til å være til nytte for samfunnet. Programmet Scaling Compute utforsker alternativer til etablerte databehandlingsmetoder, blant annet nye beregningsprimitiver, nettverk og systemdesign.

Laboratoriet for skalering av inferens får 50 millioner pund i støtte fra ARIA. ARIA beskriver det som en serie strukturerte pilotprosjekter på racknivå, der hvert prosjekt innlemmer en uprøvd teknologi i et system som kan tas i bruk, og som sluttbrukere kan kjøre modeller på. Målet er å sammenligne ytelsen til hele systemet med kommersielle alternativer og gjennomføre raske forbedringer. Det planlegges et nytt rack hver sjette måned.

CommonAI, den Cambridge-baserte ideelle medlemsorganisasjonen som driver laboratoriet, samler selskaper, offentlige organer og akademiske deltakere om samarbeid innen ingeniørfag. Programoversikten beskriver mer enn fem systemer på racknivå og legger vekt på uavhengig validering for å hjelpe ny maskinvare med å dokumentere reell ytelse i drift.

Denne strukturen er viktig fordi en akselerator kan yte godt på en isolert operasjon, men gi en mindre gevinst når dataflytting, oppgaveplanlegging, programvarestøtte og resten av tjenestebehandlingsløpet tas med i regnestykket. Et felles testmiljø kan bidra til å avdekke både fordelene og flaskehalsene.

Hva effektivitetsløftene viser – og ikke viser

Lumai sier at arkitekturen har potensial til å redusere strømforbruket i datasentre med opptil 90 % og senke de totale eierkostnadene til omtrent en tidel av kostnadene for konvensjonelle GPU-arkitekturer. På nettstedet beskrives en plan for å oppnå 50 ganger høyere ytelse. I en separat melding rapporteres det om minst 16 ganger bedre energieffektivitet per inferens når optisk prefill kombineres med silisiumbasert dekoding.

Disse tallene gjelder ulike sammenligninger og bør ikke behandles som om de var utskiftbare mål eller resultater som ARIA allerede har verifisert uavhengig. Kunngjøringen oppgir ingen felles referansekonfigurasjon, sammenligning av modellkvalitet eller publiserte resultater på racknivå som dokumenterer gevinstene på tvers av kommersielle arbeidsbelastninger.

Laboratoriets evaluering er derfor den sentrale nyheten. Nyttige målinger vil blant annet omfatte energiforbruk per fullførte forespørsel, tid til første token, vedvarende utdatahastighet, modellnøyaktighet og kostnadene ved å drifte hele systemet. Meningsfulle sammenligninger krever samme modell, kontekstlengder, forutsetninger for batching og tjenestekrav.

For Storbritannias mål om å øke den innenlandske AI-kapasiteten innenfor begrensede strømrammer kan et velfungerende optisk system gi et alternativ for databehandling. Lumais utrulling er et skritt på veien mot å teste denne muligheten under kommersielle forhold. Om fordelene fører til lavere kostnader for inferenstjenester i stor skala, vil avhenge av dokumentasjonen for hele systemet som evalueringen gir.