Lumai lanserer optisk AI-server for å drive den neste eran av inferens

Lumai har annonsert hva de beskriver som et stort skritt fremover i AI-infrastruktur: et optisk dataprogram som kan kjøre billion-parameter store språkmodeller i sanntid. Det nye systemet, kalt Iris Nova, signaliserer en skifte vekk fra tradisjonelle silisium-baserte prosesser mot en fundamentalt annen tilnærming bygget på lys.

Annonsen kommer på et tidspunkt når AI-bransjen raskt går over fra modelltrening til utrulling i stor skala, og legger utenfor alle sammenhengende belastning på eksisterende dataprogram-infrastruktur.

Ut over silisium-begrensninger

I årevis har AI-fremgangen avhengig av fremskritt i silisium-chip, spesielt GPU-er. Men denne modellen begynner å vise tegn på belastning. Effektforsyning øker skarpt, og ytelsesforbedringer blir vanskeligere å oppnå uten å øke kostnadene og energikravene betydelig.

Lumais tilnærming erstatter elektroner med fotoner. I stedet for å utføre beregninger gjennom elektriske signaler, bruker deres system lys til å prosessere data. Dette muliggjør massiv parallellitet, hvor millioner av operasjoner kan skje samtidig i tredimensjonal rom i stedet for over flate silisium-overflater.

Ifølge selskapet kan denne arkitekturen levere betydelig høyere gjennomstrømming samtidig som energiforbruket reduseres med opptil 90% sammenlignet med konvensjonelle systemer .

Økende press på data-sentre

Tidspunktet for denne lanseringen reflekterer bredere bransje-utfordringer. AI-arbeidsbyrder utvides raskt, spesielt i inferens, som innebærer å kjøre trente modeller i sanntidsapplikasjoner.

Data-sentre er stadig mer begrensede av krafttilgjengelighet. Global etterspørsel etter data-senter-energi forventes å doble innen utgangen av årtiet, og tvinger operatører til å utforske uvanlige løsninger som dedikert kraftgenerering og alternative energikilder .

Samtidig blir skalerings-tradisjonell maskinvare mindre effektiv. Hver ny generasjon silisium tilbyr inkrementelle forbedringer, men krever ofte ubetydelig mer energi og avkjøling.

Lumai stiller optisk dataprogramming som en måte å omgå disse begrensningene helt, i stedet for å forbedre dem inkrementelt.

Hvordan Iris Nova fungerer

Iris Nova-systemet bruker en hybrid-arkitektur som kombinerer optiske og digitale komponenter. Den optiske motoren håndterer de grunnleggende matematiske operasjonene som driver AI-modellene, mens konvensjonelle digitale systemer håndterer programvare- og kontrollfunksjoner.

Dette designet tillater systemet å integrere i eksisterende data-senter-miljøer uten å kreve en fullstendig ombygging av infrastruktur.

Et område hvor systemet er spesielt optimalisert er “prefill”-stadiet av inferens, hvor modellene prosesserer store mengder inndata før de genererer svar. Ved å akselerere dette stadiet, sikter systemet å forbedre den totale gjennomstrømmingen og effektiviteten.

Lumai rapporterer at Iris Nova kan kjøre modeller som Llama 8B og 70B i sanntid, noe som tyder på at det er i stand til å håndtere produksjonsskala-arbeidsbyrder i stedet for bare eksperimentelle brukstilfeller .

En skifte mot inferens-eran

Lanseringen reflekterer en bredere skifte i AI-prioriteter. Mens trening av stadig større modeller har dominert overskriftene, defineres den virkelige virkningen av AI nå av inferens – hvordan effektivt disse modellene kan deployeres og skaleres.

Denne skiftet avslører flaskenakker som var mindre synlige under treningfasen. Inferens-arbeidsbyrder er kontinuerlige, latens-følsomme og energi-intensive, noe som gjør effektivitet til en kritisk faktor.

Lumais system er spesifikt designet for denne fasen, med fokus på gjennomstrømming per watt i stedet for bare rå datamakt alene.

Tidlig tilgang og bransje-implikasjoner

Iris Nova-serveren er nå tilgjengelig for evaluering av hyperskalere, bedrifter og forskningsinstitusjoner. Ytterligere systemer i Iris-familien, inkludert Aura og Tetra, forventes å følge, og utvide ytelse og utrullingsalternativer.

Hvis optisk dataprogramming kan levere på sine løfter i stor skala, kan det omforme økonomien i AI-infrastruktur. Lavere energiforbruk og høyere effektivitet vil ikke bare redusere driftskostnadene, men også adressere økende bekymringer rundt den miljømessige virkningen av AI.

Mens det fortsatt er usikkert hvor raskt teknologien vil bli adoptert, understreker Lumais annons en tydelig retning: fremtiden for AI-regning kan ikke bare bygges på silisium alene.