AI-modeller og plattformer

Lumai presenterer optisk AI-server for inferensens nye æra

Antoine Tardif
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterOptisk databehandling erstatter elektroner med fotoner for å unnslippe de økende…
Vis mer
  • Optisk databehandling erstatter elektroner med fotoner for å unnslippe de økende begrensningene til silisiumbrikker.
  • Lumai satser på inferens fordi utrulling nå belaster datasentre mer enn modeltrening gjør.
  • Iris Nova kombinerer optiske og digitale komponenter slik at eksisterende anlegg kan ta det i bruk uten å bygge om.

Lumai har annonsert hva de beskriver som et stort skritt fremover i AI-infrastruktur: et optisk datasystem som kan kjøre store språkmodeller med milliarder av parametre i sanntid. Det nye systemet, kalt Iris Nova, signaliserer et skifte vekk fra tradisjonelle silisium-baserte prosesser mot en fundamentalt annen tilnærming bygget på lys.

Annonsen kommer på et tidspunkt når AI-bransjen raskt går over fra modelltrening til utrulling i stor skala, og legger et press uten sidestykke på eksisterende datainfrastruktur.

Ut over silisium-begrensninger

I årevis har AI-fremgangen vært avhengig av fremskritt i silisium-chip, spesielt GPU-er. Men denne modellen begynner å vise tegn på belastning. Strømforbruket øker skarpt, og ytelsesforbedringer blir vanskeligere å oppnå uten å øke kostnadene og energikravene betydelig.

Lumais tilnærming erstatter elektroner med fotoner. I stedet for å utføre beregninger gjennom elektriske signaler, bruker deres system lys til å prosessere data. Dette muliggjør massiv parallellitet, hvor millioner av operasjoner kan skje samtidig i tredimensjonalt rom i stedet for over flate silisium-overflater.

Ifølge selskapet kan denne arkitekturen levere betydelig høyere gjennomstrømming samtidig som energiforbruket reduseres med opptil 90% sammenlignet med konvensjonelle systemer .

Økende press på data-sentre

Tidspunktet for denne lanseringen reflekterer bredere bransje-utfordringer. AI-arbeidsbyrder utvides raskt, spesielt i inferens, som innebærer å kjøre trente modeller i virkelige applikasjoner.

Data-sentre er stadig mer begrensede av krafttilgjengelighet. Global etterspørsel etter data-senter-energi forventes å doble innen utgangen av årtiet, og tvinger operatører til å utforske uvanlige løsninger som dedikert kraftgenerering og alternative energikilder .

Samtidig blir skalering av tradisjonell maskinvare mindre effektiv. Hver ny generasjon silisium tilbyr inkrementelle forbedringer, men krever ofte uforholdsmessig mye mer energi og avkjøling.

Lumai stiller optisk databehandling som en måte å omgå disse begrensningene helt, i stedet for å forbedre dem inkrementelt.

Hvordan Iris Nova fungerer

Iris Nova-systemet bruker en hybrid-arkitektur som kombinerer optiske og digitale komponenter. Den optiske motoren håndterer de grunnleggende matematiske operasjonene som driver AI-modellene, mens konvensjonelle digitale systemer håndterer programvare- og kontrollfunksjoner.

Dette designet tillater systemet å integrere i eksisterende data-senter-miljøer uten å kreve en fullstendig ombygging av infrastruktur.

Et område hvor systemet er spesielt optimalisert er “prefill”-stadiet av inferens, hvor modellene prosesserer store mengder inndata før de genererer svar. Ved å akselerere dette stadiet, sikter systemet å forbedre den totale gjennomstrømmingen og effektiviteten.

Lumai rapporterer at Iris Nova kan kjøre modeller som Llama 8B og 70B i sanntid, noe som tyder på at det er i stand til å håndtere produksjonsskala-arbeidsbyrder i stedet for bare eksperimentelle brukstilfeller .

En skifte mot inferens-eran

Lanseringen reflekterer et bredere skifte i AI-prioriteter. Mens trening av stadig større modeller har dominert overskriftene, defineres den virkelige virkningen av AI nå av inferens – hvordan effektivt disse modellene kan deployeres og skaleres.

Dette skiftet avslører flaskehalser som var mindre synlige under treningfasen. Inferens-arbeidsbyrder er kontinuerlige, latens-følsomme og energi-intensive, noe som gjør effektivitet til en kritisk faktor.

Lumais system er spesifikt designet for denne fasen, med fokus på gjennomstrømming per watt i stedet for bare rå regnekraft alene.

Tidlig tilgang og bransje-implikasjoner

Iris Nova-serveren er nå tilgjengelig for evaluering av hyperskalere, bedrifter og forskningsinstitusjoner. Ytterligere systemer i Iris-familien, inkludert Aura og Tetra, forventes å følge, og utvide ytelse og utrullingsalternativer.

Hvis optisk databehandling kan levere på sine løfter i stor skala, kan det omforme økonomien i AI-infrastruktur. Lavere energiforbruk og høyere effektivitet vil ikke bare redusere driftskostnadene, men også adressere økende bekymringer rundt den miljømessige virkningen av AI.

Mens det fortsatt er usikkert hvor raskt teknologien vil bli adoptert, understreker Lumais annons en tydelig retning: fremtiden for AI-regning vil kanskje ikke bygges på silisium alene.

Antoine er en visjonær leder og medgrunnlegger i Unite.AI, drevet av en urokkelig lidenskap for å forme og fremme fremtiden for AI og robotikk. Som seriegründer mener han at AI vil forandre samfunnet like grunnleggende som elektrisiteten, og han snakker ofte begeistret om potensialet i banebrytende teknologier og kunstig generell intelligens (AGI).

Som futurist er han opptatt av å utforske hvordan disse innovasjonene vil forme verden. Han er også grunnlegger av Securities.io, en plattform som fokuserer på investeringer i avanserte teknologier som omdefinerer fremtiden og omformer hele bransjer.