Lumai lansează serverul optic AI pentru a putea alimenta următoarea eră a inferenței

Lumai a anunțat ceea ce descrie ca fiind un pas important înainte în infrastructura IA: un sistem de calcul optic capabil să ruleze modele de limbaj mare cu miliarde de parametri în timp real. Noul sistem, numit Iris Nova, semnalează o schimbare de la procesarea tradițională pe bază de siliciu către o abordare fundamental diferită bazată pe lumină.

Anunțul vine într-un moment în care industria IA se află într-o tranziție rapidă de la antrenarea modelului la implementarea la scară, punând o presiune fără precedent asupra infrastructurii de calcul existente.

Depășirea limitărilor siliciului

De ani de zile, progresul în IA a depins în mare măsură de progresele înregistrate în domeniul cip-urilor de siliciu, în special GPU-urile. Dar acest model începe să arate semne de oboseală. Consumul de energie crește brusc, iar îmbunătățirile de performanță devin tot mai greu de obținut fără o creștere semnificativă a costurilor și a cerințelor de energie.

Abordarea Lumai înlocuiește electronii cu fotonii. În loc de a efectua calcule prin semnale electrice, sistemul său utilizează lumina pentru a procesa datele. Acest lucru permite o paralelism masiv, unde milioane de operații pot avea loc simultan în spațiu tridimensional, și nu pe suprafețe plate de siliciu.

Conform companiei, această arhitectură poate oferi o debit semnificativ mai mare, reducând în același timp consumul de energie cu până la 90% comparativ cu sistemele convenționale .

Presionea crescândă asupra centrelor de date

Momentul lansării reflectă provocările mai largi ale industriei. Încărcăturile de lucru IA se extind rapid, în special în inferență, care implică rularea modelului antrenat în aplicații din lumea reală.

Centrele de date sunt din ce în ce mai limitate de disponibilitatea energiei. Cererea globală de energie pentru centrele de date se estimează că va dubla până la sfârșitul deceniului, forțând operatorii să exploreze soluții neconvenționale, cum ar fi generarea de energie dedicată și surse de energie alternative.

În același timp, scalarea hardware-ului tradițional devine mai puțin eficientă. Fiecare nouă generație de siliciu oferă îmbunătățiri incrementale, dar adesea necesită mai multă energie și răcire.

Lumai poziționează calculul optic ca o modalitate de a ocoli aceste limitări în totalitate, și nu de a le îmbunătăți incremental.

Funcționarea Iris Nova

Sistemul Iris Nova utilizează o arhitectură hibridă care combină componente optice și digitale. Motorul optic gestionează operațiile matematice de bază care alimentează modelele IA, în timp ce sistemele digitale convenționale gestionează funcțiile software și de control.

Această proiectare permite sistemului să se integreze în mediile de centru de date existente fără a necesita o revizuire completă a infrastructurii.

Una dintre zonele în care sistemul este optimizat în mod special este etapa “prefill” a inferenței, în care modelele procesează cantități mari de date de intrare înainte de a genera răspunsuri. Prin accelerarea acestei etape, sistemul își propune să îmbunătățească debitul general și eficiența.

Lumai raportează că Iris Nova poate rula modele precum Llama 8B și 70B în timp real, sugerând că este capabil să gestioneze încărcături de lucru la scară de producție, și nu doar cazuri de utilizare experimentale .

O schimbare către era inferenței

Lansarea reflectă o schimbare mai largă a priorităților IA. În timp ce antrenarea modelelor din ce în ce mai mari a dominat titlurile, impactul real al IA este acum definit de inferență – cât de eficient pot fi implementate și scalate aceste modele.

Această schimbare expune blocaje care erau mai puțin vizibile în timpul fazei de antrenare. Încărcăturile de lucru de inferență sunt continue, sensibile la întârziere și consumatoare de energie, făcând eficiența un factor critic.

Sistemul Lumai este proiectat în mod special pentru această fază, axându-se pe debitul pe watt, și nu doar pe puterea de calcul brută.

Acces timpuriu și implicații industriale

Serverul Iris Nova este acum disponibil pentru evaluare de către hyperscalers, întreprinderi și instituții de cercetare. Sisteme suplimentare din familia Iris, inclusiv Aura și Tetra, sunt așteptate să urmeze, extinzând opțiunile de performanță și implementare.

Dacă calculul optic poate livra pe promisiunile sale la scară, ar putea rescrie economia infrastructurii IA. Un consum mai mic de energie și o eficiență mai mare nu numai că ar reduce costurile operaționale, dar ar aborda și preocupările crescânde legate de impactul mediului al IA.

Deși este încă de văzut cât de repede va fi adoptată tehnologia, anunțul Lumai subliniază o direcție clară: viitorul calculului IA poate să nu fie construit doar pe siliciu.