ARIA alege serverele optice Lumai pentru testarea inferenței AI la scară de rack

Lumai își testează hardware-ul optic pentru AI într-un nou cadru de evaluare: Laboratorul pentru scalarea inferenței, susținut de Agenția pentru Cercetare Avansată și Invenții din Regatul Unit, cunoscută drept ARIA. Laboratorul intenționează să implementeze serverele de inferență Lumai Iris ca primă platformă de calcul optic, oferindu-le cercetătorilor posibilitatea de a testa arhitectura la scară de rack, într-un centru de date comercial.

Administrat de CommonAI CIC, laboratorul își propune să acopere o lacună dificilă pentru hardware-ul AI emergent: demonstrarea unui procesor inovator este una, iar integrarea lui într-un sistem funcțional, cu modele reale și cerințe obișnuite privind alimentarea electrică, răcirea și rackurile, este cu totul altceva.

Anunțul vine în continuarea lansării Iris Nova din aprilie. Noua etapă presupune o evaluare cu mai multe noduri, realizată prin intermediul unei platforme de testare susținute din fonduri publice, și nu lansarea unui benchmark independent finalizat, care să demonstreze afirmațiile principale ale Lumai privind eficiența.

Utilizarea luminii pentru efectuarea calculelor matriciale

Lumai, o companie desprinsă din Universitatea Oxford și fondată în 2021, dezvoltă o arhitectură hibridă, optică și digitală. Motorul său optic este conceput pentru operațiile matematice dense folosite în inferența AI, în timp ce componentele electronice continuă să gestioneze funcțiile auxiliare ale sistemului.

În descrierea tehnică a companiei, informațiile sunt codificate în fascicule de lumină și procesate prin componente optice în spațiu tridimensional. Scopul este efectuarea în paralel a numeroase operații matematice prin propagarea luminii, în loc ca fiecare calcul să fie realizat prin comutarea tranzistoarelor.

Asta nu înseamnă că întregul server funcționează pasiv sau fără energie. Sistemul complet are în continuare nevoie de surse de lumină, conversie de date, memorie, procesare digitală și control. Întrebarea relevantă din perspectiva ingineriei este cât din eficiența motorului optic se păstrează după luarea în calcul a acestor costuri auxiliare, atunci când rulează efectiv un model util.

Lumai descrie o interfață de date cu lățime mare, menită să distribuie costurile conversiei asupra unor volume mari de lucru, o arhitectură de memorie pe trei niveluri pentru cache-ul cheie-valoare al modelului și cuantizare adaptată hardware-ului. Acestea sunt componente practice ale arhitecturii: transferul datelor, păstrarea unei precizii numerice utilizabile și alimentarea constantă a acceleratorului cu sarcini de lucru influențează toate performanța dincolo de o demonstrație de laborator.

De ce se concentrează Lumai pe etapa de preumplere

Inferența modelelor lingvistice mari are două etape distincte. În timpul preumplerii, sistemul procesează intrarea și construiește starea internă necesară pentru generarea unui răspuns. În timpul decodării, produce tokeni de ieșire pas cu pas, accesând în mod repetat ponderile modelului și contextul memorat în cache.

Etapa de preumplere este adesea dominată de operații matriciale de mari dimensiuni, în timp ce decodarea poate fi limitată de lățimea de bandă a memoriei, mai ales când dimensiunile loturilor sunt mai mici. Echilibrul se schimbă în funcție de dimensiunea modelului, lungimea promptului, gruparea în loturi și configurația de servire. Abordarea Lumai constă în specializarea pe etapa cu volum mare de calcule, în locul optimizării întregului flux cu un singur tip de procesor.

Documentația produsului Iris prezintă acceleratorul optic ca parte a unor sisteme de calcul eterogene, inclusiv pentru utilizarea ca procesor în etapa de preumplere, alături de hardware optimizat pentru decodare. Lumai afirmă că Iris Nova acceptă modelele Llama cu 8 miliarde și 70 de miliarde de parametri și este disponibil pentru evaluare în centre de date. Gama de produse este concepută pentru infrastructura standard de rack și răcirea cu aer.

„Funcționarea unui sistem cu mai multe noduri într-un centru de date comercial este momentul în care arhitecturile de calcul noi își dovedesc capacitatea de a fi implementate în condiții reale”, a declarat Xianxin Guo, cofondatorul și directorul general al Lumai. Proiectul ARIA pune această problemă a integrării în centrul următoarei etape.

O platformă de testare pentru sisteme complete

ARIA este o agenție publică de finanțare a cercetării și dezvoltării din Regatul Unit, care susține tehnologii ambițioase cu potențiale beneficii pentru societate. Programul său Scaling Compute explorează alternative la abordările consacrate în domeniul calculului, inclusiv noi primitive de calcul, rețelistică și proiectarea sistemelor.

Laboratorul pentru scalarea inferenței beneficiază de o finanțare de 50 de milioane de lire sterline din partea ARIA. ARIA îl descrie ca pe o serie de proiecte-pilot structurate la nivel de rack, fiecare integrând o tehnologie netestată într-un sistem implementabil, pe care utilizatorii finali pot rula modele. Scopul este compararea performanței sistemului complet cu cea a alternativelor comerciale și repetarea rapidă a procesului, fiind planificată instalarea unui rack nou la fiecare șase luni.

CommonAI, organizația nonprofit cu sediul la Cambridge, cu membri și responsabilă de desfășurarea activității laboratorului, reunește companii, instituții publice și participanți din mediul academic pentru activități de inginerie colaborativă. Prezentarea programului descrie peste cinci sisteme la nivel de rack și pune accentul pe validarea independentă, care să ajute hardware-ul emergent să-și demonstreze performanța în condiții reale de funcționare.

Această structură este importantă, deoarece un accelerator poate avea performanțe bune într-o operație izolată, dar poate oferi un beneficiu mai mic atunci când sunt luate în calcul transferul datelor, planificarea sarcinilor, compatibilitatea software și restul fluxului de inferență. Un mediu de testare comun poate ajuta la identificarea atât a avantajelor, cât și a blocajelor.

Ce arată și ce nu arată afirmațiile privind eficiența

Lumai afirmă că arhitectura are potențialul de a reduce cu până la 90% consumul de energie al centrelor de date și de a aduce costul total de proprietate la aproximativ o zecime din cel al arhitecturilor GPU convenționale. Site-ul companiei prezintă o foaie de parcurs care vizează o performanță de 50 de ori mai mare. Comunicatul raportează separat o eficiență energetică per inferență de cel puțin 16 ori mai bună atunci când preumplerea optică este asociată cu decodarea bazată pe siliciu.

Aceste cifre se referă la comparații diferite și nu trebuie considerate măsuri interschimbabile sau rezultate deja verificate independent de ARIA. Anunțul nu oferă o configurație comună de evaluare comparativă, o comparație a calității modelelor sau un set publicat de rezultate la nivel de rack care să demonstreze aceste câștiguri în sarcini de lucru comerciale.

Prin urmare, evaluarea laboratorului este evoluția esențială. Printre măsurătorile utile s-ar număra energia consumată pentru fiecare solicitare finalizată, timpul până la primul token, debitul susținut de generare a rezultatelor, acuratețea modelului și costul de operare a întregului sistem. Pentru comparații relevante, sunt necesare același model, aceleași lungimi ale contextului, aceleași ipoteze privind gruparea solicitărilor și aceleași cerințe de serviciu.

Pentru ambiția Regatului Unit de a-și extinde capacitatea internă de AI în condițiile unor bugete limitate de energie, un sistem optic de succes ar putea oferi o altă opțiune de calcul. Implementarea Lumai reprezintă un pas către testarea acestei posibilități în condiții comerciale. Măsura în care avantajul său se va traduce în costuri mai mici de servire la scară largă va depinde de dovezile privind întregul sistem pe care le va produce evaluarea.