ARIA wybiera optyczne serwery Lumai do testów wnioskowania AI w skali szafy serwerowej

Lumai wprowadza swój optyczny sprzęt do obsługi AI do nowego środowiska testowego: laboratorium wnioskowania na dużą skalę, wspieranego przez brytyjską Agencję Zaawansowanych Badań i Wynalazczości (ARIA). Laboratorium planuje wdrożyć serwery wnioskowania Lumai Iris jako pierwszą platformę obliczeń optycznych, dając badaczom możliwość testowania tej architektury w skali szafy serwerowej, w komercyjnym centrum danych.

Laboratorium, prowadzone przez CommonAI CIC, ma pomóc pokonać istotną przeszkodę stojącą przed nowym sprzętem do AI: czym innym jest zademonstrowanie innowacyjnego procesora, a czym innym sprawienie, by działał jako element zintegrowanego systemu, z rzeczywistymi modelami i standardowymi wymaganiami dotyczącymi zasilania, chłodzenia i szaf serwerowych.

Ogłoszenie nawiązuje do kwietniowej premiery Iris Nova. Nowym krokiem jest testowanie wielu węzłów w ramach publicznie finansowanego środowiska testowego, a nie publikacja ukończonego, niezależnego testu porównawczego potwierdzającego główne deklaracje Lumai dotyczące wydajności energetycznej.

Wykorzystanie światła do wykonywania obliczeń macierzowych

Lumai, firma typu spin-out Uniwersytetu Oksfordzkiego założona w 2021 roku, opracowuje hybrydową architekturę optyczno-cyfrową. Jej silnik optyczny jest przeznaczony do wykonywania złożonych operacji matematycznych wykorzystywanych we wnioskowaniu AI, a komponenty elektroniczne nadal obsługują pozostałe funkcje systemu.

W opisie technicznym firmy informacje są kodowane w wiązkach światła i przetwarzane przez komponenty optyczne w przestrzeni trójwymiarowej. Celem jest równoległe wykonywanie wielu operacji matematycznych dzięki propagacji światła, zamiast przeprowadzania każdego obliczenia poprzez przełączanie tranzystorów.

Nie oznacza to, że cały serwer działa pasywnie lub nie zużywa energii. Kompletny system nadal wymaga źródeł światła, konwersji danych, pamięci, przetwarzania cyfrowego i układów sterujących. Istotne pytanie inżynieryjne brzmi: jaka część efektywności silnika optycznego pozostaje po uwzględnieniu tych dodatkowych kosztów, gdy system faktycznie uruchamia użyteczny model.

Lumai opisuje szeroki interfejs danych, który ma rozłożyć narzut związany z konwersją na duże obciążenia, trójwarstwową pamięć dla pamięci podręcznej klucz-wartość modelu oraz kwantyzację uwzględniającą specyfikę sprzętu. Są to praktyczne elementy architektury: przesyłanie danych, zachowanie użytecznej precyzji numerycznej i zapewnienie akceleratorowi stałego dostępu do zadań wpływają na wydajność także poza demonstracją laboratoryjną.

Dlaczego Lumai koncentruje się na fazie prefill

Wnioskowanie z użyciem dużych modeli językowych przebiega w dwóch odrębnych fazach. Podczas fazy prefill system przetwarza dane wejściowe i tworzy stan wewnętrzny potrzebny do wygenerowania odpowiedzi. Podczas dekodowania generuje kolejne tokeny wyjściowe, wielokrotnie odczytując wagi modelu i zapisany kontekst.

Faza prefill często opiera się głównie na dużych operacjach macierzowych, natomiast dekodowanie może być ograniczane przez przepustowość pamięci, szczególnie przy mniejszych rozmiarach partii. Równowaga między tymi obciążeniami zależy od rozmiaru modelu, długości promptu, grupowania zadań w partie i konfiguracji obsługi. Lumai specjalizuje się w etapie wymagającym intensywnych obliczeń, zamiast optymalizować cały potok za pomocą jednego rodzaju procesora.

Dokumentacja produktów Iris przedstawia akcelerator optyczny jako element heterogenicznych systemów obliczeniowych, w tym jako procesor do fazy prefill współpracujący ze sprzętem zoptymalizowanym pod kątem dekodowania. Lumai informuje, że Iris Nova obsługuje modele Llama mające 8 miliardów i 70 miliardów parametrów oraz jest dostępny do testów w centrach danych. Rodzina produktów została zaprojektowana z myślą o standardowej infrastrukturze szaf serwerowych i chłodzeniu powietrzem.

„Uruchomienie systemu wielowęzłowego w komercyjnym centrum danych pozwala sprawdzić, czy nowe architektury obliczeniowe są gotowe do rzeczywistego wdrożenia” — powiedział Xianxin Guo, współzałożyciel i dyrektor generalny Lumai. Prace ARIA stawiają tę kwestię integracji w centrum kolejnego etapu.

Środowisko testowe dla kompletnych systemów

ARIA to brytyjska publiczna agencja finansująca badania i rozwój, która wspiera ambitne technologie mogące przynieść korzyści społeczeństwu. Jej program Scaling Compute bada alternatywy dla ugruntowanych metod obliczeniowych, w tym nowe podstawowe rozwiązania obliczeniowe, sieci i projekty systemów.

Laboratorium wnioskowania na dużą skalę otrzymało od ARIA 50 mln funtów wsparcia. ARIA opisuje je jako serię ustrukturyzowanych pilotażowych wdrożeń na poziomie szafy serwerowej, z których każde obejmuje niezweryfikowaną technologię w systemie gotowym do wdrożenia, na którym użytkownicy końcowi mogą uruchamiać modele. Celem jest porównanie wydajności całego systemu z komercyjnymi rozwiązaniami alternatywnymi i szybkie wprowadzanie kolejnych usprawnień; nowa szafa ma powstawać co sześć miesięcy.

CommonAI, organizacja członkowska non profit z siedzibą w Cambridge, która prowadzi laboratorium, łączy firmy, instytucje publiczne i środowiska akademickie, by wspólnie pracowały nad rozwiązaniami inżynieryjnymi. Zarys programu przewiduje ponad pięć systemów wdrażanych na poziomie szafy serwerowej i podkreśla znaczenie niezależnej walidacji, która ma pomóc nowym rozwiązaniom sprzętowym wykazać rzeczywistą wydajność operacyjną.

Taka struktura ma znaczenie, ponieważ akcelerator może dobrze radzić sobie z pojedynczą operacją, a mimo to przynosić mniejsze korzyści po uwzględnieniu przesyłania danych, planowania zadań, obsługi programowej i pozostałych elementów potoku obsługi. Wspólne środowisko testowe może pomóc ujawnić zarówno zalety, jak i wąskie gardła.

Co deklaracje dotyczące efektywności energetycznej pokazują — a czego nie

Lumai twierdzi, że ta architektura może zmniejszyć zużycie energii w centrach danych nawet o 90% i obniżyć całkowity koszt posiadania do około jednej dziesiątej kosztu konwencjonalnych architektur GPU. Na stronie internetowej firmy przedstawiono plan zakładający 50-krotnie wyższą wydajność. W komunikacie osobno podano, że połączenie optycznego wstępnego przetwarzania danych z dekodowaniem opartym na krzemie zapewnia co najmniej 16-krotnie wyższą efektywność energetyczną w przeliczeniu na jedną operację wnioskowania.

Wartości te dotyczą różnych porównań i nie należy traktować ich jako równoważnych miar ani jako wyników niezależnie zweryfikowanych już przez ARIA. W ogłoszeniu nie przedstawiono wspólnej konfiguracji testów porównawczych, porównania jakości modeli ani opublikowanego zestawu wyników na poziomie szafy serwerowej, które potwierdzałyby te korzyści w przypadku komercyjnych obciążeń.

Ocena przeprowadzona przez laboratorium jest zatem zasadniczym wydarzeniem. Przydatne pomiary obejmowałyby zużycie energii na jedno ukończone żądanie, czas do wygenerowania pierwszego tokenu, utrzymywaną w czasie przepustowość generowania, dokładność modelu oraz koszt eksploatacji całego systemu. Aby porównania były miarodajne, należy użyć tego samego modelu, tych samych długości kontekstu i założeń dotyczących grupowania żądań, a także tych samych wymagań dotyczących świadczenia usług.

Dla ambicji Wielkiej Brytanii, by zwiększać krajowe możliwości w zakresie AI przy ograniczonych budżetach energetycznych, skuteczny system optyczny mógłby stanowić kolejną opcję obliczeniową. Wdrożenie Lumai to krok w kierunku sprawdzenia tej możliwości w warunkach komercyjnych. To, czy przewaga tej technologii przełoży się na niższe koszty obsługi inferencji na dużą skalę, będzie zależeć od wyników oceny całego systemu.