Phillip Burr, Dyrektor Produktu w Lumai – Wywiad

Phillip Burr jest Dyrektorem Produktu w Lumai, z ponad 25-letnim doświadczeniem w globalnym zarządzaniu produktem, wprowadzaniu na rynek i rolach kierowniczych wiodących firm semikonduktorowych i technologicznych, oraz udokumentowanym rekordem budowania i skalowania produktów i usług.

Lumai to brytyjska firma deep tech rozwijająca procesory komputerowe optyczne 3D do przyspieszania obciążeń sztucznej inteligencji. Wykonywanie mnożenia macierzy i wektorów przy użyciu wiązek światła w trzech wymiarach, ich technologia oferuje do 50-krotną wydajność i 90% mniejsze zużycie energii w porównaniu z tradycyjnymi przyspieszaczami opartymi na krzemie. To sprawia, że jest to szczególnie odpowiednie dla zadań inferencji AI, w tym dużych modeli językowych, podczas gdy znacznie redukuje koszty energii i wpływ na środowisko.

Czym było inspiracją założenia Lumai, i jak pomysł ewoluował z badań na Uniwersytecie w Oksfordzie w kierunku przedsięwzięcia komercyjnego?

Początkowa iskra została zainicjowana, gdy jeden z założycieli Lumai, dr Xianxin Guo, otrzymał stypendium badawcze 1851 na Uniwersytecie w Oksfordzie. Rozmówcy zrozumieli potencjał obliczeń optycznych i zapytali, czy Xianxin rozważyłby patenty i założenie firmy, jeśli jego badania byłyby udane. To sprawiło, że kreatywny umysł Xianxina zaczął działać, a gdy on, wraz z jednym z innych współzałożycieli Lumai, dr. Jamesem Spallem, udowodnili, że używanie światła do obliczeń w sercu AI może zarówno dramatycznie zwiększyć wydajność AI, jak i zmniejszyć energię, scena była ustawiona. Wiedzieli, że istniejące sprzęt AI oparty tylko na krzemie (i nadal jest) miał trudności ze zwiększaniem wydajności bez znacznego zwiększenia mocy i kosztów, i jeśli mogliby rozwiązać ten problem przy użyciu obliczeń optycznych, mogliby stworzyć produkt, który klienci chcieliby. Zanieśli ten pomysł do niektórych firm venture capital, które wspierały ich w założeniu Lumai. Lumai niedawno zakończyło swoją drugą rundę finansowania, pozyskując ponad 10 milionów dolarów i przynosząc dodatkowych inwestorów, którzy również wierzą, że obliczenia optyczne mogą nadal skalować i spełniać rosnące wymagania dotyczące wydajności AI bez zwiększania mocy.

Co skłoniło Cię do dołączenia do Lumai na tym etapie, biorąc pod uwagę Twoją imponującą karierę w Arm, indie Semiconductor (INDI ) i innych?

Krótko mówiąc, była to drużyna i technologia. Lumai ma imponującą drużynę ekspertów optycznych, machine learning i centrów danych, przywożąc doświadczenie z firm takich jak Meta, Intel (INTC ), Altera, Maxeler, Seagate i IBM (obok mojego własnego doświadczenia w Arm, indie, Mentor Graphics i Motorola). Wiedziałem, że zespół niezwykłych ludzi, tak skupionych na rozwiązaniu wyzwania obniżenia kosztów inferencji AI, mógł osiągnąć niesamowite rzeczy.

Uważam, że przyszłość AI wymaga nowych, innowacyjnych przełomów w dziedzinie obliczeń. Obietnica możliwości zaoferowania 50-krotniej wydajności obliczeń AI, a także obniżenia kosztów inferencji AI do 1/10 w porównaniu z rozwiązaniami dzisiejszymi, była po prostu zbyt dobrą okazją, by ją przegapić.

Jakie były niektóre z wczesnych wyzwań technicznych lub biznesowych, z którymi twój zespół założycielski spotkał się w skali od przełomu badawczego do firmy gotowej do produkcji?

Przełom badawczy udowodnił, że optyka może być używana do szybkiego i bardzo wydajnego mnożenia macierzy i wektorów. Pomimo przełomów technicznych, największym wyzwaniem było przekonanie ludzi, że Lumai może odnieść sukces tam, gdzie inne startupy obliczeń optycznych nie powiodły się. Musieliśmy spędzić czas na wyjaśnianiu, że podejście Lumai było bardzo różne i że zamiast polegać na jednej 2D płytce, używaliśmy optyki 3D, aby osiągnąć poziomy skali i wydajności. Istnieje wiele kroków, aby przejść od badań laboratoryjnych do technologii, które mogą być wdrożone na dużą skalę w centrum danych. Rozpoznaliśmy bardzo wcześnie, że kluczem do sukcesu było sprowadzenie inżynierów, którzy mają doświadczenie w tworzeniu produktów w dużych ilościach i w centrach danych. Inny obszar to oprogramowanie – jest niezwykle ważne, aby standardowe ramy AI i modele mogły skorzystać z procesora Lumai, i że zapewniamy narzędzia i ramy, aby uczynić to jak najbardziej bezproblemowe dla inżynierów oprogramowania AI.

Lumai mówi, że używa mnożenia macierzy i wektorów optycznych 3D. Czy możesz to wyjaśnić w prosty sposób dla ogółu?

Systemy AI muszą wykonywać wiele obliczeń matematycznych zwanych mnożeniem macierzy i wektorów. Te obliczenia są silnikiem, który napędza odpowiedzi AI. W Lumai robimy to używając światła zamiast prądu. Oto jak to działa:

1. Kodujemy informacje w wiązkach światła
2. Te wiązki światła przemieszczają się przez 3D przestrzeń
3. Światło oddziałuje z soczewkami i specjalnymi materiałami
4. Te interakcje kończą operację matematyczną

Używając wszystkich trzech wymiarów przestrzeni, możemy przetwarzać więcej informacji za pomocą każdej wiązki światła. To sprawia, że nasze podejście jest bardzo wydajne – redukując energię, czas i koszty potrzebne do uruchomienia systemów AI.

Jakie są główne zalety obliczeń optycznych w porównaniu z tradycyjnymi przyspieszaczami opartymi na krzemie i nawet fotonicą?

Ponieważ tempo postępu w technologiach krzemowych znacznie spowolniło, każdy krok w górę w wydajności przyspieszacza AI opartego na krzemie (takiego jak GPU) skutkuje znacznym zwiększeniem mocy. Rozwiązania oparte tylko na krzemie zużywają ogromne ilości energii i są ścigane przez malejące zwroty, co sprawia, że są one niezwykle złożone i drogie. Zaletą użycia optyki jest to, że raz w dziedzinie optycznej, praktycznie nie zużywa się energii. Energia jest używana do wejścia w dziedzinę optyczną, ale na przykład w procesorze Lumai możemy osiągnąć ponad 1000 operacji obliczeniowych na każdą wiązkę światła, co sprawia, że jest to bardzo wydajne. Taka skalowalność nie może być osiągnięta przy użyciu fotonicznego połączenia ze względu na ograniczenia fizyczne i szum sygnału, przy czym liczba operacji obliczeniowych rozwiązania opartego na krzemie i fotonicznym jest tylko 1/8 tego, co Lumai może osiągnąć dzisiaj.

Jak procesor Lumai osiąga prawie zerową latencję inferencji, i dlaczego jest to tak krytyczny czynnik dla nowoczesnych obciążeń AI?

Chociaż nie twierdzimy, że procesor Lumai oferuje zerową latencję, wykonuje on bardzo dużą (1024 x 1024) operację mnożenia macierzy i wektorów w jednym cyklu. Rozwiązania oparte tylko na krzemie zwykle dzielą macierz na mniejsze macierze, które są przetwarzane krok po kroku, a następnie wyniki muszą być połączone. To zajmuje czas i powoduje, że więcej pamięci i energii jest używane. Redukowanie czasu, energii i kosztów przetwarzania AI jest kluczowe zarówno dla umożliwienia większej liczbie firm korzystania z AI, jak i dla umożliwienia zaawansowanej AI w najbardziej zrównoważony sposób.

Czy możesz nas przeprowadzić przez to, jak Twoja forma kompatybilna z PCIe integruje się z istniejącą infrastrukturą centrum danych?

Procesor Lumai używa kart PCIe wraz ze standardowym CPU, wszystko w standardowej szafie 4U. Pracujemy z zakresiem dostawców wyposażenia centrum danych, aby procesor Lumai integrował się z ich wyposażeniem. Używamy standardowych interfejsów sieciowych, standardowego oprogramowania itd., aby zewnętrznie procesor Lumai wyglądał jak każdy inny procesor centrum danych. Zużycie energii w centrach danych jest rosnącym problemem na świecie. Jak Lumai pozycjonuje się jako zrównoważone rozwiązanie dla obliczeń AI?

Zużycie energii przez centra danych rośnie w alarmującym tempie. Według raportu z Lawrence Berkeley National Laboratory, zużycie energii przez centra danych w USA ma się potroić do 2028 roku, zużywając do 12% energii kraju. Niektórzy operatorzy centrów danych rozważają instalację elektrowni jądrowych, aby zapewnić potrzebną energię. Branża musi rozważyć różne podejścia do AI, a my wierzymy, że optyka jest odpowiedzią na ten kryzys energetyczny.

Czy możesz wyjaśnić, jak architektura Lumai unika wąskich gardeł skalowalności obecnych podejść opartych na krzemie i fotonicznym?

Wydajność pierwszego procesora Lumai jest tylko początkiem tego, co jest osiągalne. Oczekujemy, że nasze rozwiązanie będzie nadal zapewniać ogromne skoki w wydajności: zwiększając prędkość zegara optycznego i szerokość wektora, wszystko bez odpowiedniego zwiększenia zużycia energii. Żadne inne rozwiązanie nie może osiągnąć tego. Standardowe podejścia cyfrowe oparte tylko na krzemie będą nadal zużywać coraz więcej energii i kosztów za każde zwiększenie wydajności. Podejścia oparte na krzemie i fotonicznym nie mogą osiągnąć potrzebnej szerokości wektora, a zatem firmy, które rozważały fotonicę zintegrowaną dla obliczeń centrum danych, przeniosły się, aby rozwiązać inne części centrum danych – na przykład połączenie optyczne lub przełączanie optyczne.

Jaką rolę widzisz dla obliczeń optycznych w przyszłości AI — i szerzej, w dziedzinie obliczeń jako całości?

Optyka jako całość odegra ogromną rolę w centrach danych w przyszłości – od połączeń optycznych, sieci optycznych, przełączania optycznego i oczywiście obliczeń AI optycznych. Wymagania, które AI stawia centrom danych, są kluczem do tego przejścia na optykę. Połączenia optyczne umożliwią szybsze połączenia między procesorami AI, co jest niezbędne dla dużych modeli AI. Przełączanie optyczne umożliwi bardziej wydajne sieciowanie, a obliczenia optyczne umożliwią szybsze, bardziej wydajne i tanie przetwarzanie AI. Zbiorowo pomogą one umożliwić jeszcze bardziej zaawansowaną AI, pokonując wyzwania spowolnienia skalowania krzemowego po stronie obliczeń i ograniczeń szybkości miedzi po stronie połączeń.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Lumai.