Ludovic Larzul, Założyciel i Prezes Mipsology – Wywiad

Ludovic Larzul jest założycielem i prezesem Mipsology, przełomowego startupu zajmującego się najnowocześniejszym przyspieszaniem wnioskowania głębokiego uczenia. Stworzyli technologię do przyspieszania obliczeń sieci neuronowych i ukrywania sprzętu przyspieszającego przed użytkownikami AI. Zebra Mipsology to pierwszy komercyjny przyspieszacz, który zawiera taką technologię, aby zapewnić wysoką wydajność i łatwość użycia.

Czym pierwszym zainteresował się Pan AI i mikrochipami?

Pracowałem nad projektem specjalnego typu superkomputera przez około 20 lat w mojej poprzedniej firmie EVE, zanim została ona przejęta przez Synopsys w 2012 roku. Te komputery, nazywane również emulatorem ASIC, są używane przez wiele firm projektujących ASIC na całym świecie. Bardzo lubiłem złożoność i różnorodność tej pracy. Aby odnieść sukces, trzeba (a) zrozumieć elektronikę, oprogramowanie, złożone algorytmy, jak ludzie projektują chipy i jak zapewnić, że będą one działać prawidłowo, architekturę chipów, energię i więcej głębokiej techniki, (b) poprawnie przewidzieć potrzeby klientów za kilka lat, (c) nieustannie innowować i (d) jako startup, pokonać konkurencję z znacznie mniejszymi zasobami. Po 20 latach sukcesu szukałem nowego wyzwania. To był czas, kiedy AI zaczęło wracać do światła reflektorów. AlexNet zrobił skok w rozumieniu obrazów (i patrząc wstecz, było to jeszcze w powijakach). Głębokie uczenie było nowe, ale obiecujące (Kto pamięta, kiedy zajmowało to dni, aby uzyskać wynik na prostej sieci?). Uważałem to za „fajne”, ale rozpoznałem, że są tam wiele wyzwań.

Jaki był pomysł założenia Mipsology?

Nie wiem, czy użyłbym słowa „pomysł”. To było raczej: „Czy możemy zrobić coś, co będzie lepsze i inne?” To zaczęło się od założeń, co ludzie z AI chcieliby robić, a przez kilka następnych lat szukaliśmy coraz lepszych rozwiązań opartych na tym. Myślę, że więcej niż pomysł, powiedziałbym, że ludzie, z którymi pracuję, lubią być najlepsi w tym, co tworzą, w pozytywnej atmosferze konkurencji. To tworzy silny zespół, który może rozwiązywać problemy, których inni nie są w stanie rozwiązać odpowiednio.

Mipsology używa płyt FPGA zamiast GPU. Czy mógłby Pan opisać, co to są FPGA?

FPGA to komponenty elektroniczne, które mogą być programowane na poziomie sprzętu. Można to wyobrazić sobie jako zestaw klocków — kilka milionów z nich. Każdy mały blok wykonuje proste operacje, takie jak przechowywanie wartości lub nieco bardziej złożone operacje, takie jak dodawanie. Grupując wszystkie te bloki, można stworzyć określone zachowanie po wyprodukowaniu chipu. To jest odwrotność GPU i prawie wszystkich innych chipów, które są zaprojektowane do określonej funkcji i nie mogą być zmienione później.

Niektóre, takie jak CPU i GPU, mogą być programowane, ale nie są tak równoległe jak FPGA. W dowolnym momencie FPGA wykonuje kilka milionów prostych operacji. I to może się zdarzyć sześć lub siedemset milionów razy na sekundę. Ponieważ są one programowalne, to, co robią, może być zmienione w dowolnym momencie, aby dostosować się do różnych problemów, więc nadzwyczajna moc obliczeniowa może być skuteczna. FPGA są już prawie wszędzie, w tym w stacjach bazowych telefonów komórkowych, sieciach, satelitach, samochodach itd. Ludzie nie znają ich zbyt dobrze, ponieważ nie są tak widoczne jak CPU w laptopie.

Co sprawia, że te płyty FPGA są lepszym rozwiązaniem niż popularniejsze GPU?

FPGA są lepsze pod wieloma względami. Skupmy się tylko na kilku ważnych.

GPU są zaprojektowane do renderowania obrazów, głównie do gier. Okazało się, że pasują one dobrze do pewnych obliczeń w AI ze względu na podobieństwo operacji. Ale pozostają one głównie poświęcone grze, co oznacza, że przychodzą one z ograniczeniami, które nie pasują dobrze do sieci neuronowych.

Ich programowanie jest również ograniczone do instrukcji, które zostały ustalone dwa lub trzy lata przed ich udostępnieniem. Problem polega na tym, że sieci neuronowe rozwijają się szybciej niż projektowanie ASIC, a GPU są ASIC. Więc to jest jak próba przewidzenia przyszłości: nie jest to proste, aby być słusznie. Można zobaczyć trendy, ale to szczegóły mają największy wpływ na wyniki, takie jak wydajność. W przeciwieństwie do tego, ponieważ FPGA są programowalne na poziomie sprzętu, możemy łatwiej nadążyć za postępem AI. To pozwala nam dostarczyć lepszy produkt z wyższą wydajnością i spełnić potrzeby klienta bez konieczności czekania na następną generację krzemową.

Ponadto, GPU są zaprojektowane jako produkty konsumenckie. Ich żywotność jest celowo krótka, ponieważ firmy projektujące GPU chcą sprzedawać nowe za kilka lat później graczom. To nie działa dobrze w systemach elektronicznych, które muszą być niezawodne przez wiele lat. FPGA są zaprojektowane, aby być solidne i używane 24/7 przez wiele lat.

Inne dobrze znane zalety FPGA obejmują:

• Istnieje wiele opcji, które mogą pasować do określonych obszarów, takich jak sieciowanie lub przetwarzanie wideo
• One działają tak samo w centrach danych, jak i na krawędzi lub w systemach osadzonych
• One nie wymagają specjalnego chłodzenia (znacznie mniej chłodzenia wodnego, jak duże GPU)

Jedną z głównych wad jest to, że FPGA są trudne do programowania. Wymaga to specjalistycznej wiedzy. Chociaż firmy sprzedające FPGA włożyły wiele wysiłku w zmniejszenie różnicy w złożoności, nadal nie jest to tak proste, jak CPU. W rzeczywistości, GPU nie są proste. Ale oprogramowanie, które ukrywa ich programowanie dla AI, sprawia, że ta wiedza jest niepotrzebna. To jest problem, który Mipsology jest pierwszym, który rozwiązuje: usuwanie potrzeby programowania lub posiadania wiedzy o FPGA dla obliczeń AI.

Czy istnieją jakieś bieżące ograniczenia płyt FPGA?

Niektóre płyty FPGA są podobne do płyt GPU. Mogą być wstawione do gniazd PCIe komputera. Jedną z dobrze znanych zalet, poza żywotnością, o której wspomniałem wcześniej, jest to, że zużycie energii jest zwykle niższe niż w przypadku GPU. Inną, mniej znaną zaletą jest to, że istnieje większy wybór płyt FPGA niż płyt GPU. Istnieje więcej FPGA dla różnych rynków, co prowadzi do większej liczby płyt, które pasują do różnych obszarów rynku. To po prostu oznacza, że istnieje więcej możliwości obliczania sieci neuronowych wszędzie przy niższych kosztach. GPU są bardziej ograniczone; pasują one do centrów danych, ale nie do wielu innych miejsc.

Mipsology’s Zebra to pierwszy komercyjny przyspieszacz, który zawiera płyty FPGA, aby zapewnić wysoką wydajność i łatwość użycia. Czy mógłby Pan opisać, co to jest Zebra?

Dla tych, którzy są zaznajomieni z AI i GPU, najłatwiejszym opisem jest to, że Zebra jest dla FPGA tym, czym Cuda/CuDNN jest dla GPU. To jest zestaw oprogramowania, który całkowicie ukrywa FPGA za zwykłymi frameworkami, takimi jak PyTorch lub TensorFlow. Skupiamy się głównie na wnioskowaniu dla obrazów i wideo. Zebra zaczyna się od sieci neuronowej, która została przeszkolona zwykle w punktach zmiennoprzecinkowych, i bez żadnego ręcznego wysiłku użytkownika lub własnego narzędzia, pozwala na jej uruchomienie na dowolnej karcie opartej na FPGA. To jest tak proste, jak: wstawienie karty FPGA, załadunek sterownika, źródło środowiska Zebra i uruchomienie tej samej aplikacji wnioskowania, co ta, która działa na CPU lub GPU. Mamy własną kwantyzację, która zachowuje dokładność, a wydajność jest dostępna od razu. Nie ma własnego narzędzia, które użytkownik musi nauczyć się, i nie zajmuje to godzin inżynierskiego czasu, aby uzyskać wysoką przepustowość lub niską latencję. To oznacza po prostu szybkie przejścia, co również redukuje koszty i czas wprowadzenia na rynek.

Jakie są różne typy aplikacji, dla których Zebra jest najlepsza?

Zebra to bardzo generyczny silnik przyspieszania, więc może przyspieszać obliczenia dla dowolnej aplikacji, która musi obliczać sieci neuronowe, z głównym naciskiem na obrazy i wideo, ponieważ potrzeby obliczeniowe są większe dla tego rodzaju danych. Mamy prośby z bardzo różnych rynków, ale wszystkie są podobne, jeśli chodzi o obliczanie sieci neuronowych. Wszystkie zwykle wymagają klasyfikacji, segmentacji, super rozdzielczości, pozycjonowania ciała itp.

Ponieważ Zebra działa na górze FPGA, można użyć dowolnej karty. Niektóre mają wysoką przepustowość i są zwykle używane w centrach danych. Inne są bardziej odpowiednie do użycia na krawędzi lub w systemach osadzonych. Nasza wizja jest taka, że jeśli FPGA może pomieścić, użytkownicy mogą użyć Zebra, aby przyspieszyć obliczenia sieci neuronowych od razu. A jeśli GPU lub CPU są używane, Zebra może je zastąpić i zmniejszyć koszty infrastruktury AI. Większość firm, z którymi rozmawiamy, ma podobne problemy: mogliby wdrożyć więcej aplikacji opartych na AI, ale koszt jest ograniczający.

Jakie jest postępowanie dla firmy, która chce użyć Zebra?

Proszę, po prostu daj nam znać na support@mipsology.com i pomożemy Państwu zacząć.

Czy jest coś jeszcze, co Pan chciałby podzielić się na temat Mipsology?

Jesteśmy bardzo zachęceni informacjami zwrotnymi, które otrzymujemy od społeczności AI dla naszego rozwiązania Zebra. Konkretnie, mówi się nam, że to jest prawdopodobnie najlepszy przyspieszacz na rynku. Po zaledwie kilku miesiącach nadal dodajemy do rosnącego ekosystemu zainteresowanych partnerów, w tym Xilinx, Dell, Western Digital (WDC ), Avnet, TUL i Advantech, by wymienić tylko kilku.

Bardzo się cieszyłem, ucząc się o tej przełomowej technologii. Czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Mipsology.

https://www.youtube.com/watch?v=sIBEg_eGU8g