Avi Baum, CTO w Hailo – Seria wywiadów

Avi Baum, CTO w Hailo, kieruje wizją technologiczną i innowacjami produktowymi firmy. Wcześniej pełnił funkcję CTO ds. połączeń bezprzewodowych w Texas Instruments (TXN ), gdzie kierował strategiami dla połączonych MCU na rynkach IoT i IIoT, a także zajmował stanowiska architekta i lidera w Siłach Obronnych Izraela.

Hailo to izraelska firma specjalizująca się w wysokowydajnych, niskozużyciowych procesorach AI dla aplikacji takich jak pojazdy autonomiczne, inteligentne kamery i robotyka, wspieranych przez kompleksowy zestaw oprogramowania i globalną sieć partnerów.

Czy mógłbyś podzielić się tym, co pierwotnie skłoniło Cię do dziedziny AI na krawędzi i jak Twoje wczesne doświadczenia inżynierskie ukształtowały Twoje myślenie o projekcie procesora?

Moja ścieżka kariery zaprowadziła mnie do obszarów rynków wschodzących. Podczas mojego pobytu w TI (Texas Instruments), lidera w branży półprzewodników z długą tradycją, miałem okazję kierować projektem systemowym i architekturą, kierując departamentem definicji produktu, a później pełniąc funkcję CTO tego departamentu. To skłoniło mnie do ciągłego eksplorowania nadchodzących technologii, które prawdopodobnie ukształtują „niezbyt odległą” przyszłość.

Gdy założyliśmy Hailo w 2017 roku, było jasne, że AI, które zaczęło prosperować w chmurze, miało również potencjał stać się technologią umożliwiającą urządzeniom na krawędzi. Więc ustaliliśmy kurs i rozpoczęliśmy tę podróż.

Jak rozwój AI generatywnej na krawędzi sprawia, że TOPS – tera operacji na sekundę – nie jest już wystarczającym wskaźnikiem do oceny wydajności procesora?

TOPS długo był podstawowym wskaźnikiem do oceny sprzętu AI, ale w erze AI generatywnej na krawędzi już nie jest wystarczający. Natura klasycznych modeli polega na tłumaczeniu dużej ilości danych w znaczące spostrzeżenia, więc ilość obliczeń potrzebnych do przetworzenia danych wejściowych rośnie wraz z ilością danych, które muszą być przetworzone. Modele te zadań są zwykle mniejsze niż ilość danych, które przetwarzają, co sprawia, że nakład pracy związany z dostępem do parametrów modelu jest relatywnie znikomy.

Modele generatywne są jednak znacznie większe – w dziedzinie miliardów parametrów, a w tych przypadkach pasmo przenoszenia pamięci staje się istotnym czynnikiem.

Zamiast koncentrować się tylko na TOPS, kluczowe jest ocenienie, jak dobrze procesor balansuje obliczenia i pamięć w warunkach rzeczywistych. Nie chodzi o gonienie za najwyższą liczbą; chodzi o dostrojenie architektury do obciążeń, które musi obsłużyć.

Dlaczego pasmo przenoszenia pamięci staje się teraz bardziej krytycznym wąskim gardłem niż obliczenia w zadaniach AI na krawędzi, szczególnie dla LLM i VLM?

Dla zadań AI na krawędzi, szczególnie tych, które obejmują LLM lub VLM, pasmo przenoszenia pamięci szybko staje się głównym wąskim gardłem. Te modele zwykle wahają się od 0,5 do 8 miliardów parametrów, przekraczając pojemność pamięci na chipie i wymagając dostępu do pamięci poza chipem, takiej jak DRAM. To dramatycznie zwiększa zapotrzebowanie na pasmo przenoszenia pamięci. Na przykład model o 1 miliardzie parametrów może dostarczyć do 40 tokenów na sekundę w optymalnych warunkach z standardowym interfejsem LPDDR4X, ale utrzymanie tej stawki z modelem 4B wymaga ponad czterokrotnego pasma przenoszenia. Bez niego wydajność cierpi, nie z powodu ograniczonych obliczeń, ale dlatego, że procesor nie może dostarczyć danych wystarczająco szybko. To niedopasowanie między obliczeniami a pamięcią jest jednym z najpilniejszych wyzwań w wdrożeniu AI generatywnej na krawędzi. To jest dodatkowo nasilone w architekturach, które obliczają warstwę po warstwie, gdzie wyniki pośrednie również zwiększają ruch pamięci i dodatkowo obciążają pasmo przenoszenia.

Jak zespoły produktowe powinny przemyśleć swoją strategię testowania, projektując dla rzeczywistych aplikacji na krawędzi?

Zespoły produktowe powinny odejść od polegania na jednym wskaźniku wydajności, takim jak TOPS, i zamiast tego przyjąć strategię testowania, która odzwierciedla rzeczywistość wdrożenia na krawędzi. To zaczyna się od zrozumienia konkretnego przypadku użycia, rzeczywistego obciążenia, które procesor musi obsłużyć, i identyfikacji „punktu pracy”: przecięcia ograniczeń mocy, kosztu i opóźnienia. Następnie chodzi o ocenienie, jak obliczenia i pamięć współdziałają w tych warunkach. Procesor o wysokim TOPS nie dostarczy, jeśli pasmo przenoszenia pamięci jest ograniczone, a więcej pamięci nie pomoże, jeśli pojemność obliczeniowa jest niewystarczająca.

Zespoły powinny ocenić, czy procesor może utrzymać wydajność w zadaniach takich jak percepcja, wzmocnienie i generatywne obciążenia, każde z bardzo różnymi wymaganiami. Celem nie jest optymalizacja pod kątem maksymalnych specyfikacji, ale zapewnienie wyważonej wydajności w całym zakresie oczekiwanych przypadków użycia w środowiskach rzeczywistych.

To jest naturalna ewolucja od „sterylnych” miar do bardziej złożonych podejść, które odzwierciedlają, jak platformy są używane i jak są oceniane – podobnie jak to, co się stało z innymi architekturami, które stały się mainstreamowe (np. SPEC, Coremark, 3DMark itp.).

Jak ograniczenia mocy i kosztów wpływają na decyzje architektoniczne za procesorami Hailo, szczególnie dla urządzeń na krawędzi skierowanych do konsumentów?

Moc i koszt to dwa z najbardziej definiujących ograniczeń przy projektowaniu procesorów AI dla urządzeń na krawędzi, szczególnie w produktach skierowanych do konsumentów. W kompaktowych urządzeniach, takich jak czujniki IoT lub asystenci domowi, budżety mocy są ścisłe, a często nie ma aktywnego chłodzenia, więc wydajność energetyczna staje się krytyczna. Każdy dodatkowy zasób obliczeniowy lub pamięciowy zwiększa pobór mocy i ciepło, co bezpośrednio wpływa na użyteczność i żywotność baterii.

Koszt jest równie wpływowy. Urządzenia konsumentów muszą pozostać w konkurencyjnych punktach cenowych, co oznacza, że procesor może zawierać tylko tyle TOPS i pamięci, ile jest ekonomicznie uzasadnione. Te ograniczenia wymuszają trudne decyzje architektoniczne. W Hailo priorytetem jest projektowanie, który dostarcza odpowiednią równowagę obliczeń i pamięci, aby spełnić rzeczywiste potrzeby aplikacji w ramach ścisłego zakresu mocy i kosztów, zapewniając, że AI na krawędzi staje się wykonalne, efektywne i skalowalne w szerokim zakresie produktów konsumentów.

Czy mógłbyś nas przeprowadzić przez to, jak definiujesz „punkt pracy” dla aplikacji i dlaczego jest to tak ważne w wdrożeniu AI na krawędzi?

Definiowanie „punktu pracy” jest jednym z najważniejszych kroków przy projektowaniu systemu. Odwołuje się to do przecięcia ograniczeń mocy, kosztu i opóźnienia, które kształtują to, co jest realistycznie osiągalne w konkretnym wdrożeniu. W przeciwieństwie do chmury, gdzie można rzucić więcej obliczeń lub pamięci na problem, urządzenia na krawędzi operują w ramach ustalonego zakresu. To oznacza, że trzeba podejmować świadome decyzje dotyczące kompromisów opartych na rzeczywistych wymaganiach aplikacji. Na przykład czujnik IoT może priorytetem energooszczędność nad surową wydajnością, podczas gdy system autonomiczny może wymagać ultra-niskiego opóźnienia niezależnie od poboru mocy. Gdy punkt pracy jest ustalony, można ocenić, czy procesor ma odpowiednią równowagę obliczeń i pamięci, aby spełnić tę potrzebę. Nie chodzi o maksymalizację specyfikacji we wszystkich kierunkach; chodzi o zapewnienie niezakłóconej, niezawodnej wydajności w warunkach, jakie aplikacja będzie napotykać.

Generalnie rzecz biorąc, punkt pracy to miejsce, w którym chcesz, aby kluczowe wskaźniki wydajności były optymalne. Niepowodzenie w tym może skutkować podoptymalną pracą w najbardziej typowych scenariuszach użycia platformy.

Jako prosty przykład, można uczynić system analityczny AI niezwykle wydajnym, gdy wejście jest bardzo wysokiej rozdzielczości, ale jeśli jest to wdrożone w systemach, które nigdy nie osiągają tej rozdzielczości, optymalizacja ta jest bez znaczenia.

Jak podchodzisz do optymalizacji w przypadku modeli wielomodalnych?

Modele wielomodalne wymagają starannej równowagi zasobów obliczeniowych i pamięci. Każda modalność stresuje system inaczej: wideo jest obciążone obliczeniowo z powodu wysokiej rozdzielczości i częstotliwości klatek, podczas gdy język i audio są bardziej kompaktowe, ale stawiają większe wymagania dotyczące pasma przenoszenia pamięci. W aplikacjach takich jak przetwarzanie wizji i języka ta rozdzielenie staje się jasne (chociaż nie jest to gwarancja, ale typowy scenariusz): przetwarzanie wideo popycha obliczenia, podczas gdy model językowy może szybko napotkać wąskie gardło pamięci.

Podejmujemy optymalizację, patrząc, jak te obciążenia współdziałają w całym pipeline i zapewniając, że procesor jest zaprojektowany do obsługi ich jednocześnie, bez pozwalania, aby jedna modalność kompromitowała wydajność innej.

Jak zwiększający się rozmiar modelu na krawędzi utrudnia zarządzanie opóźnieniem i zużyciem mocy, oraz jaka rola odgrywa architektura systemowa w rozwiązywaniu tego problemu?

Gdy rozmiar modelu na krawędzi wzrasta, opóźnienie i zużycie mocy stają się trudniejsze do zarządzania. Większe modele bardziej polegają na pamięci poza chipem, co zwiększa zarówno zużycie energii, jak i opóźnienie, szczególnie gdy pasmo przenoszenia pamięci staje się wąskim gardłem. Na przykład skalowanie od modelu 1-miliardowego do 4-miliardowego wymagałoby ponad czterokrotnego pasma przenoszenia, aby utrzymać tę samą wydajność – ale w praktyce wydajność nie skaluje się liniowo z powodu ograniczeń pasma przenoszenia i systemowych.

To nie tylko chodzi o posiadanie wysokich TOPS lub dużej ilości pamięci; chodzi o to, jak te komponenty współdziałają. Zbalansowany projekt zapewnia, że obliczenia, pamięć i pasmo przenoszenia współpracują wydajnie, zapobiegając temu, aby jeden zasób ograniczał cały system.

Jak Hailo projektuje z myślą o przyszłości, biorąc pod uwagę, jak szybko ewoluują modele AI, obciążenia i wymagania wdrożeniowe?

Przyszłość w AI na krawędzi oznacza projektowanie procesorów, które mogą obsłużyć szeroki zakres ewoluujących obciążeń. W Hailo koncentrujemy się na zbalansowanych architekturach, które nie są dostosowane tylko do jednego zadania, ale mogą wspierać wszystko, od funkcji percepcyjnych, takich jak wykrywanie obiektów, do modeli generatywnych, takich jak VLM. Każdy typ obciążenia stresuje obliczenia i pamięć inaczej, więc projektujemy z myślą o elastyczności, unikając wąskich gardeł przy przełączaniu między nimi. Uwzględniamy również rzeczywiste ograniczenia mocy, kosztu i opóźnienia w aplikacjach. Priorytetem jest zapewnienie wsparcia dla następnej generacji wdrożeń AI na krawędzi w przypadku użycia konsumentów i przemysłowych.

Jednak jeden rozmiar nie może pasować do wszystkiego, a nasz portfel celuje w określone aplikacje i stara się zmieścić w dostępnym budżecie, np. mocy, czynnika kształtu, co definiuje „punkt pracy”.

Jaka rola ekosystemu deweloperskiego odgrywa w maksymalizowaniu wartości procesora, i jak zapewniasz, aby zespoły mogły w pełni wykorzystać możliwości Hailo?

Jako urządzenie programowalne, istotne jest posiadanie łatwych w użyciu narzędzi dla deweloperów, aby wykorzystać potencjał procesora, skrócić drogę do wdrożenia i umożliwić nowe przypadki użycia. Poprzez zapewnienie dobrze wspieranego środowiska wokół naszych procesorów, pomagamy zespołom wdrożyć aplikacje AI w szerokim zakresie przypadków użycia.

Jakie porady dałbyś inżynierom lub CTO, którzy wybierają swój pierwszy akcelerator AI dla produktu następnej generacji, który jest budowany dzisiaj?

W dojrzałych warunkach uważam, że istnieje duży potencjał innowacyjny, pozwalający nam tłumaczyć wyobraźnię na prawdziwe produkty. W szybko zmieniającym się środowisku, wybranie akceleratora, który umożliwia szybki cykl od koncepcji do wdrożenia, jest krytyczne.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Hailo.