Yubei Chen, współzałożyciel Aizip Inc – seria wywiadów

Yubei Chen jest współzałożycielem Aizip inc., firmy, która buduje najmniejsze i najbardziej wydajne modele sztucznej inteligencji. Jest również asystentem profesora na wydziale ECE na Uniwersytecie Kalifornijskim w Davis. Badania Chen’a znajdują się na przecięciu neurobiologii obliczeniowej i głębokiego niezależnego (samouczącego się) uczenia, co umożliwia lepsze zrozumienie zasad rządzących niezależnym uczeniem reprezentacji w mózgu i maszynach, oraz zmianę naszego spojrzenia na statystykę sygnałów naturalnych.

Przed dołączeniem do UC Davis, Chen odbył studia podyplomowe z prof. Yannem LeCunem w NYU Center for Data Science (CDS) i Meta Fundamental AI Research (FAIR). Ukończył studia doktoranckie w Redwood Center for Theoretical Neuroscience i Berkeley AI Research (BAIR) na Uniwersytecie Kalifornijskim w Berkeley, pod kierunkiem prof. Bruno Olshausena.

Aizip rozwija ultra-wydajne rozwiązania sztucznej inteligencji zoptymalizowane dla urządzeń brzegowych, oferując kompaktowe modele dla aplikacji wizyjnych, audio, czasowych, językowych i fuzji sensorów. Produkty umożliwiają zadania takie jak rozpoznawanie twarzy i obiektów, wykrywanie słów kluczowych, analizę ECG/EEG i czatboty na urządzeniu, wszystko napędzane przez TinyML. Poprzez platformę AI Nanofactory, Aizipline, firma przyspiesza rozwój modeli przy użyciu modeli podstawowych i generatywnych, aby osiągnąć pełną automatyzację projektowania sztucznej inteligencji. Seria Gizmo Aizip, składająca się z małych modeli językowych (300M–2B parametrów), obsługuje szeroki zakres urządzeń, przywożąc inteligentne możliwości na brzeg.

Czy mógłbyś powiedzieć, jak twoja praca z Yannem LeCunem na NYU i w Meta FAIR wpłynęła na twoje podejście do budowania rozwiązań sztucznej inteligencji w świecie rzeczywistym?

Na Berkeley, moja praca była głęboko zakorzeniona w naukowym zapytaniu i matematycznej surowości. Moje badania doktoranckie, które łączyły inżynierię elektryczną, naukę komputerową i neurobiologię obliczeniową, koncentrowały się na zrozumieniu systemów sztucznej inteligencji z perspektywy “białej skrzynki”, czyli rozwijaniu metod ujawniających podstawowe struktury danych i modeli uczenia. Pracowałem nad budowaniem modeli sztucznej inteligencji, które są zarówno wykonalne, jak i zrozumiałe, oraz nad technikami wizualizacji, które pomagały otworzyć czarne skrzynki sztucznej inteligencji.

W Meta FAIR, koncentrowałem się na inżynierii systemów sztucznej inteligencji, aby osiągnąć najlepsze wyniki na dużą skalę. Z dostępem do światowej klasy zasobów obliczeniowych, badałem granice samouczącego się uczenia i przyczyniłem się do tego, co teraz nazywamy “modelami świata” — systemami sztucznej inteligencji, które uczą się z danych i wyobrażają sobie możliwe środowiska. To podwójne doświadczenie — naukowe zrozumienie na Berkeley i inżynierskie skalowanie w Meta — dało mi całościowe spojrzenie na rozwój sztucznej inteligencji. Podkreśliło ono wagę zarówno teoretycznego zrozumienia, jak i praktycznej implementacji w rozwoju rozwiązań sztucznej inteligencji dla aplikacji w świecie rzeczywistym.

Jak Twoja praca łącząca neurobiologię obliczeniową z sztuczną inteligencją wpływa na sposób, w jaki rozwijasz modele sztucznej inteligencji?

W neurobiologii obliczeniowej badamy, jak mózg przetwarza informacje, mierząc jego odpowiedzi na różne bodźce, podobnie jak mierzymy odpowiedzi modeli sztucznej inteligencji, aby zrozumieć ich wewnętrzne mechanizmy. Na początku swojej kariery rozwijałem techniki wizualizacji, aby analizować osadzanie słów — rozkładając słowa, takie jak “jabłko”, na ich składowe elementy semantyczne, takie jak “owoc” i “technologia”. Później ten podejście rozwinęło się do bardziej złożonych modeli sztucznej inteligencji, takich jak transformator i duże modele językowe, co pomogło ujawnić, jak one przetwarzają i przechowują wiedzę.

Te metody są podobne do technik stosowanych w neurobiologii, takich jak używanie elektrod lub fMRI do badania aktywności mózgu. Badanie wewnętrznych reprezentacji modelu sztucznej inteligencji pozwala nam zrozumieć jego strategie rozumowania i wykryć emergentne właściwości, takie jak neurony pojęć, które aktywują się dla określonych idei (takich jak cecha Golden Gate Bridge, którą odkryła firma Anthropic podczas mapowania Claude). Ten kierunek badań jest teraz powszechnie przyjęty w branży, ponieważ udowodniono, że umożliwia zarówno interpretowalność, jak i praktyczne interwencje, usuwając uprzedzenia z modeli. Zatem podejścia inspirowane neurobiologią pomagają nam uczynić sztuczną inteligencję bardziej wyjaśnialną, godną zaufania i wydajną.

Czym skłoniło Cię do założenia Aizip? Możesz podzielić się historią od pomysłu do startu?

Jako podstawowy badacz sztucznej inteligencji, wiele mojej pracy było teoretyczne, ale chciałem zabić lukę między badaniami a aplikacjami w świecie rzeczywistym. Założyłem Aizip, aby przenieść innowacje sztucznej inteligencji do praktycznego użycia, szczególnie w środowiskach o ograniczonych zasobach. Zamiast budować duże modele podstawowe, skoncentrowaliśmy się na tworzeniu najmniejszych i najbardziej wydajnych modeli sztucznej inteligencji, zoptymalizowanych dla urządzeń brzegowych.

Podróż zaczęła się od kluczowego spostrzeżenia: podczas gdy postępy sztucznej inteligencji rosły w szybkim tempie, aplikacje w świecie rzeczywistym często wymagały lekkich i wydajnych modeli. Zobaczyliśmy okazję, aby pioniersko rozwinąć nowy kierunek, który balansowałby surowość naukową z praktycznym wdrożeniem. Wykorzystując spostrzeżenia z samouczącego się uczenia i kompaktowych architektur modeli, Aizip jest w stanie dostarczać rozwiązania sztucznej inteligencji, które działają wydajnie na brzegu i otwierają nowe możliwości dla sztucznej inteligencji w systemach osadzonych, IoT i poza nimi.

Aizip specjalizuje się w małych modelach sztucznej inteligencji dla urządzeń brzegowych. Jaką lukę na rynku zobaczyłeś, co skłoniło Cię do tego kierunku?

Branża sztucznej inteligencji koncentrowała się głównie na skalowaniu modeli, ale aplikacje w świecie rzeczywistym często wymagają odwrotnego — wysokiej wydajności, niskiego zużycia energii i minimalnej latencji. Wiele modeli sztucznej inteligencji jest zbyt obliczeniowo kosztownych do wdrożenia na małych, osadzonych urządzeniach. Zobaczyliśmy lukę na rynku w zakresie rozwiązań sztucznej inteligencji, które mogą dostarczyć silne wyniki, pracując w ramach ekstremalnych ograniczeń zasobów.

Uznaliśmy, że nie jest konieczne, aby każda aplikacja sztucznej inteligencji działała na ogromnych modelach, i że również nie byłoby to skalowalne, aby polegać na modelach tej wielkości dla wszystkiego. Zamiast tego, koncentrujemy się na optymalizacji algorytmów, aby osiągnąć maksymalną wydajność, zachowując dokładność. Projektując modele sztucznej inteligencji dostosowane do aplikacji brzegowych — czy to w inteligentnych czujnikach, noszących, czy automatyzacji przemysłowej — umożliwiamy sztucznej inteligencji działać w miejscach, gdzie tradycyjne modele byłyby niepraktyczne. Nasze podejście sprawia, że sztuczna inteligencja staje się bardziej dostępna, skalowalna i energooszczędna, odblokowując nowe możliwości innowacji napędzanych sztuczną inteligencją poza chmurą.

Aizip jest na czele rozwoju Małych Modeli Językowych (SLM). Jak widzisz konkurencję lub uzupełnienie tych modeli w stosunku do większych modeli, takich jak GPT-4?

SLM i większe modele, takie jak GPT-4, niekoniecznie są w bezpośredniej konkurencji, ponieważ służą różnym potrzebom. Większe modele są potężne pod względem uogólnienia i głębokiego rozumowania, ale wymagają znacznych zasobów obliczeniowych. SLM są zaprojektowane z myślą o wydajności i wdrożeniu na urządzeniach brzegowych o niskiej mocy. Uzupełniają większe modele, umożliwiając możliwości sztucznej inteligencji w aplikacjach w świecie rzeczywistym, gdzie zasoby obliczeniowe, opóźnienia i koszty mają znaczenie — takich jak urządzenia IoT, noszące i automatyzacja przemysłowa. Wraz ze wzrostem adopcji sztucznej inteligencji, widzimy pojawiające się podejście hybrydowe, w którym duże, chmurowe modele obsługują złożone zapytania, podczas gdy SLM dostarczają inteligencję w czasie rzeczywistym, lokalną na brzegu.

Jakie są największe wyzwania techniczne w uczynieniu modeli sztucznej inteligencji wystarczająco wydajnymi dla urządzeń niskiej mocy?

Jednym z podstawowych wyzwań jest brak pełnego teoretycznego zrozumienia, jak modele sztucznej inteligencji działają. Bez wyraźnego teoretycznego fundamentu, wysiłki optymalizacyjne są często empiryczne, ograniczając zyski wydajności. Dodatkowo, ludzkie uczenie się odbywa się na różne sposoby, których obecne paradygmaty uczenia maszynowego nie w pełni ujmują, co utrudnia projektowanie modeli, które naśladują ludzką wydajność.

Z punktu widzenia inżynierskiego, pchanie sztucznej inteligencji do pracy w ramach ekstremalnych ograniczeń wymaga innowacyjnych rozwiązań w kompresji modeli, kwantyzacji i projektowaniu architektury. Innym wyzwaniem jest tworzenie modeli sztucznej inteligencji, które mogą adaptować się do różnych urządzeń i środowisk, zachowując przy tym wytrzymałość. Wraz ze wzrostem interakcji sztucznej inteligencji z fizycznym światem za pośrednictwem IoT i czujników, potrzeba naturalnych i wydajnych interfejsów — takich jak rozpoznawanie głosu i gestów oraz innych niekonwencjonalnych wejść — staje się krytyczna. Sztuczna inteligencja na brzegu dotyczy ponownego zdefiniowania, jak ludzie wchodzą w interakcje z cyfrowym światem bezproblemowo.

Czy możesz podzielić się szczegółami na temat pracy Aizip z firmami takimi jak Softbank?

Ostatnio współpracowaliśmy z SoftBankiem przy projekcie akwakultury, który zdobył nagrodę CES Innovation Award — jesteśmy z niego szczególnie dumni. Rozwinęliśmy wydajny, oparty na brzegu model sztucznej inteligencji do aplikacji liczenia ryb, który może być używany przez operatorów farm rybnych. To rozwiązanie rozwiązuje krytyczne wyzwanie w hodowli ryb, które może ostatecznie prowadzić do problemów z zrównoważonym rozwojem, marnowaniem żywności i rentownością. Branża była powolna w przyjęciu sztucznej inteligencji jako rozwiązania z powodu niepewnych źródeł zasilania i połączeń w morzu, co sprawia, że chmurowe rozwiązania sztucznej inteligencji są niepraktyczne.

Aby rozwiązać ten problem, opracowaliśmy rozwiązanie działające na urządzeniu. Połączyliśmy symulacje graficzne komputera SoftBanku do danych szkoleniowych z naszymi kompaktowymi modelami sztucznej inteligencji i stworzyliśmy bardzo dokładny system, który działa na smartfonach. W testach podwodnych osiągnęliśmy 95% wskaźnik rozpoznawania, znacznie poprawiając dokładność liczenia ryb. To pozwoliło hodowcom ryb optymalizować warunki przechowywania, określać, czy ryby powinny być transportowane żywe czy mrożone, oraz wykrywać potencjalne choroby lub inne problemy zdrowotne u ryb.

To przełomowe rozwiązanie poprawia wydajność, obniża koszty i zmniejsza zależność od ręcznej pracy. Szersze spojrzenie pokazuje, jak sztuczna inteligencja może mieć realny wpływ na problemy w świecie rzeczywistym.

Aizip wprowadził pojęcie “AI Nanofactory”. Czy mógłbyś wyjaśnić, co to znaczy i jak automatyzuje rozwój modeli sztucznej inteligencji?

AI Nanofactory to nasza wewnętrzna pipeline automatyzacji projektowania sztucznej inteligencji, zainspirowana elektroniczną automatyzacją projektowania (EDA) w produkcji półprzewodników. Wczesny rozwój w każdej dziedzinie wymaga wiele ręcznej pracy, więc automatyzacja staje się kluczem do przyspieszania postępu i skalowania rozwiązań, gdy dziedzina dojrzewa.

Zamiast po prostu używać sztucznej inteligencji do przyspieszania innych branż, zapytaliśmy, czy sztuczna inteligencja może przyspieszyć swój własny rozwój? AI Nanofactory automatyzuje każdy etap rozwoju modelu sztucznej inteligencji, od przetwarzania danych po projektowanie architektury, wybór modelu, szkolenie, kwantyzację, wdrożenie i debugowanie. Wykorzystując sztuczną inteligencję do optymalizacji samej siebie, byliśmy w stanie zredukować czas rozwoju nowych modeli o średni czynnik 10. W niektórych przypadkach nawet o ponad 1000 razy. Oznacza to, że model, który wcześniej wymagał ponad roku rozwoju, może teraz być stworzony w zaledwie kilka godzin.

Inną korzyścią jest to, że ta automatyzacja również zapewnia, że rozwiązania sztucznej inteligencji są ekonomicznie uzasadnione dla szerokiego zakresu aplikacji, sprawiając, że wdrożenie sztucznej inteligencji w świecie rzeczywistym staje się bardziej dostępne i skalowalne.

Jak widzisz ewolucję roli sztucznej inteligencji na brzegu w ciągu najbliższych pięciu lat?

Sztuczna inteligencja na brzegu obiecuje przekształcić, jak wchodzimy w interakcje z technologią, podobnie jak smartfony rewolucjonizowały dostęp do internetu. Większość aplikacji sztucznej inteligencji dzisiaj jest oparta na chmurze, ale to zaczyna się zmieniać, gdy sztuczna inteligencja przechodzi bliżej czujników i urządzeń, które wchodzą w interakcje z fizycznym światem. Ten przesuw podkreśla krytyczną potrzebę wydajnego przetwarzania w czasie rzeczywistym na brzegu.

W ciągu najbliższych pięciu lat oczekujemy, że sztuczna inteligencja na brzegu umożliwi bardziej naturalne interakcje człowieka-komputera, takie jak rozpoznawanie głosu i gestów oraz inne intuicyjne interfejsy, które usuną zależność od tradycyjnych barier, takich jak klawiatury i ekranów dotykowych. Sztuczna inteligencja staje się również coraz bardziej wbudowana w codzienne środowiska, takie jak inteligentne domy lub automatyzacja przemysłowa, aby umożliwić podejmowanie decyzji w czasie rzeczywistym z minimalnym opóźnieniem.

Innym kluczowym trendem będzie rosnąca autonomia systemów sztucznej inteligencji na brzegu. Modele sztucznej inteligencji staną się bardziej samooptymalizujące i adaptujące dzięki postępom w automatyzacji w stylu AI Nanofactory, co zmniejszy potrzebę interwencji człowieka w wdrożeniu i utrzymaniu. To otworzy nowe możliwości w różnych branżach, takich jak opieka zdrowotna, motoryzacja i rolnictwo.

Jakie nadchodzące urządzenia zasilane sztuczną inteligencją od Aizip są Ci najbardziej interesujące?

Pracujemy nad rozszerzeniem przypadków użycia naszych modeli w nowych branżach, a jedną z nich, która nas szczególnie ekscytuje, jest agent sztucznej inteligencji dla sektora motoryzacyjnego. Istnieje rosnące zainteresowanie, szczególnie wśród chińskich producentów samochodów, rozwijaniem asystentów głosowych napędzanych modelami językowymi, które czują się jak ChatGPT w kabinie.

Wyzwaniem jest to, że większość obecnych asystentów nadal polega na chmurze, szczególnie dla naturalnych, elastycznych dialogów. Tylko podstawowe zadania sterowania (takie jak “włącz klimatyzację” lub “otwórz bagażnik”) zwykle działają lokalnie na pojeździe, a sztywny charakter tych poleceń może stać się rozproszeniem dla kierowców, jeśli nie mają ich idealnie zapamiętanych.

Opracowaliśmy serię ultra-wydajnych, napędzanych przez SLM agentów sztucznej inteligencji o nazwie Gizmo, które są obecnie wykorzystywane w różnych aplikacjach dla różnych branż, i pracujemy nad ich wdrożeniem jako “drugich pilotów” w pojazdach. Gizmo jest szkolony, aby zrozumieć intencję w bardziej nuansowanym sposobie, i gdy służy jako agent sztucznej inteligencji w pojeździe, mógłby wykonać polecenia przez konwersacyjny, swobodny język. Na przykład, mógłby dostosować temperaturę kabiny, jeśli kierowca powiedziałby “jestem zimny”, lub odpowiedziałby na pytanie “co powinienem nosić jutro, jadąc do Bostonu” sprawdzając pogodę i oferując sugestię.

Ponieważ działają lokalnie i nie zależą od chmury, ci agenci nadal funkcjonują w strefach ślepych lub obszarach o słabej łączności, takich jak tunele, góry czy drogi wiejskie. Poprawiają również bezpieczeństwo, zapewniając kierowcom pełną kontrolę głosową bez odwracania uwagi od drogi. I, na oddzielną, lżejszą notatkę, chciałbym również wspomnieć, że obecnie wprowadzamy do produkcji model sztucznej inteligencji do karaoke dla pojazdów i głośników Bluetooth, który działa lokalnie, podobnie jak pilot. Podstawowo bierze dowolne wejście audio i usuwa z niego ludzkie głosy, co pozwala utworzyć wersję karaoke dowolnej piosenki w czasie rzeczywistym. Więc oprócz pomocy klientom w bezpiecznym zarządzaniu kontrolami w samochodzie, szukamy również sposobów, aby uczynić doświadczenie bardziej przyjemnym.

Te rodzaje rozwiązań, które mają znaczący wpływ na życie ludzi, są tymi, z których jesteśmy najbardziej dumni.

Aizip rozwija ultra-wydajne rozwiązania sztucznej inteligencji zoptymalizowane dla urządzeń brzegowych, oferując kompaktowe modele dla aplikacji wizyjnych, audio, czasowych, językowych i fuzji sensorów. Produkty umożliwiają zadania takie jak rozpoznawanie twarzy i obiektów, wykrywanie słów kluczowych, analizę ECG/EEG i czatboty na urządzeniu, wszystko napędzane przez TinyML. Poprzez platformę AI Nanofactory, Aizipline, firma przyspiesza rozwój modeli przy użyciu modeli podstawowych i generatywnych, aby osiągnąć pełną automatyzację projektowania sztucznej inteligencji. Seria Gizmo Aizip, składająca się z małych modeli językowych (300M–2B parametrów), obsługuje szeroki zakres urządzeń, przywożąc inteligentne możliwości na brzeg.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Aizip.