Jay Dawani jest współzałożycielem i CEO Lemurian Labs – seria wywiadów

Jay Dawani jest współzałożycielem i CEO Lemurian Labs. Lemurian Labs ma na celu dostarczenie przystępnych, dostępnych i wydajnych komputerów z AI, napędzanych przekonaniem, że AI nie powinno być luksusem, ale narzędziem dostępnym dla wszystkich. Założycielski zespół Lemurian Labs łączy doświadczenie w dziedzinie AI, kompilatorów, algorytmów numerycznych i architektury komputerowej, zjednoczone przez jeden cel: ponowne wyobrażenie przyspieszonego komputingu.

Czy możesz opowiedzieć o swoim tle i tym, co Cię skłoniło do zajęcia się AI?

Oczywiście. Zaczynałem programować, gdy miałem 12 lat i tworzyłem własne gry, ale naprawdę zainteresowałem się AI, gdy miałem 15 lat, dzięki przyjacielowi mojego ojca, który był zainteresowany komputerami. On zaspokajał moją ciekawość i dawał mi książki do przeczytania, takie jak “Komputer i mózg” von Neumanna, “Perceptrony” Minsky’ego, “AI: nowoczesne podejście” Russella i Norviga. Te książki wpłynęły na moje myślenie i wydawało się, że AI będzie przełomowe, i muszę być częścią tego.

Gdy nadszedł czas na studia, bardzo chciałem studiować AI, ale nie znalazłem uniwersytetów, które oferowały ten kierunek, więc postanowiłem studiować matematykę stosowaną. Niedługo potem usłyszałem o wynikach AlexNet na ImageNet, co było bardzo ekscytujące. Wtedy miałem moment “albo teraz, albo nigdy” i zacząłem czytać każdy możliwy artykuł i książkę związany z sieciami neuronowymi i szukałem liderów w tej dziedzinie, aby się od nich uczyć, bo jak często można być częścią narodzin nowej branży i uczyć się od jej pionierów.

Bardzo szybko zrozumiałem, że nie lubię badań, ale lubię rozwiązywać problemy i tworzyć produkty z AI. To doprowadziło mnie do pracy nad samochodami autonomicznymi i robotami, AI do odkrywania materiałów, modelami generatywnymi dla symulacji wielofizycznych, symulatorami AI dla szkolenia profesjonalnych kierowców wyścigowych i pomocy w ustawieniach samochodów, robotami kosmicznymi, handlem algorytmicznym i wiele więcej.

Teraz, mając doświadczenie we wszystkim tym, staram się ograniczyć koszty szkolenia i wdrożenia AI, ponieważ to będzie największą przeszkodą, z którą będziemy musieli się zmierzyć na naszej drodze do umożliwienia światu, w którym każda osoba i firma może mieć dostęp do AI w najbardziej ekonomiczny sposób.

Wiele firm zajmujących się komputowaniem przyspieszonym ma założycieli, którzy zbudowali swoje kariery w branży półprzewodników i infrastruktury. Jak myślisz, że Twoje doświadczenie w AI i matematyce wpływa na Twoją zdolność do zrozumienia rynku i skutecznego konkurowania?

Myślę, że nie pochodząc z branży daje mi to przewagę outsidera. Często zdarza się, że nie mając wiedzy o normach branżowych lub konwencjonalnej mądrości, daje mi to wolność, aby badać bardziej swobodnie i głębiej niż inni, ponieważ nie jestem ograniczony przez uprzedzenia.

Mam wolność, aby zadawać “głupsze” pytania i testować założenia w sposób, w jaki inni by nie zrobili, ponieważ wiele rzeczy jest akceptowanych prawd. W ciągu ostatnich dwóch lat miałem kilka rozmów z ludźmi w branży, którzy są bardzo dogmatyczni wobec czegoś, ale nie mogą mi powiedzieć, skąd wzięła się ta idea, co mnie bardzo dziwi. Lubię zrozumieć, dlaczego pewne wybory zostały podjęte i jakie założenia lub warunki były w tym czasie i czy nadal obowiązują.

Pochodząc z tła AI, skłaniam się ku podejściu oprogramowania, patrząc na to, gdzie są obecnie obciążenia i jak mogą one zmienić się w czasie, i modelując cały proces ML, aby zrozumieć wąskie gardła, co mi mówi, gdzie są możliwości dostarczania wartości. A ponieważ pochodzę z matematyki, lubię modelować rzeczy, aby uzyskać prawdę, i mam to jako przewodnik. Na przykład, zbudowaliśmy modele, aby obliczyć wydajność systemu dla całkowitego kosztu posiadania i możemy zmierzyć korzyści, które możemy dostarczyć klientom za pomocą oprogramowania i/lub sprzętu, i lepiej zrozumieć nasze ograniczenia i różne możliwości, i dziesiątki innych modeli dla różnych rzeczy. Jesteśmy bardzo zorientowani na dane, i używamy spostrzeżeń z tych modeli, aby kierować naszymi wysiłkami i kompromisami.

Wygląda na to, że postęp w AI pochodzi głównie ze skalowania, co wymaga wykładniczo więcej obliczeń i energii. Wygląda na to, że jesteśmy w wyścigu zbrojeń z każdą firmą, która próbuje zbudować największy model, i nie ma końca na widoku. Czy myślisz, że jest sposób, aby wyjść z tego?

Zawsze są sposoby. Skalowanie okazało się bardzo przydatne, i nie myślę, że widzieliśmy jeszcze koniec. Wkrótce zobaczymy modele szkolone za koszt co najmniej miliarda dolarów. Jeśli chcesz być liderem w AI generatywnej i tworzyć najnowocześniejsze modele podstawowe, będziesz musiał wydawać co najmniej kilka miliardów dolarów rocznie na obliczenia. Teraz, są naturalne ograniczenia skalowania, takie jak możliwość zbudowania wystarczająco dużego zestawu danych dla modelu tej wielkości, dostęp do ludzi z odpowiednią wiedzą i dostęp do wystarczającej ilości obliczeń.

Dalsze skalowanie rozmiaru modelu jest nieuniknione, ale nie możemy przekształcić całej powierzchni Ziemi w planetarny superkomputer, aby trenować i obsługiwać LLM. Aby to kontrolować, mamy kilka elementów, z którymi możemy manipulować: lepsze zestawy danych, nowe architektury modeli, nowe metody trenowania, lepsze kompilatory, ulepszenia algorytmiczne i wykorzystywanie, lepsze architektury komputerowe i tak dalej. Jeśli zrobimy wszystko to, jest około trzech rzędów wielkości poprawy, które można osiągnąć. To jest najlepszy sposób, aby wyjść z tego.

Jesteś zwolennikiem myślenia pierwszych zasad, jak to kształtuje Twoje myślenie o tym, jak prowadzisz Lemurian Labs?

Zdecydowanie stosujemy wiele myślenia pierwszych zasad w Lemurian. Zawsze uważałem, że mądrość konwencjonalna jest myląca, ponieważ ta wiedza została ukształtowana w pewnym momencie, gdy pewne założenia były prawdziwe, ale rzeczy zawsze się zmieniają, i trzeba często sprawdzać założenia, zwłaszcza w tak szybko zmieniającym się świecie.

Często zadaję sobie pytania w rodzaju “to wygląda na bardzo dobrą ideę, ale dlaczego to nie może działać”, lub “co musi być prawdą, aby to działało”, lub “co wiemy, co są absolutne prawdy, a co są założeniami, które robimy, i dlaczego?”. Celem jest unieważnić i zabić idee jak najszybciej i najtaniej. Chcemy maksymalizować liczbę rzeczy, które próbujemy w dowolnym momencie. Chodzi o to, aby być obsesjonowanym problemem, który musi być rozwiązany, a nie być zbyt zainteresowanym technologią. Za dużo ludzi koncentruje się zbyt mocno na technologii i kończy się tym, że nie rozumieją problemów klientów i przegapiają przejścia w branży, co może unieważnić ich podejście i sprawić, że nie będą w stanie dostosować się do nowego stanu świata.

Ale myślenie pierwszych zasad nie jest zbyt przydatne samo w sobie. Skłonni jesteśmy łączyć je z backcastingiem, co oznacza wyobrażanie sobie idealnego lub pożądanego wyniku przyszłości i pracy wstecznej, aby zidentyfikować różne kroki lub działania niezbędne do realizacji go. To zapewnia, że konvergujemy na rozwiązanie, które jest nie tylko innowacyjne, ale także uzasadnione w rzeczywistości. Nie ma sensu spędzać czasu na tworzeniu idealnego rozwiązania, tylko aby później zrealizować, że nie jest to możliwe do zbudowania z powodu różnych ograniczeń świata rzeczywistego, takich jak zasoby, czas, regulacje lub zbudowanie pozornie idealnego rozwiązania, ale później odkryć, że jest ono zbyt trudne do przyjęcia przez klientów.

Czasami znajdujemy się w sytuacji, w której musimy podjąć decyzję, ale nie mamy danych, i w tym przypadku stosujemy minimum hipotez testowalnych, które dają nam sygnał, czy coś ma sens, aby go kontynuować z najmniejszym możliwym nakładem energii.

Wszystko to łącznie daje nam elastyczność, szybkie cykle iteracji, aby szybko zminimalizować ryzyko, i pomogło nam dostosować strategie z wysokim poziomem pewności, i zrobić wiele postępu w bardzo trudnych problemach w bardzo krótkim czasie.

Początkowo koncentrowałeś się na edge AI, co spowodowało, że przeszedłeś do chmury?

Zaczynaliśmy z edge AI, ponieważ w tym czasie byłam bardzo skupiony na rozwiązaniu bardzo konkretnego problemu, z którym się zetknąłem, próbując wprowadzić świat ogólnego celu autonomii. Autonomia obiecuje być największym przesunięciem platformy w naszej wspólnej historii, i wydawało się, że mamy wszystko, czego potrzebujemy, aby zbudować model podstawowy dla robotyki, ale brakowało nam idealnego chipu inferencyjnego z odpowiednim balansem przepustowości, opóźnienia, wydajności energetycznej i programowalności, aby uruchomić ten model.

Nie myślałem o centrum danych w tym czasie, ponieważ były wystarczająco banyak firmy koncentrujące się tam, i oczekiwałem, że one sobie z tym poradzą. Zaprojektowaliśmy bardzo potężną architekturę dla tego obszaru aplikacji i byliśmy gotowi ją wydać, i wtedy stało się absolutnie jasne, że świat się zmienił, a problemem było centrum danych. Tempo, w jakim LLM rosło i zużywało obliczenia, znacznie przewyższa tempo postępu w komputingu, i gdy weźmie się pod uwagę przyjęcie, zaczyna to malować niepokojący obraz.

Wydawało się, że to jest miejsce, gdzie powinniśmy skupić nasze wysiłki, aby obniżyć koszt energii AI w centrach danych, jak tylko możemy, bez nakładania ograniczeń na to, gdzie i jak AI powinno ewoluować. I tak, zaczęliśmy rozwiązywać ten problem.

Czy możesz podzielić się historią powstania Lemurian Labs?

Historia zaczyna się na początku 2018 roku. Pracowałem nad szkoleniem modelu podstawowego dla ogólnego celu autonomii oraz modelem generatywnym dla symulacji wielofizycznych, aby trenować agenta i doskonalić go dla różnych aplikacji, i kilku innych rzeczy, aby pomóc w skalowaniu do środowisk wieloagentowych. Ale bardzo szybko wyczerpałem ilość obliczeń, które miałem, i oszacowałem, że potrzebuję ponad 20 000 GPU V100. Próbowałem zebrać wystarczająco dużo, aby dostać dostęp do obliczeń, ale rynek nie był jeszcze gotowy na tego rodzaju skalę. To jednak sprawiło, że zacząłem myśleć o stronie wdrożeniowej i usiadłem, aby obliczyć, jaki poziom wydajności będę potrzebować do obsługi tego modelu w środowiskach docelowych, i zrealizowałem, że nie ma chipu, który mógłby mi to dać.

Parę lat później, w 2020 roku, spotkałem się z Vassilem – moim przyszłym współzałożycielem – aby porozmawiać i podzieliłem się wyzwaniami, z którymi się zetknąłem, budując model podstawowy dla autonomii, i on zasugerował zbudowanie chipu inferencyjnego, który mógłby uruchomić model podstawowy, i podzielił się tym, że spędził dużo czasu, myśląc o formatach liczb i lepszych reprezentacjach, które pomogłyby nie tylko w utrzymaniu dokładności sieci neuronowych przy niższych szerokościach bitowych, ale także w tworzeniu bardziej potężnych architektur.

Była to intrygująca idea, ale była zupełnie poza moim zasięgiem. Ale nie mogłem się od niej uwolnić, co skłoniło mnie do spędzenia miesięcy i miesięcy, ucząc się o architekturze komputerowej, zestawach instrukcji, czasach wykonywania, kompilatorach i modelach programowania. Ostatecznie, zbudowanie firmy półprzewodnikowej zaczęło mieć sens, i sformułowałem tezę na temat problemu i jak go rozwiązać. I wtedy, pod koniec roku, zaczęliśmy Lemurian.

Mówiłeś wcześniej o potrzebie rozwiązania problemu oprogramowania przed budową sprzętu, czy możesz wyjaśnić, dlaczego uważasz, że problem sprzętu jest przede wszystkim problemem oprogramowania?

Co wiele ludzi nie rozumie, to to, że strona oprogramowania półprzewodników jest o wiele trudniejsza niż sama sprzęt. Budowanie przydatnej architektury komputera dla klientów, aby mogli z niej korzystać i uzyskać korzyści, jest pełnym problemem warstwowym, i jeśli nie masz tego zrozumienia i przygotowania, będziesz kończył z piękną architekturą, która jest bardzo wydajna i efektywna, ale całkowicie niezdatna do użycia przez deweloperów, co jest naprawdę ważne.

Istnieją również inne korzyści z podejścia oprogramowania, takie jak szybszy czas dostępu do rynku. To jest kluczowe w dzisiejszym szybko zmieniającym się świecie, gdzie być zbyt optymistycznym wobec architektury lub funkcji może oznaczać, że przegapisz rynek całkowicie.

Nie przyjmując podejścia oprogramowania, zwykle skutkuje tym, że nie deriskujesz ważnych rzeczy wymaganych do przyjęcia produktu na rynku, nie jesteś w stanie odpowiedzieć na zmiany na rynku, na przykład, gdy obciążenia ewoluują w nieoczekiwany sposób, i masz niedostatecznie wykorzystany sprzęt. Wszystko to nie są dobre rzeczy. To jest duży powód, dla którego dbamy o to, aby być centrycznym dla oprogramowania, i dlaczego nasz pogląd jest taki, że nie możesz być firmą półprzewodnikową, jeśli nie jesteś naprawdę firmą oprogramowania.

Czy możesz omówić swoje natychmiastowe cele dotyczące stosu oprogramowania?

Gdy projektowaliśmy naszą architekturę i myśleliśmy o przyszłej mapie drogowej i gdzie są możliwości, aby dostarczyć więcej wydajności i efektywności energetycznej, zaczęło się klarować, że będziemy mieć do czynienia z dużo większą heterogenicznością, co stworzy wiele problemów na poziomie oprogramowania. I nie tylko musimy być w stanie produktywnie programować heterogeniczne architektury, musimy także radzić sobie z nimi w skali centrów danych, co jest wyzwaniem, z którym nie mieliśmy do czynienia wcześniej.

To nas niepokoi, ponieważ ostatni raz, gdy musieliśmy przejść przez dużą transformację, było, gdy przeszliśmy z architektur jednowątkowych do wielowątkowych, i wtedy zajęło to 10 lat, aby oprogramowanie działało, i ludzie zaczęli je używać. Nie możemy czekać 10 lat, aby rozwiązać problem oprogramowania dla heterogeniczności w skali, musi to być rozwiązane teraz. I tak, zaczęliśmy rozumieć problem i to, co musi istnieć, aby ten stos oprogramowania mógł istnieć.

Obecnie współpracujemy z wieloma wiodącymi firmami półprzewodnikowymi i dostawcami usług w chmurze, i będziemy wydawać nasz stos oprogramowania w ciągu najbliższych 12 miesięcy. Jest to zjednoczony model programowania z kompilatorem i czasem wykonywania, który może być skierowany do dowolnej architektury, i może orchestrować pracę w klastrach składających się z różnych rodzajów sprzętu, i jest w stanie skalować od jednego węzła do tysiąca węzłów, aby uzyskać najwyższą możliwą wydajność.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Lemurian Labs.