Jay Dawani jest współzałożycielem i dyrektorem generalnym Lemurian Labs – seria wywiadów

Jay Dawani jest współzałożycielem i dyrektorem generalnym Lemurian Labs. Laboratoria lemuryjskie ma misję dostarczania niedrogich, dostępnych i wydajnych komputerów AI, kierując się przekonaniem, że sztuczna inteligencja nie powinna być luksusem, ale narzędziem dostępnym dla każdego. Zespół założycielski Lemurian Labs łączy wiedzę specjalistyczną w zakresie sztucznej inteligencji, kompilatorów, algorytmów numerycznych i architektury komputerów, których łączy jeden cel: ponowne przemyślenie przyspieszonego przetwarzania danych.

Czy możesz przedstawić nam swoją przeszłość i wod początku zainteresowałeś się sztuczną inteligencją?

Absolutnie. Programowałem od 12. roku życia, tworzyłem własne gry i tym podobne, ale tak naprawdę zainteresowałem się sztuczną inteligencją w wieku 15 lat dzięki przyjacielowi moich ojców, który interesował się komputerami. Zaspokoił moją ciekawość i dał mi książki do przeczytania, takie jak „Komputer i mózg” Von Neumanna, „Perceptrony” Minsky’ego, „AI A Modern Approach” Russela i Norviga. Te książki wywarły duży wpływ na mój sposób myślenia i wtedy wydawało mi się niemal oczywiste, że sztuczna inteligencja będzie miała charakter transformacyjny, a ja po prostu musiałem być częścią tej dziedziny. 

Kiedy przyszedł czas na studia, bardzo chciałem studiować sztuczną inteligencję, ale nie znalazłem żadnej uczelni, która by to oferowała, więc zdecydowałem się zamiast tego wybrać specjalizację z matematyki stosowanej i chwilę po tym, jak dostałem się na uniwersytet, usłyszałem o wynikach AlexNet w ImageNet, który było naprawdę ekscytujące. W tamtym czasie miałem w głowie tę chwilę: „teraz albo nigdy” i z pełnym zaangażowaniem zagłębiałem się w czytanie wszelkich artykułów i książek, które wpadły mi w ręce, związanych z sieciami neuronowymi, i szukałem wszystkich liderów w tej dziedzinie, aby się od nich uczyć, bo jak często masz okazję być przy narodzinach nowej branży i uczyć się od jej pionierów. 

Bardzo szybko zdałem sobie sprawę, że nie lubię badań, ale lubię rozwiązywać problemy i tworzyć produkty obsługujące sztuczną inteligencję. To doprowadziło mnie do pracy nad autonomicznymi samochodami i robotami, sztuczną inteligencją do odkrywania materiałów, modelami generatywnymi do symulacji wielofizycznych, symulatorami opartymi na sztucznej inteligencji do szkolenia zawodowych kierowców wyścigowych i pomagania w konfiguracji samochodów, robotami kosmicznymi, handlem algorytmicznym i wieloma innymi. 

Teraz, gdy już to wszystko zrobiłem, staram się panować nad kosztami szkoleń i wdrożeń AI, ponieważ będzie to największa przeszkoda, przed jaką stoimy na naszej drodze do stworzenia świata, w którym każda osoba i firma będzie mogła mieć dostęp do sztucznej inteligencji i z niej korzystać w możliwie najbardziej ekonomiczny sposób.

Wiele firm zajmujących się przetwarzaniem przyspieszonym ma założycieli, którzy zbudowali kariery w branży półprzewodników i infrastruktury. Jak myślisz, w jaki sposób Twoje wcześniejsze doświadczenia ze sztuczną inteligencją i matematyką wpływają na Twoją zdolność rozumienia rynku i skutecznego konkurowania?

Właściwie myślę, że brak pochodzenia z tej branży daje mi przewagę w postaci posiadania przewagi z zewnątrz. Przekonałem się, że dość często zdarza się, że brak wiedzy na temat norm branżowych lub konwencjonalnych mądrości daje swobodę swobodniejszego odkrywania i sięgania głębiej niż większość innych, ponieważ nie jest się obciążonym uprzedzeniami. 

Mam swobodę zadawania „głupszych” pytań i testowania założeń w sposób, w jaki większość innych by tego nie zrobiła, ponieważ wiele rzeczy jest akceptowanymi prawdami. W ciągu ostatnich dwóch lat odbyłem kilka rozmów z ludźmi z branży, z których wynikało, że podchodzą do czegoś bardzo dogmatycznie, ale nie potrafią podać pochodzenia tego pomysłu, co uważam za bardzo zagadkowe. Lubię rozumieć, dlaczego dokonano pewnych wyborów, jakie założenia lub warunki obowiązywały w tamtym czasie i czy nadal są aktualne. 

Mając doświadczenie w sztucznej inteligencji, zazwyczaj patrzę na oprogramowanie, przyglądając się, gdzie obecnie znajdują się obciążenia, a oto wszystkie możliwe sposoby, w jakie mogą one zmieniać się w czasie, a także modeluję cały proces uczenia maszynowego na potrzeby szkolenia i wnioskowania w celu zrozumienia wąskich gardeł, co mówi gdzie są możliwości dostarczenia wartości. A ponieważ pochodzę z wykształcenia matematycznego, lubię modelować rzeczy tak, aby jak najbardziej zbliżyć się do prawdy i żeby to mnie kierowało. Na przykład zbudowaliśmy modele do obliczania wydajności systemu pod kątem całkowitego kosztu posiadania i możemy zmierzyć korzyści, jakie możemy zapewnić klientom dzięki oprogramowaniu i/lub sprzętowi, a także aby lepiej zrozumieć nasze ograniczenia i różne dostępne dla nas pokrętła oraz dziesiątki inne modele do różnych rzeczy. Działamy w dużym stopniu na podstawie danych i wykorzystujemy wnioski z tych modeli, aby kierować naszymi wysiłkami i kompromisami. 

Wygląda na to, że postęp w sztucznej inteligencji wynika przede wszystkim ze skalowania, które wymaga wykładniczo większej mocy obliczeniowej i energii. Wygląda na to, że uczestniczymy w wyścigu zbrojeń, w którym każda firma próbuje zbudować jak największy model, a końca nie widać. Czy myślisz, że jest z tego wyjście?

Zawsze są sposoby. Skalowanie okazało się niezwykle przydatne i nie sądzę, że widzieliśmy jeszcze koniec. Już wkrótce będziemy świadkami szkolenia modeli, którego koszt wyniesie co najmniej miliard dolarów. Jeśli chcesz być liderem w dziedzinie generatywnej sztucznej inteligencji i tworzyć najnowocześniejsze modele podstawowe, musisz wydawać co najmniej kilka miliardów rocznie na obliczenia. Istnieją naturalne ograniczenia skalowania, takie jak możliwość skonstruowania wystarczająco dużego zbioru danych dla modelu tej wielkości, dostęp do osób posiadających odpowiednią wiedzę i dostęp do wystarczającej ilości mocy obliczeniowych. 

Dalsze skalowanie rozmiaru modelu jest nieuniknione, ale z oczywistych powodów nie możemy również przekształcić całej powierzchni Ziemi w superkomputer wielkości planety do szkolenia i obsługi LLM. Aby to opanować, mamy kilka opcji, którymi możemy pobawić się: lepszymi zbiorami danych, nowymi architekturami modeli, nowymi metodami uczenia, lepszymi kompilatorami, ulepszeniami i eksploatacjami algorytmów, lepszą architekturą komputerów i tak dalej. Jeśli to wszystko zrobimy, można będzie znaleźć mniej więcej trzy rzędy wielkości poprawy. To najlepsze wyjście. 

Jesteś zwolennikiem myślenia według pierwszych zasad. W jaki sposób kształtuje to Twój sposób myślenia o prowadzeniu Lemurian Labs?

Zdecydowanie w Lemurian stosujemy wiele pierwszych zasad myślenia. Zawsze uważałem, że konwencjonalna mądrość wprowadza w błąd, ponieważ wiedza ta powstała w pewnym momencie, gdy obowiązywały pewne założenia, ale wszystko zawsze się zmienia i trzeba często ponownie testować założenia, szczególnie gdy żyje się w tak szybkim świecie. 

Często zadaję sobie pytania typu „wydaje się to naprawdę dobry pomysł, ale dlaczego to może nie zadziałać” lub „co musi być prawdą, aby to zadziałało” lub „co wiemy o prawdach absolutnych i jakie założenia przyjmujemy i dlaczego?” lub „dlaczego uważamy, że to konkretne podejście jest najlepszym sposobem rozwiązania tego problemu”. Celem jest unieważnienie i unicestwienie pomysłów tak szybko i tanio, jak to możliwe. Chcemy spróbować zmaksymalizować liczbę rzeczy, które wypróbowujemy w danym momencie. Chodzi o obsesję na punkcie problemu, który należy rozwiązać, a nie o to, która technologia jest najlepsza. Zbyt wielu ludzi ma tendencję do nadmiernego skupiania się na technologii, co kończy się niezrozumieniem problemów klientów i przeoczeniem zmian zachodzących w branży, co mogłoby unieważnić ich podejście, a w rezultacie niezdolność do przystosowania się do nowego stanu świata.

Jednak myślenie według pierwszych zasad samo w sobie nie jest zbyt przydatne. Mamy tendencję do łączenia tego z rzutowaniem wstecznym, co zasadniczo oznacza wyobrażenie sobie idealnego lub pożądanego przyszłego wyniku i pracę wstecz w celu zidentyfikowania różnych kroków lub działań niezbędnych do jego realizacji. Dzięki temu wypracujemy sensowne rozwiązanie, które będzie nie tylko innowacyjne, ale także oparte na rzeczywistości. Nie ma sensu spędzać czasu na wymyślaniu idealnego rozwiązania tylko po to, by zdać sobie sprawę, że nie da się go zbudować ze względu na różnorodne ograniczenia w świecie rzeczywistym, takie jak zasoby, czas, regulacje lub zbudowanie pozornie idealnego rozwiązania, ale później się o tym przekonasz sprawiliście, że klientom było to zbyt trudne do przyjęcia.

Co jakiś czas znajdujemy się w sytuacji, gdy musimy podjąć decyzję, ale nie mamy danych i w tym scenariuszu opieramy się na minimalnych testowalnych hipotezach, które dają nam sygnał, czy warto coś realizować przy jak najmniejszej kwocie wydatków energetycznych. 

Wszystko to razem zapewnia nam elastyczność i szybkie cykle iteracji umożliwiające szybkie zmniejszenie ryzyka elementów, a także pomogło nam z dużą pewnością dostosować strategie i osiągnąć duży postęp w przypadku bardzo trudnych problemów w bardzo krótkim czasie. 

Na początku byłeś skupiony krawędź AI, co spowodowało, że ponownie się skupiłeś i przerzuciłeś na przetwarzanie w chmurze?

Zaczęliśmy od sztucznej inteligencji na krawędzi, ponieważ w tamtym czasie byłem bardzo skupiony na próbie rozwiązania bardzo szczególnego problemu, z którym się spotkałem, próbując zapoczątkować świat autonomicznej robotyki ogólnego przeznaczenia. Robotyka autonomiczna zapowiada się na największą zmianę platformy w naszej wspólnej historii i wydawało się, że mamy wszystko, co potrzebne do zbudowania podstawowego modelu robotyki, ale brakowało nam idealnego układu wnioskowania zapewniającego odpowiednią równowagę przepustowości, opóźnień i efektywności energetycznej oraz programowalność w celu uruchomienia wspomnianego modelu podstawowego.

Nie myślałem wówczas o centrum danych, ponieważ skupiało się tam więcej niż wystarczająca liczba firm i spodziewałem się, że się tym zajmą. Zaprojektowaliśmy naprawdę potężną architekturę dla tej przestrzeni aplikacji i przygotowywaliśmy się do jej usunięcia, a potem stało się całkowicie jasne, że świat się zmienił, a problem naprawdę tkwił w centrum danych. Tempo, w jakim uczelnie LLM skalowały i zużywały moc obliczeniową, znacznie przewyższa tempo postępu w informatyce, a jeśli uwzględni się adopcję, obraz zaczyna być niepokojący. 

Wydawało się, że na tym powinniśmy skoncentrować nasze wysiłki, aby w jak największym stopniu obniżyć koszty energii sztucznej inteligencji w centrach danych, bez narzucania ograniczeń co do tego, gdzie i jak sztuczna inteligencja powinna ewoluować. Musimy zatem popracować nad rozwiązaniem tego problemu. 

Czy możesz podzielić się historią genezy współzałożyciela Lemurian Labs?

Historia zaczyna się na początku 2018 roku. Pracowałem nad wyszkoleniem podstawowego modelu autonomii ogólnego przeznaczenia wraz z modelem generatywnej symulacji wielofizycznej w celu przeszkolenia agenta i dostrojenia go do różnych zastosowań, a także nad kilkoma innymi rzeczami, które pomogą skalować do wielu -środowiska agentów. Jednak bardzo szybko wyczerpałem całą moc obliczeniową, jaką posiadałem i oszacowałem, że będę potrzebował ponad 20,000 100 procesorów graficznych VXNUMX. Próbowałem zebrać kwotę wystarczającą do uzyskania dostępu do mocy obliczeniowej, ale rynek nie był jeszcze gotowy na taką skalę. Jednak zmusiło mnie to do zastanowienia się nad kwestiami związanymi z wdrożeniem i usiadłem, aby obliczyć, ile wydajności będę potrzebował do obsługi tego modelu w środowiskach docelowych i zdałem sobie sprawę, że nie istnieje żaden chip, który mógłby mnie tam zapewnić. 

Kilka lat później, w 2020 r., spotkałem się z Vassilem – moim ewentualnym współzałożycielem – aby nadrobić zaległości i opowiedziałem o wyzwaniach, przez które przeszedłem, budując podstawowy model autonomii, a on zasugerował zbudowanie chipa wnioskowującego, który mógłby uruchomić podstawy modelu i powiedział, że dużo myślał o formatach liczb, a lepsze reprezentacje pomogłyby nie tylko w zapewnieniu, że sieci neuronowe zachowają dokładność przy niższych szerokościach bitowych, ale także w stworzeniu potężniejszych architektur. 

To był intrygujący pomysł, ale zupełnie nie w moim guście. Ale to mnie nie opuszczało, co doprowadziło mnie do spędzania miesięcy na nauce zawiłości architektury komputera, zestawów instrukcji, środowisk wykonawczych, kompilatorów i modeli programowania. W końcu budowanie firmy produkującej półprzewodniki zaczęło mieć sens i sformułowałem tezę dotyczącą tego, na czym polega problem i jak sobie z nim poradzić. A pod koniec roku rozpoczęliśmy Lemurian. 

Mówiłeś już wcześniej o konieczności zajęcia się oprogramowaniem w pierwszej kolejności podczas tworzenia sprzętu. Czy mógłbyś rozwinąć swoje poglądy na temat tego, dlaczego problem ze sprzętem jest przede wszystkim problemem z oprogramowaniem?

Wiele osób nie zdaje sobie sprawy, że oprogramowanie półprzewodników jest znacznie trudniejsze niż sam sprzęt. Budowanie użytecznej architektury komputerowej, z której klienci będą mogli korzystać i czerpać korzyści, to problem pełnego stosu, a jeśli nie będziesz mieć takiego zrozumienia i przygotowania, otrzymasz pięknie wyglądającą architekturę, która jest bardzo wydajna i wydajna, ale całkowicie bezużyteczny dla programistów, a to jest tak naprawdę ważne. 

Podejście oparte na oprogramowaniu ma oczywiście także inne zalety, takie jak krótszy czas wprowadzenia produktu na rynek. Ma to kluczowe znaczenie w dzisiejszym szybko zmieniającym się świecie, w którym zbyt optymistyczne podejście do architektury lub funkcji może oznaczać całkowite pominięcie rynku. 

Nieprzyjmowanie pierwszego spojrzenia na oprogramowanie zazwyczaj skutkuje brakiem wyśmiewania ważnych rzeczy wymaganych do przyjęcia produktu na rynku, brakiem możliwości reagowania na zmiany na rynku, na przykład gdy obciążenia ewoluują w nieoczekiwany sposób, oraz niedostatecznym wykorzystaniem sprzętu. Wszystko nie jest wspaniałe. To główny powód, dla którego tak bardzo zależy nam na skupieniu się na oprogramowaniu i dlatego naszym zdaniem nie można być firmą produkującą półprzewodniki, nie będąc naprawdę firmą zajmującą się oprogramowaniem. 

Czy możesz omówić swoje bezpośrednie cele w zakresie stosu oprogramowania?

Kiedy projektowaliśmy naszą architekturę i zastanawialiśmy się nad przyszłościowym planem działania oraz nad możliwościami zapewnienia większej wydajności i efektywności energetycznej, zaczęło staje się jasne, że zaobserwujemy znacznie większą heterogeniczność, co spowoduje wiele problemów na oprogramowaniu. Musimy nie tylko umieć produktywnie programować architektury heterogeniczne, ale musimy sobie z nimi poradzić w skali centrum danych, co stanowi wyzwanie, z jakim nie spotkaliśmy się wcześniej. 

To nas zaniepokoiło, ponieważ ostatni raz musieliśmy przejść poważną transformację, kiedy branża przeszła z architektury jednordzeniowej na wielordzeniową, a wtedy zajęło 10 lat, zanim oprogramowanie zaczęło działać i ludzie z niego korzystali. Nie możemy sobie pozwolić na czekanie 10 lat na opracowanie oprogramowania obsługującego heterogeniczność na dużą skalę; należy rozwiązać ten problem już teraz. Musimy więc popracować nad zrozumieniem problemu i tego, co musi istnieć, aby stos oprogramowania mógł istnieć. 

Obecnie współpracujemy z wieloma wiodącymi firmami zajmującymi się półprzewodnikami oraz dostawcami hiperskali/usług w chmurze i w ciągu najbliższych 12 miesięcy udostępnimy nasz stos oprogramowania. Jest to ujednolicony model programowania z kompilatorem i środowiskiem wykonawczym, który może być ukierunkowany na dowolny rodzaj architektury i koordynować pracę w klastrach składających się z różnych rodzajów sprzętu, a także umożliwia skalowanie od jednego węzła do klastra tysiąca węzłów w celu uzyskania najwyższej możliwej wydajności .

Dziękuję za wspaniały wywiad. Czytelnicy chcący dowiedzieć się więcej powinni odwiedzić nas Laboratoria lemuryjskie.