Etan Ginsberg, współzałożyciel Martian – seria wywiadów

Etan Ginsberg jest współzałożycielem Martian, platformy, która dynamicznie kieruje każde żądanie do najlepszego LLM. Dzięki routingu Martian osiąga wyższą wydajność i niższy koszt niż jakikolwiek pojedynczy dostawca, w tym GPT-4. System jest zbudowany na unikalnej technologii Model Mapping, która rozpakowuje LLM z złożonych czarnych skrzynek w bardziej interpretowalną architekturę, czyniąc ją pierwszym komercyjnym zastosowaniem interpretowalności mechanistycznej.

Etan koduje, projektuje strony internetowe i buduje e-biznesy dla klientów od czasów szkoły średniej. Polimata Etan jest uczestnikiem Mistrzostw Świata w Pamięci i zajął 2. miejsce w Mistrzostwach Świata w Szybkim Czytaniu w Shenzhen, Chinach.

Jest on uczestnikiem hackathonu. W przeszłości otrzymał nagrody, w tym 3. nagrodę na Tech Crunch SZ, finalistę top 7 na Princeton Hackathon i 3 nagrody przemysłowe na Yale Hackathon.

Jesteś byłym dwukrotnym założycielem startupu, jakie były te firmy i co nauczyłeś się z tego doświadczenia?

Moja pierwsza firma była pierwszą platformą dla promocji i rozwoju sportu American Ninja Warrior. W 2012 roku widziałem American Ninja Warrior jako podziemny sport (podobny do MMA w latach 90.) i stworzyłem pierwszą platformę, na której ludzie mogli kupić plany, zamówić przeszkody i znaleźć sale do treningu. Doradzałem firmom, które chciały otworzyć własne sale, w tym pomagałem amerykańskim siłom specjalnym w tworzeniu kursu treningowego i skalowałem obiekt od szkicu na serwetce do 300 000 dolarów przychodu w pierwszych 3 miesiącach. Chociaż byłem w szkole średniej, miałem pierwsze doświadczenie w zarządzaniu zespołem 20+ pracowników i nauczyłem się skutecznego zarządzania i relacji międzyludzkich.

Moja druga firma była firmą zarządzającą aktywami alternatywnymi, której byłam współzałożycielem w 2017 roku, przed falą ICO w kryptowalutach. To było moje pierwsze doświadczenie z NLP, gdzie używaliśmy analizy sentymentu danych z mediów społecznościowych jako strategii inwestycyjnej.

Nauczyłem się wielu twardych i miękkich umiejętności, które są niezbędne do prowadzenia startupu – od zarządzania zespołem po techniczne aspekty NLP. Równocześnie nauczyłem się także wiele o sobie i o tym, nad czym chcę pracować. Uważam, że najbardziej udane firmy są zakładane przez założycieli, którzy mają szerszą wizję lub cel, który ich napędza. Opuściłem kryptowaluty w 2017 roku, aby skoncentrować się na NLP, ponieważ uzupełnianie i zrozumienie ludzkiej inteligencji jest czymś, co mnie naprawdę pociąga. Byłem rad, że odkryłem to.

Prowadziłeś badania nad AI na Uniwersytecie Pensylwanii, co konkretnie badałeś?

Nasze badania pierwotnie koncentrowały się na budowaniu aplikacji LLM. W szczególności pracowaliśmy nad aplikacjami edukacyjnymi LLM i budowaliśmy pierwszego nauczyciela kognitywnego zasilanego LLM. Wyniki były dość dobre – widzieliśmy poprawę o 0,3 standardowego odchylenia w wynikach uczniów w początkowych eksperymentach – a nasz system jest używany od Uniwersytetu Pensylwanii do Uniwersytetu Bhutanu.

Czy możesz omówić, jak to badanie doprowadziło Cię do współzałożenia Martian?

Ponieważ byliśmy jednymi z pierwszych ludzi, którzy budowali aplikacje na podstawie LLM, byliśmy także jednymi z pierwszych ludzi, którzy spotkali się z problemami, z którymi borykają się ludzie, którzy budują aplikacje na podstawie LLM. To skierowało nasze badania w stronę warstwy infrastrukturalnej. Na przykład, już na wczesnym etapie, doskonaliliśmy mniejsze modele na danych wyjściowych większych modeli, takich jak GPT-3, i doskonaliliśmy modele na specjalistycznych źródłach danych do zadań, takich jak programowanie i rozwiązywanie problemów matematycznych. To ostatecznie doprowadziło nas do problemów związanych z zrozumieniem zachowania modelu i routingu modelu.

Pochodzenie nazwy Martian i jej związek z inteligencją jest również interesujące, możesz opowiedzieć o historii, jak ta nazwa została wybrana?

Nasza firma została nazwana na cześć grupy węgiersko-amerykańskich naukowców znanych jako „The Martians”. Ta grupa, która żyła w XX wieku, składała się z jednych z najbardziej inteligentnych ludzi, jakich kiedykolwiek było:

• Najbardziej znanym z nich był John Von Neumann; wynalazł teorię gier, nowoczesną architekturę komputera, teorię automatyki i wniósł podstawowe wkład w dziesiątki innych dziedzin.
• Paul Erdos był najbardziej płodnym matematykiem wszech czasów, opublikował ponad 1500 prac.
• Theodore Von Karman ustanowił podstawowe teorie aerodynamiki i pomógł założyć amerykański program kosmiczny. Ludzkością zdefiniowana granica między Ziemią a przestrzenią kosmiczną nazywa się „linią Karmana” w uznaniu jego pracy.
• Leo Szilard wynalazł bombę atomową, radioterapię i przyspieszacze cząstek.

Ci naukowcy i 14 innych, podobnych do nich (w tym wynalazcę bomby wodorowej, człowieka, który wprowadził teorię grup do nowoczesnej fizyki, i podstawowych współtwórców dziedzin, takich jak kombinatoryka, teoria liczb, analiza numeryczna i teoria prawdopodobieństwa) dzielili się godną uwagi podobieństwem – wszyscy urodzili się w tej samej części Budapesztu. To skłoniło ludzi do pytania: co jest źródłem tak wielkiej inteligencji?

W odpowiedzi Szilard żartował, że „Marzianie są już tutaj, i nazywają się Węgrami!” W rzeczywistości… nikt nie wie.

Ludzkość znajduje się w podobnej sytuacji dzisiaj w odniesieniu do nowego zestawu potencjalnie superinteligentnych umysłów: Sztucznej Inteligencji. Ludzie wiedzą, że modele mogą być niesamowicie inteligentne, ale nie mają pojęcia, jak one działają.

Naszym celem jest odpowiedź na to pytanie – zrozumieć i wykorzystać nowoczesną superinteligencję.

Masz historię niesamowitych wyczynów pamięciowych, jak się w to zaangażowałeś i jak ta wiedza pomogła Ci w konceptualizacji Martian?

W większości sportów profesjonalny sportowiec może wykonywać o 2-3 razy lepiej niż przeciętny człowiek (porównaj, jak daleko przeciętny człowiek może kopnąć piłkę lub jak szybko może rzucić piłkę w porównaniu z profesjonalistą). Sporty pamięciowe są fascynujące, ponieważ najlepsi sportowcy mogą zapamiętać 100 razy lub nawet 1000 razy więcej niż przeciętny człowiek z mniejszym treningiem niż większość sportów. Co więcej, są to często ludzie ze średnią pamięcią, którzy przypisują swoje wyniki konkretnym technikom, które każdy może nauczyć się.

Chcę maksymalizować ludzką wiedzę i widzę mistrzostwa świata w pamięci jako niedoceniony wgląd w to, jak możemy osiągnąć nadzwyczajne rezultaty, zwiększając ludzką inteligencję.

Chciałem wdrożyć techniki pamięci w całym systemie edukacji, więc zacząłem badać, jak NLP i LLM mogą pomóc w zmniejszeniu kosztów ustawienia, które uniemożliwiają większości najbardziej skutecznych metod edukacyjnych używanie w głównym strumieniu systemu edukacji. Yash i ja stworzyliśmy pierwszego nauczyciela kognitywnego zasilanego LLM i to doprowadziło nas do odkrycia problemów z wdrożeniem LLM, które teraz pomagamy rozwiązać.

Martian jest podstawowo abstrakcją decyzji, jaki Duży Model Językowy (LLM) użyć, dlaczego jest to obecnie tak bolączka dla deweloperów?

Staje się coraz łatwiej tworzyć modele językowe – koszt obliczeń maleje, algorytmy stają się bardziej wydajne, a więcej narzędzi open source jest dostępnych do tworzenia tych modeli. W wyniku tego więcej firm i deweloperów tworzy niestandardowe modele szkolone na niestandardowych danych. Ponieważ te modele mają różne koszty i możliwości, możesz uzyskać lepszą wydajność, używając wielu modeli, ale trudno jest je wszystkie przetestować i znaleźć odpowiednie do użycia. My zajmujemy się tym za deweloperów.

Czy możesz omówić, jak system rozumie, który LLM jest najlepszy do konkretnego zadania?

Dobrze route’owanie jest podstawowo problemem zrozumienia modeli. Aby efektywnie route’ować między modelami, chcesz być w stanie zrozumieć, co powoduje ich awarie lub sukces. Zrozumienie tych cech za pomocą model-mapping pozwala nam określić, jak dobrze dany model będzie działał na żądaniu, bez konieczności uruchamiania tego modelu. W rezultacie możemy wysłać to żądanie do modelu, który wyprodukuje najlepszy wynik.

Czy możesz omówić rodzaj oszczędności kosztów, które można uzyskać, optymalizując, jaki LLM jest używany?

Pozwalamy użytkownikom określić, jak równoważą koszt i wydajność. Jeśli tylko dbasz o wydajność, możemy przewyższyć GPT-4 na openai/evals. Jeśli szukasz określonego kosztu, aby Twoja ekonomia była opłacalna, pozwalamy Ci określić maksymalny koszt dla Twojego żądania, a następnie znajdujemy najlepszy model do wykonania tego żądania. A jeśli chcesz coś bardziej dynamicznego, pozwalamy Ci określić, ile jesteś w stanie zapłacić za lepszą odpowiedź – w ten sposób, jeśli dwa modele mają podobną wydajność, ale dużą różnicę w kosztach, możemy pozwolić Ci użyć mniej kosztownych modeli. Niektórzy z naszych klientów widzieli nawet do 12-krotny spadek kosztów.

Jaki jest Twój wizja przyszłości Martian?

Każdy raz, gdy poprawiamy nasze fundamentalne zrozumienie modeli, skutkuje to zmianą paradygmatu dla AI. Dostrajanie było paradygmatem napędzanym przez zrozumienie danych wyjściowych. Wyzwalanie jest paradygmatem napędzanym przez zrozumienie danych wejściowych. Ta jedyna różnica w naszym zrozumieniu modeli jest dużą częścią tego, co różni tradycyjne ML („pozwólmy trenować regresor”) i nowoczesne generatywne AI („pozwólmy wyzwolić baby AGI”).

Naszym celem jest dostarczanie przełomowych osiągnięć w interpretowalności, aż AI będzie w pełni zrozumiane i będziemy mieć teorię inteligencji tak solidną, jak nasze teorie logiki lub rachunku.

Dla nas oznacza to budowanie. Oznacza tworzenie niesamowitych narzędzi AI i umieszczanie ich w rękach ludzi. Oznacza wydawanie rzeczy, które łamią formę, które nikt nie zrobił wcześniej, i które – więcej niż cokolwiek innego – są interesujące i użyteczne.

W słowach sir Francis Bacon, „Wiedza to potęga”. Stąd najlepszym sposobem, aby być pewnym, że rozumiemy AI, jest wydawanie potężnych narzędzi. Naszym zdaniem, router modelu jest narzędziem tego rodzaju. Jesteśmy podekscytowani budowaniem go, rozwijaniem i umieszczaniem w rękach ludzi.

To jest pierwsze z wielu narzędzi, które będziemy wydawać w nadchodzących miesiącach. Aby odkryć piękną teorię sztucznej inteligencji, aby umożliwić całkowicie nowe typy infrastruktury AI, aby pomóc zbudować jaśniejszą przyszłość dla ludzi i maszyn – nie możemy się doczekać, aby podzielić się tymi narzędziami z Tobą.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Martian.