Etan Ginsberg, spoluzakladatel Martian – Interview Series

Etan Ginsberg je spoluzakladatel Martian, platformy, která dynamicky směruje každý prompt na nejlepší LLM. Díky směrování dosahuje Martian vyššího výkonu a nižších nákladů než jakýkoli jednotlivý poskytovatel, včetně GPT-4. Systém je postaven na unikátní technologii Model Mapping, která rozbaluje LLM z komplexních černých skříněk do více interpretovatelné architektury, což z něj činí první komerční aplikaci mechanistické interpretovatelnosti.

Etan kóduje, navrhuje webové stránky a buduje e-business pro klienty již od střední školy. Jako polymath je Etan soutěžícím v Mistrovství světa v paměti a umístil se na 2. místě na Mistrovství světa v rychlém čtení v Šen-čenu, Čína.

Je soutěžícím v hackathonu. Mezi jeho minulé ocenění patří 3. cena na Tech Crunch SZ, finalisté Top 7 na Princeton Hackathon a 3 průmyslová ocenění na Yale Hackathon.

Vy jste bývalý dvoukrát zakladatel startupu, jaké byly tyto společnosti a co jste se z této zkušenosti naučil?

Moje první společnost byla první platformou pro propagaci a rozvoj sportu American Ninja Warrior. V roce 2012 jsem považoval American Ninja Warrior za podzemní sport (podobně jako MMA v 90. letech) a vytvořil jsem první platformu, kde lidé mohli kupovat plány, objednávat překážky a najít tělocvičny pro trénink. Poradil jsem společnostem, které chtěly otevřít své vlastní tělocvičny, včetně pomoci americkým speciálním silám s tréninkovým kurzem a škálováním zařízení z náčrtku na 300 000 dolarů výnosu v prvních 3 měsících. Ačkoli jsem byl ve střední škole, měl jsem svou první zkušenost s řízením týmů o 20+ pracovnících a naučil se o efektivní správě a mezilidských vztazích.

Moje druhá společnost byla alternativní společnost pro správu aktiv, kterou jsem spoluzakládal v roce 2017 před vlnou ICO v kryptoměně. To byla moje první zkušenost s NLP, kde jsme použili sentimentální analýzu sociálních médií jako investiční strategii.

Naučil jsem se mnoho tvrdých a měkkých dovedností, které jsou zapotřebí pro řízení startupu – od toho, jak spravovat tým, až po technické aspekty NLP. Současně jsem se také banyak naučil o sobě a o tom, na čem chci pracovat. Věřím, že nejúspěšnější společnosti jsou zakládány zakladateli, kteří mají širší vizi nebo cíl, který je pohání. Opustil jsem kryptoměnu v roce 2017, abych se zaměřil na NLP, protože rozšíření a pochopení lidské inteligence je něco, co mě opravdu pohání. Byl jsem rád, že jsem to objevil.

Zatímco jste navštěvoval Univerzitu v Pensylvánii, prováděl jste some AI výzkum, co jste konkrétně zkoumal?

Naše výzkum původně zaměřen na budování aplikací LLM. Konkrétně jsme pracovali na vzdělávacích aplikacích LLM a budování prvního LLM-poháněného kognitivního učitele. Výsledky byly bastante dobré – viděli jsme zlepšení o 0,3 standardní odchylky ve studentských výsledcích v počátečním experimentu – a náš systém byl použit od Univerzity v Pensylvánii po Univerzitu v Bhutánu.

Můžete diskutovat o tom, jak vás tento výzkum vedl ke spoluzaložení Martian?

Protože jsme byli mezi prvními lidmi, kteří budují aplikace na vrcholu LLM, byli jsme také mezi prvními lidmi, kteří narazili na problémy, se kterými se setkávají lidé, kteří budují aplikace na vrcholu LLM. To nás vedlo k výzkumu směrem k infrastrukturní vrstvě. Například quite brzy jsme fine-tunovali menší modely na výstupech větších modelů, jako je GPT-3, a fine-tunovali modely na specializovaných datových zdrojích pro úkoly, jako je programování a řešení matematických problémů. To nás nakonec vedlo k problémům s chováním modelu a směrováním modelu.

Původ názvu Martian a jeho vztah k inteligenci je také zajímavý, můžete sdílet příběh o tom, jak byl tento název zvolen?

Naše společnost byla pojmenována po skupině maďarsko-amerických vědců známých jako “The Martians“. Tato skupina, která žila v 20. století, se skládala z některých z nejchytřejších lidí, kteří kdy žili:

• Nejznámější z nich byl John Von Neumann; vynalezl teorii her, moderní počítačovou architekturu, teorii automatů a udělal fundamentální příspěvky v desítkách dalších oblastí.
• Paul Erdos byl nejplodnějším matematikem všech dob, s více než 1500 publikovanými články.
• Theodore Von Karman založil fundamentální teorie aerodynamiky a pomohl založit americký kosmický program. Lidsky definovaná hranice mezi Zemí a vnějším prostorem se nazývá “Kármánova linie” na uznání jeho práce.
• Leo Szilard vynalezl atomovou bombu, radiační terapii a urychlovače částic.

Tito vědci a 14 dalších, jako jsou vynálezce vodíkové bomby, muž, který zavedl teorii grup do moderní fyziky, a fundamentální přispěvatelé do oblastí, jako je kombinatorika, teorie čísel, numerická analýza a teorie pravděpodobnosti, sdíleli pozoruhodnou podobnost – všichni se narodili ve stejné části Budapešti. To vedlo lidi k otázce: co je zdrojem tolik inteligence?

Jako odpověď Szilard žertem řekl, že “Marťané jsou již zde, a nazývají se Maďaři!” Ve skutečnosti… nikdo neví.

Lidstvo se nachází v podobné pozici dnes s ohledem na novou sadu potenciálně superinteligentních myslí: Umělá inteligence. Lidé ví, že modely mohou být neuvěřitelně chytré, ale nemají žádnou představu, jak fungují.

Naše mise je odpovědět na tuto otázku – pochopit a využít moderní superinteligenci.

Máte historii úžasných paměťových výkonů, jak jste se dostal do těchto paměťových soutěží a jak tato znalost pomohla s konceptem Martian?

Ve většině sportů může profesionální sportovec vykonat asi 2-3krát lépe než průměrný člověk (srovnání, jak daleko může průměrný člověk kopnout gól nebo jak rychle může hodit fastball ve srovnání s profesionálem). Paměťové sporty jsou fascinující, protože nejlepší sportovci mohou zapamatovat 100x nebo dokonce 1000x více než průměrný člověk s méně tréninkem než většina sportů. Navíc jsou to často lidé s průměrnou přirozenou pamětí, kteří připisují své výkony konkrétním technikám, které může naučit každý. Chci maximalizovat lidské znalosti a viděl jsem mistrovství světa v paměti jako nedocenění vhled do toho, jak můžeme dosáhnout mimořádných výsledků při zvyšování lidské inteligence.

Chtěl jsem nasadit paměťové techniky po celém vzdělávacím systému, a tak jsem začal zkoumat, jak NLP a LLM mohou pomoci snížit náklady na nastavení, které brání nejúčinnějším vzdělávacím metodám být použity v hlavním vzdělávacím systému. Yash a já vytvořili první LLM-poháněný kognitivní učitele a to nás vedlo k objevu problémů s nasazením LLM, které dnes pomáháme řešit.

Martian je v podstatě abstrakcí rozhodnutí, které velké jazykové modely (LLM) použít, proč je to目前 takový bolestivý bod pro vývojáře?

Stává se snadnějším vytvářet jazykové modely – náklady na výpočet se snižují, algoritmy se stávají efektivnějšími a více open-source nástrojů je k dispozici pro vytvoření těchto modelů. V důsledku toho více společností a vývojářů vytváří vlastní modely vyškolované na vlastních datech. Tyto modely mají různé náklady a schopnosti, a můžete získat lepší výkon pomocí více modelů, ale je obtížné je všechny otestovat a najít ty správné k použití. My se o to staráme za vývojáře.

Můžete diskutovat o tom, jak systém chápe, který LLM je nejlepší pro každou konkrétní úlohu?

Směrovat dobře je fundamentálně problém o pochopení modelů. Chcete-li směrovat mezi modely efektivně, chcete být schopni pochopit, co způsobuje jejich selhání nebo úspěch. Být schopni pochopit tyto charakteristiky s model-mapping umožňuje nám určit, jak dobře bude kterýkoli model fungovat na požadavku, aniž bychom museli spustit ten model. Jako výsledek, můžeme odeslat ten požadavek na model, který produkuje nejlepší výsledek.

Můžete diskutovat o typech úspor nákladů, které lze vidět z optimalizace, které LLM se používá?

Umožňujeme uživatelům specifikovat, jak obchodují mezi náklady a výkonem. Pokud se vám záleží pouze na výkonu, můžeme překonat GPT-4 na openai/evals. Pokud hledáte konkrétní náklady, aby vaše jednotková ekonomika fungovala, umožňujeme vám specifikovat maximální náklady pro váš požadavek, a pak najít nejlepší model pro dokončení toho požadavku. A pokud chcete něco více dynamického, umožňujeme vám specifikovat, kolik jste ochotni zaplatit za lepší odpověď – tím způsobem, pokud dva modely mají podobný výkon, ale velký rozdíl v nákladech, můžeme vám umožnit použít méně nákladný model. Někteří naši zákazníci viděli až 12x pokles nákladů.

Jaký je váš výhled do budoucnosti Martian?

Každýkrát, když zlepšujeme naše fundamentální pochopení modelů, vede to k paradigmatu pro AI. Fine-tuning byl paradigmatem poháněným pochopením výstupů. Prompting je paradigmatem poháněným pochopením vstupů. Ten jeden rozdíl v našem pochopení modelů je mnohem to, co odlišuje tradiční ML (“necháme trénovat regresor”) a moderní generativní AI (“necháme prompting baby AGI”).

Naším cílem je neustále doručovat průlomové objevy v interpretovatelnosti, dokud AI nebude plně pochopeno a budeme mít teorii inteligence tak robustní, jako naše teorie logiky nebo kalkulu.

Pro nás to znamená budování. Znamená to vytvářet skvělé AI nástroje a dávat je do rukou lidí. Znamená to uvolňování věcí, které láme formu, které nikdo předtím neudělal, a které – více než cokoliv jiného – jsou zajímavé a užitečné.

Ve slovech Sira Francise Bacona, “Znalost je moc”. Podle toho je nejlepší způsob, jak zajistit, že rozumíme AI, uvolnit mocné nástroje. Našem názoru je model router nástrojem tohoto druhu. Jsme nadšeni, že ho budujeme, rozvíjíme a dáváme do rukou lidí.

To je první z mnoha nástrojů, které budeme uvolňovat v příštích měsících. Abychom objevili krásnou teorii umělé inteligence, aby ermögňovali zcela nové typy AI infrastruktury, aby pomohli budovat jasnější budoucnost pro lidi i stroje – nemůžeme se dočkat, až tyto nástroje sdílíme s vámi.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Martian.