Etan Ginsberg, spoluzakladatel Martian – Interview Series

Etan Ginsberg je spoluzakladatel Martian, platformy, která dynamicky směruje každou žádost na nejlepší LLM. Díky směrování dosahuje Martian vyššího výkonu a nižších nákladů než jakýkoli jednotlivý poskytovatel, včetně GPT-4. Systém je postaven na unikátní technologii Model Mapping, která rozbaluje LLM z komplexních černých skříněk do více interpretovatelné architektury, čímž se stává první komerční aplikací mechanistické interpretability.

Etan kóduje, navrhuje webové stránky a buduje e-businessy pro klienty již od střední školy. Jako polymath je Etan soutěžícím v Mistrovství světa v paměti a umístil se na 2. místě na Mistrovství světa v rychlém čtení v Šen-čenu, Číně.

Je také soutěžícím v hackathonu. Mezi jeho minulé ocenění patří 3. cena na Tech Crunch SZ, finalistka na Princeton Hackathon a 3 ceny na Yale Hackathon.

Jste bývalý zakladatel dvou startupů, jaké byly tyto společnosti a co jste se z této zkušenosti naučil?

Má první společnost byla první platformou pro propagaci a rozvoj sportu American Ninja Warrior. V roce 2012 jsem považoval American Ninja Warrior za podzemní sport (podobně jako MMA v 90. letech) a vytvořil jsem první platformu, kde lidé mohli kupovat plány, objednávat překážky a najít tělocvičny pro trénink. Poradil jsem společnostem, které chtěly otevřít své vlastní tělocvičny, včetně pomoci speciálním silám USA s tréninkovým kurzem a rozšiřováním zařízení z náčrtku na 300 000 dolarů příjmů v prvních třech měsících. Ačkoli jsem byl ve střední škole, měl jsem svou první zkušenost s řízením týmů o 20 a více pracovnících a naučil se o efektivní správě a mezilidských vztazích.

Má druhá společnost byla alternativní správa aktiv, kterou jsem spoluzaložil v roce 2017 před vlnou ICO v kryptoměně. To byla má první zkušenost s NLP, kde jsme používali sentimentální analýzu sociálních médií jako investiční strategii.

Naučil jsem se mnoho tvrdých a měkkých dovedností, které jsou potřebné pro řízení startupu – od toho, jak řídit tým, až po technické aspekty NLP. Zároveň jsem se také banyak naučil o sobě a o tom, na čem chci pracovat. Věřím, že nejúspěšnější společnosti jsou zakládány zakladateli, kteří mají širší vizi nebo cíl, který je pohání. Opustil jsem kryptoměnu v roce 2017, abych se soustředil na NLP, protože zdokonalování a pochopení lidské inteligence je něco, co mě opravdu pohání. Byl jsem rád, že jsem to objevil.

Zatímco jste navštěvoval Univerzitu v Pensylvánii, prováděl jste some výzkum v oblasti AI, o čem konkrétně šlo?

Naše výzkum se původně zaměřoval na budování aplikací LLM. Konkrétně jsme pracovali na vzdělávacích aplikacích LLM a budování prvního LLM-poháněného kognitivního učitele. Výsledky byly bastante dobré – viděli jsme zlepšení studentů o 0,3 standardní odchylky v počátečním experimentu – a náš systém byl použit od Univerzity v Pensylvánii po Univerzitu v Bhútánu.

Můžete diskutovat, jak vás tento výzkum vedl ke spoluzaložení Martian?

Protože jsme byli mezi prvními lidmi, kteří budují aplikace na základě LLM, byli jsme také mezi prvními lidmi, kteří narazili na problémy, kterým čelí lidé, kteří budují aplikace na základě LLM. To nás vedlo k tomu, aby naše výzkum směřoval k infrastrukturní vrstvě. Například quite brzy jsme fine-tunovali menší modely na výstupech větších modelů, jako je GPT-3, a fine-tunovali modely na specializovaných datových zdrojích pro úkoly, jako je programování a řešení matematických problémů. To nás nakonec vedlo k problémům s chováním modelu a směrováním modelu.

Původ jména Martian a jeho vztah k inteligenci je také zajímavý, můžete sdílet příběh o tom, jak bylo toto jméno vybráno?

Naše společnost byla pojmenována po skupině maďarsko-amerických vědců známých jako „Martian“. Tato skupina, která žila v 20. století, se skládala z některých z nejchytřejších lidí, kteří kdy žili:

• Nejznámější z nich byl John Von Neumann; vynalezl teorii her, moderní architekturu počítačů, teorii automatů a udělal fundamentální příspěvky v desítkách dalších oblastí.
• Paul Erdos byl nejplodnějším matematikem všech dob, s více než 1500 články.
• Theodore Von Karman založil fundamentální teorie aerodynamiky a pomohl založit americký kosmický program. Lidsky definovaná hranice mezi Zemí a vnějším prostorem se nazývá “Kármán line” na jeho počest.
• Leo Szilard vynalezl atomovou bombu, radiační terapii a urychlovače částic.

Tito vědci a 14 dalších, jako je vynálezce vodíkové bomby, muž, který zavedl grupovou teorii do moderní fyziky, a fundamentální přispěvatelé do oblastí, jako je kombinatorika, teorie čísel, numerická analýza a teorie pravděpodobnosti, sdíleli pozoruhodnou podobnost – všichni se narodili ve stejné části Budapešti. To vedlo lidi k otázce: co je zdrojem takové inteligence?

Na odpověď Szilard žertem řekl, že “Martiané jsou již zde a nazývají se Maďaři!” Ve skutečnosti… nikdo neví.

Lidstvo se nachází v podobné situaci dnes s ohledem na novou sadu potenciálně superinteligentních myslí: Umělá inteligence. Lidé ví, že modely mohou být neuvěřitelně chytré, ale nevědí, jak fungují.

Náš cíl je zodpovědět tuto otázku – pochopit a využít moderní superinteligenci.

Máte historii úžasných paměťových výkonů, jak jste se dostal do těchto paměťových soutěží a jak vám tato znalost pomohla s konceptem Martian?

V meisten sportech může profesionální sportovec vykonat o 2-3krát lépe než průměrný člověk (srovnejte, jak daleko průměrný člověk může kopnout gól nebo jak rychle hází rychlý míč ve srovnání s profesionálem). Paměťové sporty jsou fascinující, protože nejlepší sportovci mohou zapamatovat 100x nebo dokonce 1000x více než průměrný člověk s méně tréninkem než většina sportů. Navíc jsou to často lidé s průměrnou přirozenou pamětí, kteří připisují své výkony konkrétním technikám, které může každý naučit. Chci maximalizovat lidské znalosti a viděl jsem mistrovství světa v paměti jako podceňovaný vhled do toho, jak můžeme zvýšit mimořádné návraty zvyšováním lidské inteligence.

Chtěl jsem nasadit paměťové techniky po celém vzdělávacím systému, a tak jsem začal zkoumat, jak NLP a LLM mohou pomoci snižovat náklady na nastavení, které brání nejúčinnějším vzdělávacím metodám být použity ve mainstreamovém vzdělávacím systému. Yash a já vytvořili první LLM-poháněný kognitivní učitele a to nás vedlo k tomu, aby jsme objevili problémy s nasazením LLM, které dnes pomáháme řešit.

Martian je vlastně abstrakcí rozhodnutí, které velké jazykové modely (LLM) použít, proč je to目前 takový bolestivý bod pro vývojáře?

Stává se stále snadnějším vytvářet jazykové modely – náklady na výpočet se snižují, algoritmy se stávají efektivnějšími a více open-source nástrojů je k dispozici pro vytváření těchto modelů. Jako výsledek, více společností a vývojářů vytváří vlastní modely trénované na vlastních datech. Tyto modely mají různé náklady a schopnosti, a můžete získat lepší výkon pomocí více modelů, ale je obtížné je všechny otestovat a najít ty správné k použití. My se o to staráme za vývojáře.

Můžete diskutovat, jak systém chápe, který LLM je nejlepší pro každou konkrétní úlohu?

Směrovat dobře je fundamentálně problém o pochopení modelů. Chcete-li směrovat mezi modely efektivně, chcete být schopni pochopit, co způsobuje jejich selhání nebo úspěch. Být schopni pochopit tyto charakteristiky s model-mappingem nám umožňuje určit, jak dobře kterýkoli model bude fungovat na žádosti, aniž bychom museli spustit ten model. Jako výsledek, můžeme poslat tu žádost modelu, který bude produkovat nejlepší výsledek.

Můžete diskutovat, jaký typ úspor nákladů lze vidět z optimalizace LLM, které se používají?

Povolíme uživatelům specifikovat, jak obchodují mezi náklady a výkonem. Pokud se vám záleží pouze na výkonu, můžeme překonat GPT-4 na openai/evals. Pokud hledáte konkrétní náklady, aby vaše ekonomika fungovala, povolíme vám specifikovat maximální náklady pro vaši žádost, a pak najít nejlepší model pro dokončení té žádosti. A pokud chcete něco dynamičtějšího, povolíme vám specifikovat, kolik jste ochotni zaplatit za lepší odpověď – tím způsobem, pokud dva modely mají podobný výkon, ale velký rozdíl v nákladech, můžeme vám umožnit použít méně nákladný model. Některým z našich zákazníků se podařilo snížit náklady až o 12krát.

Jaký je váš výhled do budoucnosti Martian?

Každýkrát, když zlepšujeme naše fundamentální pochopení modelů, vede to k paradigmatu pro AI. Fine-tuning byl paradigma poháněný pochopením výstupů. Prompting je paradigma poháněné pochopením vstupů. Ten rozdíl v našem pochopení modelů je mnohem to, co odlišuje tradiční ML („trénujeme regresor“) a moderní generativní AI („promptujeme baby AGI“).

Náš cíl je neustále dodávat průlomové objevy v interpretability, dokud AI nebude plně pochopeno a budeme mít teorii inteligence tak robustní, jako naše teorie logiky nebo kalkulu.

To pro nás znamená budování. Znamená to vytvářet skvělé AI nástroje a dávat je lidem do rukou. Znamená to uvolňování věcí, které láme formu, které nikdo předtím neudělal, a které – více než cokoliv jiného – jsou zajímavé a užitečné.

V slova Sira Francise Bacona, „Znalost je moc“. Podle toho je nejlepší způsob, jak být jistý, že rozumíme AI, uvolňovat mocné nástroje. Naším názorem je, že model router je nástroj tohoto druhu. Jsme nadšeni ho budovat, rozšiřovat a dávat lidem do rukou.

Toto je první z mnoha nástrojů, které budeme uvolňovat v příštích měsících. Abychom objevili krásnou teorii umělé inteligence, aby jsme mohli povolit zcela nové typy AI infrastruktury, aby jsme mohli pomoci budovat jasnější budoucnost pro lidi i stroje – nemůžeme se dočkat, až budeme moci sdílet tyto nástroje s vámi.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Martian.