Etan Ginsberg, medgrundare av Martian – Intervjuserie

Etan Ginsberg är medgrundare av Martian, en plattform som dynamiskt dirigerar varje prompt till den bästa LLM. Genom dirigeringsfunktionen uppnår Martian högre prestanda och lägre kostnad än någon enskild leverantör, inklusive GPT-4. Systemet är byggt på företagets unika Model Mapping-teknologi som packar upp LLM från komplexa svarta lådor till en mer tolkningsbar arkitektur, vilket gör det till den första kommersiella tillämpningen av mekanistisk tolkbarhet.

Etan har kodat, designat webbplatser och byggt e-affärer för kunder sedan han gick i mellanstadiet. En polymath Etan är en tävlande i världsmästerskapen i minne och kom på andra plats i världsmästerskapen i snabbläsning i Shenzhen, Kina.

Han är en tävlande i vid hackathon. Tidigare utmärkelser inkluderar tredje pris på Tech Crunch SZ, topp 7-finalist på Princeton Hackathon och 3 branschutmärkelser på Yale Hackathon.

Du är en tidigare tvåfaldig startup-grundare, vad var dessa företag och vad lärde du dig av denna erfarenhet?

Mitt första företag var den första plattformen för främjande och utveckling av sporten American Ninja Warrior. År 2012 såg jag American Ninja Warrior som en underjordisk sport (liknande MMA på 90-talet) och skapade den första plattformen där människor kunde köpa ritningar, beställa hinder och hitta gym för att träna. Jag konsulterade för företag som ville starta sina egna gym, inklusive att hjälpa de amerikanska specialstyrkorna med en träningsbana och skala upp en anläggning från en skiss på en servett till 300 000 dollar i omsättning under de första tre månaderna. Även om jag var i high school, hade jag min första erfarenhet av att hantera team med 20+ arbetare och lärde mig om effektiv ledning och interpersonella relationer.

Mitt andra företag var ett alternativt tillgångsförvaltningsföretag som jag co-grundade 2017 innan ICO-vågen i krypto. Detta var min första exponering för NLP, där vi använde sentimentanalys av sociala mediedata som en investeringsstrategi.

Jag lärde mig många av de hårda och mjuka färdigheter som krävs för att driva ett startup – från hur man hanterar ett team till de tekniska aspekterna av NLP. Samtidigt lärde jag mig också mycket om mig själv och om vad jag ville arbeta med. Jag tror att de mest framgångsrika företagen startas av grundare som har en bredare vision eller mål som driver dem. Jag lämnade krypto 2017 för att fokusera på NLP, eftersom att förstärka och förstå mänsklighetens intelligens är något som verkligen driver mig. Jag var glad att upptäcka det.

Medan du gick på University of Pennsylvania, gjorde du någon AI-forskning, vad forskade du specifikt?

Vår forskning fokuserade ursprungligen på att bygga tillämpningar av LLM. Specifikt arbetade vi med utbildningstillämpningar av LLM och byggde den första LLM-drivna kognitiva handledaren. Resultaten var ganska bra – vi såg en förbättring på 0,3 standardavvikelser i elevresultat i den första experimenten – och vårt system har använts från University of Pennsylvania till University of Bhutan.

Kan du diskutera hur denna forskning sedan ledde dig till att co-grunda Martian?

Eftersom vi var några av de första personerna som byggde tillämpningar på toppen av LLM, var vi också några av de första personerna som stötte på problemen som människor möter när de bygger tillämpningar på toppen av LLM. Det guidade vår forskning mot infrastrukturlagret. Till exempel, ganska tidigt, fine-tunade vi mindre modeller på utdata från större modeller som GPT-3, och fine-tunade modeller på specialiserade datakällor för uppgifter som programmering och matematiklösning. Det ledde oss till problem om modellbeteende och modelldirigering.

Ursprunget till Martian-namnet och dess relation till intelligens är också intressant, kan du berätta om historien om hur detta namn valdes?

Vårt företag har fått sitt namn efter en grupp ungersk-amerikanska forskare kända som “The Martians“. Denna grupp, som levde på 1900-talet, bestod av några av de smartaste människorna som någonsin funnits:

• Den mest kända bland dem var John Von Neumann; han uppfann spelteori, den moderna datorarkitekturen, automatteori och gjorde grundläggande bidrag i dussintals andra områden.
• Paul Erdos var den mest produktiva matematikern genom tiderna, med över 1500 publicerade artiklar.
• Theodore Von Karman etablerade de grundläggande teorierna om aerodynamik och hjälpte till att grunda den amerikanska rymdprogrammet. Den av människor definierade gränsen mellan jorden och yttre rymden kallas “Kármán-linjen” till erkänsla för hans arbete.
• Leo Szilard uppfann atombomben, strålterapi och partikelacceleratorer.

Dessa forskare och 14 andra som dem (inklusive uppfinnaren av vätebomben, mannen som introducerade gruppteori i modern fysik och grundläggande bidragsgivare till områden som kombinatorik, talteori, numerisk analys och sannolikhetsteori) delade en anmärkningsvärd likhet – de alla var födda i samma del av Budapest. Det ledde människor att fråga: vad var källan till så mycket intelligens?

Som svar skämtade Szilard: “Martianerna är redan här, och de kallar sig ungrare!” I verkligheten… vet ingen.

Mänskligheten befinner sig i en liknande position idag med avseende på en ny uppsättning potentiellt superintelligenta sinnen: Artificiell intelligens. Människor vet att modeller kan vara otroligt smarta, men har ingen aning om hur de fungerar.

Vår mission är att besvara den frågan – att förstå och utnyttja modern superintelligens.

Du har en historia av otroliga minnesprestationer, hur blev du indragen i dessa minnesutmaningar och hur hjälpte denna kunskap dig med konceptet Martian?

I de flesta sporter kan en professionell idrottare prestera ca 2-3 gånger bättre än en genomsnittlig person (jämför hur långt en genomsnittlig person kan sparka ett field goal eller hur fort de kastar en fastball jämfört med en professionell). Minnesporter är fascinerande eftersom de bästa idrottarna kan memorera 100 gånger eller till och med 1000 gånger mer än en genomsnittlig person med mindre träning än de flesta sporter. Dessutom är dessa ofta människor med genomsnittligt naturligt minne som tillskriver sin prestation till specifika tekniker som alla kan lära sig. Jag vill maximera mänsklighetens kunskap, och jag såg världsmästerskapen i minne som en underapprecierad insikt i hur vi kan driva extraordinära avkastningar för att öka mänsklig intelligens.

Jag ville distribuera minnestekniker i hela utbildningssystemet, så jag började undersöka hur NLP och LLM kan hjälpa till att minska installationskostnaderna som förhindrar de mest effektiva utbildningsmetoderna från att användas i det vanliga utbildningssystemet. Yash och jag skapade den första LLM-drivna kognitiva handledaren, och det ledde oss till att upptäcka problemen med LLM-distribution som vi nu hjälper till att lösa idag.

Martian är i princip abstraherar bort beslutet om vilken Large Language Model (LLM) som ska användas, varför är detta för närvarande en sådan smärtpunkt för utvecklare?

Det blir allt enklare att skapa språkmodeller – kostnaden för beräkning minskar, algoritmerna blir mer effektiva och fler öppen källkod verktyg finns tillgängliga för att skapa dessa modeller. Som ett resultat skapar fler företag och utvecklare anpassade modeller som tränas på anpassad data. Eftersom dessa modeller har olika kostnader och förmågor kan du få bättre prestanda genom att använda flera modeller, men det är svårt att testa alla och hitta rätt modeller att använda. Vi tar hand om det för utvecklare.

Kan du diskutera hur systemet förstår vilken LLM som är bäst lämpad för varje specifik uppgift?

Att dirigera väl är i grunden ett problem om att förstå modeller. För att dirigera mellan modeller effektivt vill du kunna förstå vad som orsakar dem att misslyckas eller lyckas. Att kunna förstå dessa egenskaper med modell-kartläggning tillåter oss att bestämma hur väl en given modell kommer att prestera på en begäran utan att behöva köra den modellen. Som ett resultat kan vi skicka den begäran till den modell som kommer att producera det bästa resultatet.

Kan du diskutera den typ av kostnadsbesparingar som kan ses från att optimera vilken LLM som används?

Vi låter användare ange hur de vill avväga kostnad och prestanda. Om du bara bryr dig om prestanda kan vi överträffa GPT-4 på openai/evals. Om du letar efter en specifik kostnad för att göra din enhetsekonomi fungera, låter vi dig ange den maximala kostnaden för din begäran, sedan hittar vi den bästa modellen för att slutföra den begäran. Och om du vill ha något mer dynamiskt, låter vi dig ange hur mycket du är villig att betala för ett bättre svar – på så sätt, om två modeller har liknande prestanda men en stor skillnad i kostnad, kan vi låta dig använda den mindre dyra modellerna. Vissa av våra kunder har sett upp till 12 gånger minskning av kostnad.

Vad är din vision för Martian:s framtid?

Varje gång vi förbättrar vår grundläggande förståelse av modeller, resulterar det i ett paradigmskifte för AI. Fine-tuning var paradigm som drivs av förståelse av utdata. Prompting är paradigm som drivs av förståelse av indata. Den enskilda skillnaden i vår förståelse av modeller är mycket av vad som skiljer traditionell ML (“låt oss träna en regressor”) och modern generativ AI (“låt oss prompta en baby AGI”).

Vårt mål är att konsekvent leverera genombrott i tolkbarhet tills AI är fullständigt förstådd och vi har en teori om intelligens som är lika robust som våra teorier om logik eller kalkyl.

För oss betyder det att bygga. Det betyder att skapa awesome AI-verktyg och lägga dem i människors händer. Det betyder att släppa saker som bryter mot mönstret, som ingen har gjort tidigare, och som – mer än allt annat – är intressanta och användbara.

I Sir Francis Bacons ord, “Kunskap är makt”. Enligt det, är det bästa sättet att vara säker på att vi förstår AI att släppa kraftfulla verktyg. I vår åsikt är en modellrouter ett verktyg av den typen. Vi är ivriga att bygga det, växa det och lägga det i människors händer.

Detta är den första av många verktyg vi kommer att släppa under de kommande månaderna. För att upptäcka en vacker teori om artificiell intelligens, för att möjliggöra helt nya typer av AI-infrastruktur, för att hjälpa bygga en ljusare framtid för både människa och maskin – vi kan inte vänta med att dela dessa verktyg med er.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka Martian.