Etan Ginsberg, medgrundare av Martian – Intervju-serie

Etan Ginsberg är medgrundare av Martian, en plattform som dynamiskt dirigerar varje prompt till den bästa LLM. Genom dirigeringsfunktionen uppnår Martian högre prestanda och lägre kostnad än någon enskild leverantör, inklusive GPT-4. Systemet är byggt på företagets unika Model Mapping-teknik som packar upp LLM från komplexa svarta lådor till en mer tolkningsbar arkitektur, vilket gör det till den första kommersiella tillämpningen av mekanistisk tolkning.

Etan har kodat, designat webbplatser och byggt e-företag för kunder sedan han gick i mellanstadiet. En polymath Etan är en världsmästare i minnesutmaningar och kom på andra plats i världsmästerskapet i snabbläsning i Shenzhen, Kina.

Han är en tävlande i hackathon. Tidigare utmärkelser inkluderar tredje pris på Tech Crunch SZ, topp 7-finalist på Princeton Hackathon och 3 branschutmärkelser på Yale Hackathon.

Du är en tidigare tvåfaldig grundare av startup, vilka var dessa företag och vad lärde du dig av den erfarenheten?

Mitt första företag var den första plattformen för främjande och utveckling av sporten American Ninja Warrior. År 2012 såg jag American Ninja Warrior som en underjordisk sport (liknande MMA på 90-talet) och skapade den första plattformen där människor kunde köpa ritningar, beställa hinder och hitta gym för att träna. Jag konsulterade för företag som ville starta sina egna gym, inklusive att hjälpa de amerikanska specialstyrkorna med en träningskurs och skala upp en anläggning från en skiss på en servett till 300 000 dollar i omsättning under de första tre månaderna. Även om jag gick i high school, hade jag min första erfarenhet av att hantera team med 20+ arbetare och lärde mig om effektiv ledning och mellanmänskliga relationer.

Mitt andra företag var ett alternativt tillgångsförvaltningsföretag som jag co-grundade 2017, före ICO-vågen i krypto. Detta var min första exponering för NLP, där vi använde sentimentanalys av sociala medie-data som en investeringsstrategi.

Jag lärde mig många av de hårda och mjuka färdigheterna som krävs för att driva ett startup – från hur man hanterar ett team till de tekniska aspekterna av NLP. Samtidigt lärde jag mig också mycket om mig själv och om vad jag ville arbeta med. Jag tror att de mest framgångsrika företagen startas av grundare som har en bredare vision eller mål som driver dem. Jag lämnade krypto 2017 för att fokusera på NLP, eftersom att förstärka och förstå mänsklighetens intelligens är något som verkligen driver mig. Jag var glad att upptäcka det.

Under din tid på University of Pennsylvania gjorde du någon AI-forskning, vad forskade du specifikt?

Vår forskning fokuserade ursprungligen på att bygga tillämpningar av LLM. I synnerhet arbetade vi med utbildningsapplikationer av LLM och byggde den första LLM-aktiverade kognitiva handledaren. Resultaten var ganska bra – vi såg en förbättring på 0,3 standardavvikelse i studenternas resultat i den första experimentella studien – och vårt system har använts från University of Pennsylvania till University of Bhutan.

Kan du diskutera hur denna forskning sedan ledde dig till att co-grunda Martian?

Eftersom vi var några av de första personerna som byggde tillämpningar ovanpå LLM, var vi också några av de första personerna som stötte på problemen som människor möter när de bygger tillämpningar ovanpå LLM. Det guidade vår forskning mot infrastrukturlagret. Till exempel, ganska tidigt, fine-tunade vi mindre modeller på utdata från större modeller som GPT-3, och fine-tunade modeller på specialiserade datakällor för uppgifter som programmering och matematiklösning. Det ledde till slut till problem om modellbeteende och modell-dirigering.

Ursprunget till Martian-namnet och dess relation till intelligens är också intressant, kan du dela historien om hur detta namn valdes?

Vårt företag heter efter en grupp ungersk-amerikanska forskare kända som “The Martians“. Denna grupp, som levde på 1900-talet, bestod av några av de smartaste människorna som någonsin funnits:

• Den mest kända bland dem var John Von Neumann; han uppfann spelteori, den moderna datorarkitekturen, automatteori och bidrog väsentligt i dussintals andra områden.
• Paul Erdos var den mest produktiva matematikern genom tiderna, med över 1500 publicerade artiklar.
• Theodore Von Karman etablerade de grundläggande teorierna om aerodynamik och hjälpte till att grunda det amerikanska rymdprogrammet. Den av människor definierade gränsen mellan jorden och yttre rymden kallas “Kármán-linjen” till hans ära.
• Leo Szilard uppfann atombomben, strålbehandling och partikelfysik.

Dessa forskare och 14 andra som dem (inklusive uppfinnaren av vätebomben, mannen som introducerade gruppteori i modern fysik och grundläggande bidragsgivare till områden som kombinatorik, talteori, numerisk analys och sannolikhetslära) delade en anmärkningsvärd likhet – de var alla födda i samma del av Budapest. Det ledde människor att fråga: vad var källan till så mycket intelligens?

I svar, skämtade Szilard att “Martianerna är redan här, och de kallar sig själva ungrare!” I verkligheten… vet ingen.

Mänskligheten befinner sig i en liknande position idag med avseende på en ny uppsättning potentiellt superintelligenta sinnen: Artificiell Intelligens. Människor vet att modeller kan vara otroligt smarta, men har ingen aning om hur de fungerar.

Vår mission är att besvara den frågan – att förstå och utnyttja modern superintelligens.

Du har en historia av otroliga minnesprestationer, hur blev du involverad i dessa minnesutmaningar och hur hjälpte den kunskapen dig med konceptet Martian?

I de flesta sporter kan en professionell idrottsman prestera ungefär 2-3 gånger bättre än en genomsnittlig person (jämför hur långt en genomsnittlig person kan sparka ett mål eller hur fort de kastar en snabb boll jämfört med en professionell). Minnesporter är fascinerande eftersom de bästa idrottarna kan memorera 100 gånger eller till och med 1000 gånger mer än en genomsnittlig person med mindre träning än de flesta sporter. Dessutom är dessa ofta människor med genomsnittlig naturlig minnesförmåga som tillskriver sin prestation till specifika tekniker som vem som helst kan lära sig. Jag vill maximera mänsklighetens kunskap, och jag såg världsmästerskapet i minnesutmaningar som en underapprecierad insikt i hur vi kan driva extraordinära avkastningar och öka mänsklig intelligens.

Jag ville använda minnestekniker i hela utbildningssystemet, så jag började undersöka hur NLP och LLM kunde hjälpa till att minska installationskostnaderna som förhindrar de mest effektiva utbildningsmetoderna från att användas i det vanliga utbildningssystemet. Yash och jag skapade den första LLM-aktiverade kognitiva handledaren, och det ledde till att vi upptäckte problemen med LLM-distribution som vi nu hjälper till att lösa idag.

Martian är i princip abstraherad från beslutet om vilken stor språkmodell (LLM) som ska användas, varför är detta för närvarande en smärtpunkt för utvecklare?

Det blir allt enklare att skapa språkmodeller – kostnaden för beräkning minskar, algoritmerna blir mer effektiva och fler öppen källkodverktyg finns tillgängliga för att skapa dessa modeller. Som ett resultat skapar fler företag och utvecklare anpassade modeller som tränats på anpassad data. Eftersom dessa modeller har olika kostnader och förmågor kan man få bättre prestanda genom att använda flera modeller, men det är svårt att testa alla och hitta rätt modeller att använda. Vi tar hand om det för utvecklare.

Kan du diskutera hur systemet förstår vilken LLM som är bäst lämpad för varje specifik uppgift?

Att dirigera väl är i grunden ett problem om att förstå modeller. För att dirigera effektivt mellan modeller vill man kunna förstå vad som orsakar att de misslyckas eller lyckas. Att kunna förstå dessa egenskaper med modell-kartläggning tillåter oss att bestämma hur väl en given modell kommer att prestera på en begäran utan att behöva köra den modellen. Som ett resultat kan vi skicka den begäran till den modell som kommer att producera det bästa resultatet.

Kan du diskutera den typ av kostnadsbesparingar som kan ses från att optimera vilken LLM som används?

Vi låter användare ange hur de vill avväga kostnad och prestanda. Om du bara bryr dig om prestanda kan vi överträffa GPT-4 på openai/evals. Om du letar efter en specifik kostnad för att göra din enhets ekonomi fungera, låter vi dig ange den maximala kostnaden för din begäran, sedan hittar vi den bästa modellen för att slutföra den begäran. Och om du vill ha något mer dynamiskt, låter vi dig ange hur mycket du är villig att betala för ett bättre svar – på det sättet, om två modeller har liknande prestanda men en stor skillnad i kostnad, kan vi låta dig använda den mindre dyra modellen. Vissa av våra kunder har sett en minskning av kostnaderna med upp till 12 gånger.

Vad är din vision för Martians framtid?

Varje gång vi förbättrar vår grundläggande förståelse av modeller, resulterar det i ett paradigmskifte för AI. Fine-tuning var paradigmet driven av förståelse av utdata. Prompting är paradigmet driven av förståelse av indata. Den enskilda skillnaden i vår förståelse av modeller är mycket av vad som skiljer traditionell ML (“låt oss träna en regressor”) och modern generativ AI (“låt oss prompta en baby AGI”).

Vårt mål är att konsekvent leverera genombrott i tolkbarhet tills AI är fullständigt förstådd och vi har en teori om intelligens som är lika robust som våra teorier om logik eller kalkyl.

För oss betyder det att bygga. Det betyder att skapa fantastiska AI-verktyg och lägga dem i människors händer. Det betyder att släppa saker som bryter mot mönstret, som ingen har gjort tidigare, och som – mer än allt annat – är intressanta och användbara.

I Sir Francis Bacons ord, “Kunskap är makt”. Enligt oss är det bästa sättet att vara säker på att vi förstår AI att släppa kraftfulla verktyg. I vår åsikt är en modell-dirigerare ett verktyg av den typen. Vi är ivriga att bygga det, växa det och lägga det i människors händer.

Detta är den första av många verktyg som vi kommer att släppa under de kommande månaderna. För att upptäcka en vacker teori om artificiell intelligens, för att möjliggöra helt nya typer av AI-infrastruktur, för att hjälpa till att bygga en ljusare framtid för både människa och maskin – vi kan inte vänta med att dela dessa verktyg med er.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Martian.