Etan Ginsberg, medgrunnlegger av Martian – Intervju-serie

Etan Ginsberg er medgrunnlegger av Martian, en plattform som dynamisk ruter hver prompt til den beste LLM. Gjennom ruting oppnår Martian høyere ytelse og lavere kostnad enn noen enkelt leverandør, inkludert GPT-4. Systemet er bygget på selskapets unike Model Mapping-teknologi som pakker ut LLM fra komplekse black boxes til en mer tolkbar arkitektur, og gjør det til den første kommersielle anvendelsen av mekanisk tolkbarhet.

Etan har kodet, designet nettsider og bygget e-bedrifter for kunder siden han var på middelskole. En polymath Etan er en verdensmester i minnekamp og kom på 2. plass i verdensmesterskapet i hurtiglesing i Shenzhen, Kina.

Han er en vid hackathon-konkurrent. Tidligere priser inkluderer 3. pris på Tech Crunch SZ, topp 7 finalist på Princeton Hackathon og 3 bransjepriser på Yale Hackathon.

Du er en tidligere to-ganger startup-grunnlegger, hva var disse selskapene og hva lærte du fra denne erfaringen?

Mitt første selskap var den første plattformen for fremme og utvikling av idretten American Ninja Warrior. Tilbake i 2012 så jeg på American Ninja Warrior som en undergrunnsidrett (liknende MMA på 90-tallet) og jeg lagde den første plattformen hvor folk kunne kjøpe blueprints, bestille hindringer og finne treningsstudioer. Jeg konsulterte for selskaper som ønsket å starte sine egne treningsstudioer, inkludert å hjelpe USAs spesialstyrker med en treningskurs og skalerer en fasilitet fra napkin-skisse til 300 000 dollar i omsetning i de første 3 månedene. Selv om jeg var på high school, hadde jeg min første erfaring med å lede lag på over 20 arbeidere og lærte om effektiv ledelse og mellompersonlige relasjoner.

Mitt andre selskap var et alternativt aksjeadministrasjonsselskap som jeg var medgrunnlegger av i 2017 før ICO-bølgen i krypto. Dette var min første erfaring med NLP hvor vi brukte sentimentanalyse av sosiale medier som en investeringsstrategi.

Jeg lærte mye av de harde og bløtte ferdighetene som går inn i å drive en startup — fra hvordan man leder et lag til de tekniske aspektene ved NLP. Samtidig lærte jeg mye om meg selv og om hva jeg ønsket å jobbe med. Jeg tror at de mest suksessfulle selskapene er startet av grunnleggere som har et bredere visjon eller mål som driver dem. Jeg forlot krypto i 2017 for å fokusere på NLP fordi å forbedre og forstå menneskehetens intelligens er noe som virkelig driver meg. Jeg var glad for å oppdage det.

Mens du gikk på University of Pennsylvania, gjorde du noen AI-forskning, hva forsket du spesifikt på?

Vår forskning fokuserte opprinnelig på å bygge applikasjoner av LLM. Spesifikt arbeidet vi med utdanningsapplikasjoner av LLM og bygde den første LLM-drevne kognitive veilederen. Resultatene var ganske bra – vi så en 0,3 standardavvik i forbedring av studentresultater i den første eksperimentasjonen – og vårt system har blitt brukt fra University of Pennsylvania til University of Bhutan.

Kan du diskutere hvordan denne forskningen ledet deg til å medgrunnlegge Martian?

Fordi vi var noen av de første menneskene som bygde applikasjoner på toppen av LLM, var vi også noen av de første menneskene som møtte problemene folk møter når de bygger applikasjoner på toppen av LLM. Det guidet vår forskning mot infrastruktur-laget. For eksempel, ganske tidlig var vi finjustering av mindre modeller på utdata fra større modeller som GPT-3, og finjustering av modeller på spesialiserte datasources for oppgaver som programmering og matematisk problemløsing. Det ledet oss til problemer om å forstå modellatferd og om modell-ruting.

Opphavet til Martian-navnet og dets forhold til intelligens er også interessant, kan du dele historien om hvordan dette navnet ble valgt?

Vårt selskap ble navngitt etter en gruppe ungarsk-amerikanske vitenskapsmenn kjent som “The Martians“. Denne gruppen, som levde i det 20. århundre, bestod av noen av de smarteste menneskene som noensinne har levd:

• Den mest berømte blant dem var John Von Neumann; han oppfant spillteori, moderne datamaskinarkitektur, automata-teori og bidro fundamentalt i dusinvis av andre felt.
• Paul Erdos var den mest produktive matematikeren gjennom alle tider, med over 1500 publikasjoner.
• Theodore Von Karman etablerte de grunnleggende teoriene om aerodynamikk og hjalp til å etablere det amerikanske romprogrammet. Den menneske-definerte grensen mellom jorden og verdensrommet er navngitt “Kármán-linjen” til ære for hans arbeid.
• Leo Szilard oppfant atomomben, stråleterapi og partikkelakseleratorer.

Disse vitenskapsmennene og 14 andre som dem (inkludert oppfinneren av hydrogenbomben, mannen som innførte gruppeteori i moderne fysikk og fundamentale bidragsytere til felt som kombinatorikk, tallteori, numerisk analyse og sannsynlighetsteori) delte en bemerkelsesverdig likhet – de alle var født i samme del av Budapest. Det ledet folk til å spørre: hva var kilden til så mye intelligens?

Som svar sa Szilard: “Martianerne er allerede her, og de kaller seg selv ungarske!” I virkeligheten… vet ingen.

Menneskeheten finner seg i en lignende posisjon i dag med hensyn til en ny gruppe potensielt overintelligente sinn: Kunstig intelligens. Folk vet at modellene kan være usedvanlig smarte, men har ingen ide om hvordan de fungerer.

Vår misjon er å svare på det spørsmålet – å forstå og utnytte moderne superintelligens.

Du har en historie med fantastiske minneprestasjoner, hvordan ble du involvert i disse minneutfordringene og hvordan hjalp denne kunnskapen deg med konseptet Martian?

I de fleste idretter kan en profesjonell utøver performe omkring 2-3 ganger bedre enn en gjennomsnittsperson (samlinger hvordan langt en gjennomsnittsperson kan sparke et feltmål eller hvor raskt de kaster en fastball sammenlignet med en profesjonell). Minnesport er fascinerende fordi topputøverne kan memorere 100 ganger eller til og med 1000 ganger mer enn en gjennomsnittsperson med mindre trening enn de fleste idretter. Dessuten er disse ofte mennesker med gjennomsnittlig naturlig minne som tilskriver deres prestasjon til spesifikke teknikker som alle kan lære. Jeg ønsker å maksimere menneskehetens kunnskap, og jeg så verdensmesterskapet i minne som en underverdig innsikt i hvordan vi kan drive ekstraordinære avkastninger ved å øke menneskehetens intelligens.

Jeg ønsket å deployere minneteknikker gjennom hele utdanningssystemet, så jeg begynte å utforske hvordan NLP og LLM kunne hjelpe med å redusere oppsett-kostnadene som forhindrer de mest effektive utdanningsmetodene fra å bli brukt i det vanlige utdanningssystemet. Yash og jeg skapte den første LLM-drevne kognitive veilederen, og det ledet oss til å oppdage problemene med LLM-utplassering som vi nå hjelper med å løse i dag.

Martian er essensielt å abstrahere bort beslutningen om hva Large Language Model (LLM) å bruke, hvorfor er dette for tiden så smertefullt for utviklere?

Det blir enklere og enklere å lage språkmodeller – kostnaden av beregning går ned, algoritmene blir mer effektive, og flere åpne kildeverktøy er tilgjengelige for å lage disse modellene. Som et resultat lager flere selskaper og utviklere egne modeller trent på egne data. Ettersom disse modellene har forskjellige kostnader og evner, kan du få bedre ytelse ved å bruke flere modeller, men det er vanskelig å teste dem alle og å finne de riktige å bruke. Vi tar hånd om det for utviklerne.

Kan du diskutere hvordan systemet forstår hva LLM er best brukt for hver spesifikke oppgave?

Å rute godt er fundamentalt et problem om å forstå modeller. For å rute mellom modeller effektivt, ønsker du å kunne forstå hva som får dem til å feile eller lykkes. Å være i stand til å forstå disse karakteristikkene med modell-kartlegging gjør det mulig for oss å bestemme hvor godt en given modell vil fungere på en forespørsel uten å måtte kjøre den modellen. Som et resultat kan vi sende den forespørselen til modellen som vil produsere det beste resultatet.

Kan du diskutere typen kostnadsbesparelse som kan sees fra å optimere hva LLM brukes?

Vi lar brukerne spesifisere hvordan de avveier mellom kostnad og ytelse. Hvis du bare bryr deg om ytelse, kan vi overgå GPT-4 på openai/evals. Hvis du ser etter en spesifik kostnad for å gjøre dine enhetsøkonomi fungere, lar vi deg spesifisere maks-kostnaden for din forespørsel, og finner den beste modellen for å fullføre den forespørselen. Og hvis du ønsker noe mer dynamisk, lar vi deg spesifisere hvor mye du er villig til å betale for et bedre svar – på den måten, hvis to modeller har lignende ytelse, men en stor forskjell i kostnad, kan vi la deg bruke den mindre kostbare modellen. Noen av våre kunder har sett opp til 12 ganger reduksjon i kostnad.

Hva er din visjon for fremtiden av Martian?

Hver gang vi forbedrer vår grunnleggende forståelse av modeller, resulterer det i en paradigmeskift for AI. Fine-tuning var paradigmet drevet av å forstå utdata. Prompting er paradigmet drevet av å forstå inndata. Den ene forskjellen i vår forståelse av modeller er mye av hva som skiller tradisjonell ML (“la oss trene en regressor”) og moderne generativ AI (“la oss prompte en baby AGI”).

Vår mål er å konsistent levere gjennombrudd i tolkbarhet til AI er fullstendig forstått og vi har en teori om intelligens like robust som våre teorier om logikk eller kalkulus.

For oss betyr det å bygge. Det betyr å skape fantastiske AI-verktøy og plassere dem i folks hender. Det betyr å slippe ut ting som bryter molden, som ingen har gjort før, og som – mer enn noe annet – er interessante og nyttige.

I ordene til Sir Francis Bacon, “Kunnskap er makt”. Derfor er den beste måten å være sikker på at vi forstår AI å slippe ut kraftfulle verktøy. I vår mening er en modell-ruter et verktøy av den typen. Vi er spente på å bygge det, vokse det og plassere det i folks hender.

Dette er den første av mange verktøy vi skal slippe ut i de kommende månedene. For å oppdage en vakker teori om kunstig intelligens, å aktivere helt nye typer AI-infrastruktur, å hjelpe bygge en lysere fremtid for både menneske og maskin – vi kan ikke vente med å dele disse verktøyene med deg.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Martian.