Etan Ginsberg, medgrunnlegger av Martian – Intervju-serie

Etan Ginsberg er medgrunnlegger av Martian, en plattform som dynamisk ruter hver forespørsel til den beste LLM. Gjennom ruting oppnår Martian høyere ytelse og lavere kostnad enn noen enkelt leverandør, inkludert GPT-4. Systemet er bygget på selskapets unike Model Mapping-teknologi som pakker ut LLM fra komplekse black boxes til en mer tolkbar arkitektur, og gjør det til den første kommersielle anvendelsen av mekanistisk tolkbarhet.

Etan har kodet, designet nettsider og bygget e-forretninger for kunder siden han var i ungdomsskolen. En polymath Etan er en verdensmester i minnekamp og kom på andreplass i verdensmesterskapet i hurtiglesing i Shenzhen, Kina.

Han er en deltaker i vid hackathon. Tidligere priser inkluderer 3. plass på Tech Crunch SZ, topp 7 finalist på Princeton Hackathon og 3 bransjepriser på Yale Hackathon.

Du er en tidligere to-ganger grunnlegger av startup, hva var disse selskapene og hva lærte du av denne erfaringen?

Mitt første selskap var den første plattformen for fremme og utvikling av sporten American Ninja Warrior. Tilbake i 2012 så jeg American Ninja Warrior som en undergrunnssport (liknende MMA på 90-tallet) og jeg lagde den første plattformen hvor folk kunne kjøpe blåkopier, bestille hindringer og finne treningsstudioer. Jeg konsulterte for selskaper som ønsket å starte sine egne studioer, inkludert å hjelpe USAs spesialstyrker med en treningskurs og skalerer en fasilitet fra en skisse til 300 000 dollar i omsetning i de første 3 månedene. Selv om jeg var på high school, hadde jeg min første erfaring med å lede lag på over 20 arbeidere og lærte om effektivt lederskap og mellommenneskelige relasjoner.

Mitt andre selskap var et alternativt aksjeadministrasjonsselskap som jeg var med å grunnlegge i 2017 før ICO-bølgen i krypto. Dette var min første erfaring med NLP, hvor vi brukte sentimentanalyse av sosiale medier som en investeringsstrategi.

Jeg lærte mye av de harde og bløtte ferdighetene som går med å drive en startup – fra hvordan man leder et lag til de tekniske aspektene ved NLP. Samtidig lærte jeg også mye om meg selv og om hva jeg ønsket å jobbe med. Jeg tror at de mest suksessfulle selskapene er startet av grunnleggere som har en bredere visjon eller mål som driver dem. Jeg forlot krypto i 2017 for å fokusere på NLP fordi å forbedre og forstå menneskehetens intelligens er noe som virkelig driver meg. Jeg var glad for å oppdage det.

Mens du gikk på University of Pennsylvania, gjorde du noen AI-forskning, hva forsket du spesifikt på?

Vår forskning fokuserte opprinnelig på å bygge applikasjoner av LLM. Spesifikt arbeidet vi med utdanningsapplikasjoner av LLM og bygde den første LLM-drevne kognitiv lærer. Resultatene var ganske gode – vi så en forbedring på 0,3 standardavvik i elevresultater i de første eksperimentene – og vårt system har blitt brukt fra University of Pennsylvania til University of Bhutan.

Kan du diskutere hvordan denne forskningen ledet deg til å grunnlegge Martian?

Fordi vi var noen av de første som bygde applikasjoner på toppen av LLM, var vi også noen av de første som møtte problemene folk har når de bygger applikasjoner på toppen av LLM. Det ledet vår forskning mot infrastruktur-laget. For eksempel, var vi tidlig ute med å finjustere mindre modeller på utdata fra større modeller som GPT-3, og finjustere modeller på spesialiserte datakilder for oppgaver som programmering og matematisk problemløsing. Det ledet oss til problemer om å forstå modellatferd og om modellruting.

Opphavet til Martian-navnet og dens relasjon til intelligens er også interessant, kan du dele historien om hvordan dette navnet ble valgt?

Vårt selskap ble navngitt etter en gruppe ungarsk-amerikanske vitenskapsmenn kjent som “The Martians“. Denne gruppen, som levde på 1900-tallet, bestod av noen av de smarteste menneskene som noensinne har levd:

• Den mest berømte blant dem var John Von Neumann; han oppfant spillteori, moderne datamaskinarkitektur, automata-teori og bidro fundamentalt i dusinvis av andre felt.
• Paul Erdos var den mest produktive matematikeren gjennom tidene, med over 1500 publikasjoner.
• Theodore Von Karman etablerte de grunnleggende teoriene om aerodynamikk og hjalp til å etablere det amerikanske romprogrammet. Den menneske-definerte grensen mellom jorden og verdensrommet er navngitt “Kármán-linjen” til ære for hans arbeid.
• Leo Szilard oppfant atomomben, stråleterapi og partikkelakseleratorer.

Disse vitenskapsmennene og 14 andre like dem (inkludert oppfinneren av hydrogenbomben, mannen som innførte gruppeteori i moderne fysikk og fundamentale bidragsytere til felt som kombinatorikk, tallteori, numerisk analyse og sannsynlighetsteori) delte en bemerkelsesverdig likhet – de alle var født i samme del av Budapest. Det ledet folk til å spørre: hva var kilden til så mye intelligens?

I respons, spøkte Szilard at, “Martianerne er allerede her, og de kaller seg selv ungarere!” I virkeligheten… vet ingen.

Menneskeheten finner seg i en lignende posisjon i dag med hensyn til en ny gruppe potensielt overintelligente sinn: Kunstig intelligens. Folk vet at modellene kan være usedvanlig smarte, men har ingen ide om hvordan de fungerer.

Vår misjon er å svare på det spørsmålet – å forstå og utnytte moderne superintelligens.

Du har en historie med usedvanlige minneprestasjoner, hvordan ble du involvert i disse minneutfordringene og hvordan hjalp denne kunnskapen deg med konseptet Martian?

I de fleste idretter kan en profesjonell utøver prestere omtrent 2-3 ganger bedre enn en gjennomsnittlig person (samlinger hvordan langt en gjennomsnittlig person kan sparke et feltsmål eller hvor raskt de kaster en hurtig ball sammenlignet med en profesjonell). Minnesport er fascinerende fordi topp-utøverne kan huske 100 ganger eller til og med 1000 ganger mer enn en gjennomsnittlig person med mindre trening enn de fleste idretter. Dessuten er disse ofte personer med gjennomsnittlig naturlig minne som tilskriver sin prestasjon til spesifikke teknikker som alle kan lære. Jeg ønsker å maksimere menneskehetens kunnskap, og jeg så verdensmesterskapet i minne som en underverdig innsikt i hvordan vi kan drive ekstraordinære avkastninger ved å øke menneskelig intelligens.

Jeg ønsket å deployere minneteknikker gjennom hele utdanningssystemet, så jeg begynte å utforske hvordan NLP og LLM kunne hjelpe med å redusere oppsett-kostnadene som hindrer de mest effektive utdanningsmetodene fra å bli brukt i det vanlige utdanningssystemet. Yash og jeg lagde den første LLM-drevne kognitive læreren, og det ledet oss til å oppdage problemene med LLM-utplassering som vi nå hjelper å løse i dag.

Martian er i realiteten å abstrahere bort beslutningen om hvilken stor språkmodell (LLM) å bruke, hvorfor er dette for tiden et sårt punkt for utviklere?

Det blir enklere og enklere å lage språkmodeller – kostnaden av beregning går ned, algoritmene blir mer effektive, og flere åpne kildeverktøy er tilgjengelige for å lage disse modellene. Som et resultat lager flere selskaper og utviklere egne modeller trent på egne data. Ettersom disse modellene har forskjellige kostnader og evner, kan du få bedre ytelse ved å bruke flere modeller, men det er vanskelig å teste dem alle og å finne de riktige å bruke. Vi tar hånd om det for utviklere.

Kan du diskutere hvordan systemet forstår hva LLM er best brukt for hver spesifik oppgave?

Å rute godt er i grunn en problem om å forstå modeller. For å rute mellom modeller effektivt, ønsker du å kunne forstå hva som forårsaker dem å feile eller lykkes. Å kunne forstå disse egenskapene med modell-kartlegging gjør det mulig for oss å bestemme hvordan godt en gitt modell vil fungere på en forespørsel uten å måtte kjøre den modellen. Som et resultat kan vi sende den forespørselen til modellen som vil produsere det beste resultatet.

Kan du diskutere typen kostnadsbesparelse som kan sees ved å optimere hva LLM brukes?

Vi lar brukerne angi hvordan de ønsker å avveie mellom kostnad og ytelse. Hvis du bare bryr deg om ytelse, kan vi overgå GPT-4 på openai/evals. Hvis du søker etter en spesifik kostnad for å gjøre dine enhetsøkonomi å fungere, lar vi deg angi maksimal kostnad for din forespørsel, og deretter finner vi den beste modellen til å fullføre den forespørselen. Og hvis du ønsker noe mer dynamisk, lar vi deg angi hvor mye du er villig til å betale for et bedre svar – på den måten, hvis to modeller har lignende ytelse men en stor forskjell i kostnad, kan vi la deg bruke den mindre dyre modellen. Noen av våre kunder har sett opp til 12 ganger reduksjon i kostnad.

Hva er din visjon for fremtiden til Martian?

Hver gang vi forbedrer vår grunnleggende forståelse av modeller, resulterer det i en paradigmeskift for AI. Finjustering var paradigmet drevet av forståelse av utdata. Prompting er paradigmet drevet av forståelse av inndata. Den ene forskjellen i vår forståelse av modeller er mye av hva som skiller tradisjonell ML (“la oss trene en regresjon”) og moderne generativ AI (“la oss prompte en baby AGI”).

Vårt mål er å konsistent levere gjennombrudd i tolkbarhet til AI er fullstendig forstått og vi har en teori om intelligens like robust som våre teorier om logikk eller kalkulus.

For oss betyr det å bygge. Det betyr å lage fantastisk AI-verktøy og sette det i folks hender. Det betyr å slippe ut ting som bryter molden, som ingen har gjort før, og som – mer enn noe annet – er interessant og nyttig.

I Sir Francis Bacons ord, “Kunnskap er makt”. Derfor er den beste måten å være sikker på at vi forstår AI å slippe ut kraftfulle verktøy. I vår mening er en modellruter et verktøy av den typen. Vi er spente på å bygge det, vokse det og sette det i folks hender.

Dette er den første av mange verktøy vi skal slippe ut i de kommende månedene. For å oppdage en vakker teori om kunstig intelligens, å aktivere helt nye typer AI-infrastruktur, å hjelpe bygge en lysere fremtid for både menneske og maskin – vi kan ikke vente å dele disse verktøyene med deg.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Martian.