Etan Ginsberg, Co-Founder of Martian – Interview Serie

Etan Ginsberg er Co-Founder af Martian, en platform, der dynamisk routerer hver prompt til den bedste LLM. Gennem routing opnår Martian en højere ydelse og lavere omkostninger end enhver enkelt udbyder, herunder GPT-4. Systemet er bygget på virksomhedens unikke Model Mapping-teknologi, der pakker LLM’er ud af komplekse sorte kasser og ind i en mere fortolkelig arkitektur, hvilket gør det til den første kommercielle anvendelse af mekanisk fortolkelighed.

Etan har kodet, designet websites og bygget e-forretninger til kunder, siden han var i mellemskolen. En polymath Etan er en verdensmester i hukommelse og kom på 2. pladsen ved verdensmesterskabet i hurtiglæsning i Shenzhen, Kina.

Han er en vid hackathon-deltager. Tidligere priser inkluderer 3. pris ved Tech Crunch SZ, top 7 finalist ved Princeton Hackathon og 3 industripriser ved Yale Hackathon.

Du er en tidligere to-gangs startup-grunder, hvad var disse virksomheder, og hvad lærte du af denne oplevelse?

Min første virksomhed var den første platform for fremme og udvikling af sporten American Ninja Warrior. Tilbage i 2012 så jeg American Ninja Warrior som en undergrundsport (ligesom MMA i 90’erne) og skabte den første platform, hvor folk kunne købe blåprints, bestille hindringer og finde fitnesscentre til træning. Jeg rådgav for virksomheder, der ønskede at starte deres egne fitnesscentre, herunder at hjælpe US Special Forces med en træningskursus og skala en facilitet fra en skitse til $300.000 i omsætning i de første 3 måneder. Selv om jeg var i high school, havde jeg min første oplevelse med at lede hold på over 20 medarbejdere og lærte om effektiv ledelse og interpersonlige relationer.

Min anden virksomhed var en alternativ formueforvaltningsvirksomhed, som jeg co-fandt i 2017 før ICO-bølgen i crypto. Dette var min første introduktion til NLP, hvor vi brugte sentimentanalyse af sociale medie-data som en investeringsstrategi.

Jeg lærte mange af de hårde og bløde færdigheder, der er nødvendige for at drive en startup – fra, hvordan man leder et hold, til de tekniske aspekter af NLP. Samtidig lærte jeg også meget om mig selv og om, hvad jeg ønskede at arbejde med. Jeg tror, at de mest succesfulde virksomheder er grundlagt af grundere, der har en bredere vision eller mål, der driver dem. Jeg forlod crypto i 2017 for at fokusere på NLP, fordi udvikling og forståelse af menneskehedens intelligens er noget, der virkelig driver mig. Jeg var glad for at opdage det.

Mens du gik på University of Pennsylvania, gjorde du nogen AI-forskning, hvad forskede du specifikt?

Vores forskning fokuserede oprindeligt på at bygge anvendelser af LLM’er. Specifikt arbejdede vi på uddannelsesmæssige anvendelser af LLM’er og byggede den første LLM-drevne kognitive tutor. Resultaterne var ret gode – vi så en forbedring på 0,3 standardafvigelse i elevresultater i den første eksperimentation – og vores system er blevet brugt fra University of Pennsylvania til University of Bhutan.

Kan du diskutere, hvordan denne forskning derefter ledte dig til at co-grunde Martian?

Fordi vi var nogle af de første mennesker, der byggede anvendelser på toppen af LLM’er, var vi også nogle af de første mennesker, der stødte på problemerne, folk møder, når de bygger anvendelser på toppen af LLM’er. Det guidede vores forskning mod infrastrukturlaget. For eksempel var vi ret tidligt med til at finjustere mindre modeller på outputtet af større modeller som GPT-3, og finjustere modeller på specialiserede datakilder til opgaver som programmering og matematiske problemløsninger. Det ledte os til problemer omkring forståelse af modeladfærd og model-routing.

Oprindelsen af Martian-navnet og dets forhold til intelligens er også interessant, kan du dele historien om, hvordan dette navn blev valgt?

Vores virksomhed blev navngivet efter en gruppe af ungarsk-amerikanske videnskabsmænd kendt som “The Martians“. Denne gruppe, der levede i det 20. århundrede, bestod af nogle af de smarteste mennesker, der nogensinde har levet:

• Den mest berømte blandt dem var John Von Neumann; han opfandt spilteori, den moderne computerarkitektur, automatteori og bidrog væsentligt til dusinvis af andre fag.
• Paul Erdos var den mest produktive matematiker nogensinde, med over 1500 publikationer.
• Theodore Von Karman etablerede de grundlæggende teorier for aerodynamik og hjalp med at grundlægge det amerikanske rumprogram. Den af mennesker definerede grænse mellem Jorden og det ydre rum kaldes “Kármán-linjen” til ære for hans arbejde.
• Leo Szilard opfandt atomomben, strålebehandling og partikelacceleratorer.

Disse videnskabsmænd og 14 andre som dem (herunder opfinderen af hydrogenbomben, manden, der introducerede gruppeteori i moderne fysik, og væsentlige bidragydere til fag som kombinatorik, talteori, numerisk analyse og sandsynlighedsteori) delte en bemærkelsesværdig lighed – de var alle født i samme del af Budapest. Det fik folk til at spørge: hvad var kilden til så megen intelligens?

Som svar sagde Szilard: “Martianerne er allerede her, og de kalder sig selv for ungarere!” I virkeligheden… ved ingen.

Menneskeheden befinder sig i en lignende position i dag med hensyn til en ny sæt af potentielt overintelligente sind: Kunstig intelligens. Folk ved, at modeller kan være utroligt smarte, men har ingen idé om, hvordan de fungerer.

Vores mission er at besvare det spørgsmål – at forstå og udnytte moderne superintelligens.

Du har en historie med utrolige hukommelsesbedrifter, hvordan blev du dybt involveret i disse hukommelsesudfordringer, og hvordan hjalp denne viden dig med konceptet Martian?

I de fleste sportsgrene kan en professionel atlet udføre omkring 2-3 gange bedre end en gennemsnitsperson (sammenlign, hvor langt en gennemsnitsperson kan sparke et feltmål eller hvor hurtigt de kan kaste en hurtig bold sammenlignet med en professionel). Hukommelsessport er fascinerende, fordi topatleter kan huske 100 gange eller endda 1000 gange mere end en gennemsnitsperson med mindre træning end de fleste sportsgrene. Desuden er disse ofte mennesker med gennemsnitlig naturlig hukommelse, der tilskriver deres præstation til bestemte teknikker, som alle kan lære. Jeg ønskede at maksimere menneskehedens viden, og jeg så verdensmesterskaberne i hukommelse som en underestimeret indsigt i, hvordan vi kan opnå ekstraordinære afkast ved at øge menneskelig intelligens.

Jeg ønskede at udrulle hukommelsesteknikker i hele uddannelsessystemet, så jeg begyndte at udforske, hvordan NLP og LLM’er kunne hjælpe med at reducere opsætningsomkostningerne, der forhindrer de mest effektive uddannelsesmetoder i at blive brugt i det mainstream-uddannelsessystem. Yash og jeg skabte den første LLM-drevne kognitive tutor, og det ledte os til at opdage problemerne med LLM-udvikling, som vi i dag hjælper med at løse.

Martian er i væsentlig grad abstraheret væk fra beslutningen om, hvilken Large Language Model (LLM) at bruge, hvorfor er dette i øjeblikket sådan et smertepunkt for udviklere?

Det bliver lettere og lettere at skabe sprogmodeller – omkostningerne ved beregning er faldet, algoritmerne bliver mere effektive, og der er flere åbne kildeværktøjer til rådighed for at skabe disse modeller. Som følge heraf skaber flere virksomheder og udviklere brugerdefinerede modeller, der er trænet på brugerdefinerede data. Da disse modeller har forskellige omkostninger og evner, kan man opnå bedre ydelse ved at bruge flere modeller, men det er svært at teste dem alle og finde de rigtige at bruge. Vi tager os af det for udviklerne.

Kan du diskutere, hvordan systemet forstår, hvilken LLM der er bedst brugt til hver specifik opgave?

At routere godt er i væsentlig grad et problem om at forstå modeller. For at routere effektivt mellem modeller ønsker man at kunne forstå, hvad der får dem til at fejle eller lykkes. Ved at forstå disse karakteristika med model-mapping kan vi bestemme, hvor godt en given model vil fungere på en anmodning uden at skulle køre den model. Som følge heraf kan vi sende anmodningen til den model, der vil producere det bedste resultat.

Kan du diskutere den type omkostningsbesparelse, der kan ses ved at optimere, hvilken LLM der bruges?

Vi lader brugerne specificere, hvordan de afvejer mellem omkostning og ydelse. Hvis du kun er interesseret i ydelse, kan vi overgå GPT-4 på openai/evals. Hvis du søger en specifik omkostning for at gøre dine enhedsøkonomi arbejde, lader vi dig specificere den maksimale omkostning for din anmodning, derefter finder vi den bedste model til at udføre den anmodning. Og hvis du ønsker noget mere dynamisk, lader vi dig specificere, hvor meget du er villig til at betale for et bedre svar – på den måde, hvis to modeller har lignende ydelse, men en stor forskel i omkostning, kan vi lade dig bruge den mindre dyre model. Nogle af vores kunder har set en nedgang i omkostninger på op til 12 gange.

Hvad er din vision for Martians fremtid?

Hver gang vi forbedrer vores grundlæggende forståelse af modeller, resulterer det i en paradigmeskift for AI. Finjustering var paradigmet, der blev drevet af forståelse af output. Prompting er paradigmet, der er drevet af forståelse af input. Den ene forskel i vores forståelse af modeller er meget af, hvad der adskiller traditionel ML (“lad os træne en regressor”) og moderne generativ AI (“lad os prompte en baby AGI”).

Vores mål er at konsekvent leverer gennembrud i fortolkelighed, indtil AI er fuldt forstået, og vi har en teori om intelligens, der er lige så robust som vores teorier om logik eller regning.

For os betyder det at bygge. Det betyder at skabe fantastisk AI-værktøj og lægge det i folks hænder. Det betyder at udgive ting, der bryder med mønsteret, som ingen har gjort før, og som – mere end noget andet – er interessant og nyttigt.

I Sir Francis Bacons ord: “Viden er magt”. Derfor er den bedste måde at sikre, at vi forstår AI, at udgive kraftfulde værktøjer. Ifølge os er en model-router et værktøj af den type. Vi er begejstret for at bygge det, udvikle det og lægge det i folks hænder.

Dette er den første af mange værktøjer, vi vil udgive i de kommende måneder. For at opdage en smuk teori om kunstig intelligens, for at enable helt nye typer af AI-infrastruktur, for at hjælpe med at bygge en lysere fremtid for både menneske og maskine – vi kan ikke vente med at dele disse værktøjer med dig.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Martian.