Etan Ginsberg, Co-Founder af Martian – Interview Serie

Etan Ginsberg er Co-Founder af Martian, en platform, der dynamisk routerer hver prompt til den bedste LLM. Gennem routing opnår Martian højere ydelse og lavere omkostninger end enhver enkelt udbyder, herunder GPT-4. Systemet er bygget på virksomhedens unikke Model Mapping-teknologi, der pakker LLM’er ud af komplekse sorte kasser og ind i en mere fortolkelig arkitektur, hvilket gør det til den første kommercielle anvendelse af mekanisk fortolkning.

Etan har kodet, designet websteder og bygget e-forretninger til kunder, siden han var i mellemskolen. En polymath Etan er en verdensmester i hukommelse og fik en 2. plads ved verdensmesterskaberne i hurtiglæsning i Shenzhen, Kina.

Han er en deltager i hackathon. Tidligere priser inkluderer 3. pris ved Tech Crunch SZ, top 7-finalist ved Princeton Hackathon og 3 brancherpriser ved Yale Hackathon.

Du er en tidligere to-gangs startup-grunder, hvilke virksomheder var det, og hvad lærte du af denne oplevelse?

Min første virksomhed var den første platform for fremme og udvikling af sporten American Ninja Warrior. Tilbage i 2012 så jeg American Ninja Warrior som en undergrundsport (ligesom MMA i 90’erne) og jeg skabte den første platform, hvor folk kunne købe blåprints, bestille hindringer og finde træningscentre. Jeg rådgav virksomheder, der ønskede at åbne deres egne træningscentre, herunder at hjælpe det amerikanske specialstyrker med en træningskursus og opskalere en facilitet fra en skitse til 300.000 dollars i omsætning i de første 3 måneder. Selvom jeg var i high school, havde jeg min første oplevelse med at lede hold på over 20 medarbejdere og lærte om effektiv ledelse og interpersonlige relationer.

Min anden virksomhed var en alternativ kapitalforvaltningsvirksomhed, som jeg co-foundede i 2017 før ICO-bølgen i krypto. Dette var min første introduktion til NLP, hvor vi brugte sentimentanalyse af sociale medie-data som en investeringsstrategi.

Jeg lærte mange af de hårde og bløde færdigheder, der er nødvendige for at drive en startup – fra hvordan man leder et hold til de tekniske aspekter af NLP. Samtidig lærte jeg også meget om mig selv og om, hvad jeg ville arbejde med. Jeg tror, at de mest succesfulde virksomheder er grundlagt af grundere, der har en bredere vision eller mål, der driver dem. Jeg forlod krypto i 2017 for at fokusere på NLP, fordi udvikling og forståelse af menneskets intelligens er noget, der virkelig driver mig. Jeg var glad for at opdage det.

Mens du gik på University of Pennsylvania, gjorde du nogen AI-forskning, hvad forskede du specifikt?

Vores forskning fokuserede oprindeligt på at bygge anvendelser af LLM’er. Specifikt arbejdede vi på uddannelsesmæssige anvendelser af LLM’er og byggede den første LLM-drevne kognitiv tutor. Resultaterne var ret gode – vi så en forbedring på 0,3 standardafvigelse i elevresultater i de første eksperimenter – og vores system er blevet brugt fra University of Pennsylvania til University of Bhutan.

Kan du diskutere, hvordan denne forskning derefter ledte dig til at co-grunde Martian?

Fordi vi var nogle af de første mennesker, der byggede anvendelser på toppen af LLM’er, var vi også nogle af de første mennesker, der stødte på problemerne, folk møder, når de bygger anvendelser på toppen af LLM’er. Det guidede vores forskning mod infrastruktur-laget. For eksempel var vi ret tidligt med til at finjustere mindre modeller på output fra større modeller som GPT-3, og finjustere modeller på specialiserede datakilder til opgaver som programmering og matematiske løsninger. Det ledte os til problemer omkring forståelse af modeladfærd og model-routing.

Oprindelsen af Martian-navnet og dets forhold til intelligens er også interessant, kan du dele historien om, hvordan dette navn blev valgt?

Vores virksomhed blev navngivet efter en gruppe af ungarsk-amerikanske videnskabsmænd kendt som “The Martians“. Denne gruppe, der levede i det 20. århundrede, bestod af nogle af de smarteste mennesker, der nogensinde har levet:

• Den mest berømte blandt dem var John Von Neumann; han opfandt spilteori, den moderne computerarkitektur, automata-teori og bidrog væsentligt til mange andre fag.
• Paul Erdos var den mest produktive matematiker nogensinde, med over 1500 publikationer.
• Theodore Von Karman etablerede de grundlæggende teorier for aerodynamik og hjalp med at grundlægge det amerikanske rumprogram. Den menneskeskabte grænse mellem Jorden og det ydre rum kaldes “Kármán-linjen” til ære for hans arbejde.
• Leo Szilard opfandt atombomben, strålebehandling og partikelacceleratorer.

Disse videnskabsmænd og 14 andre som dem (herunder opfindererne af hydrogenbomben, manden, der introducerede gruppeteori i moderne fysik, og grundlæggende bidragydere til fag som kombinatorik, talteori, numerisk analyse og sandsynlighedsteori) delte en bemærkelsesværdig lighed – de var alle født i samme del af Budapest. Det fik folk til at spørge: hvad var kilden til så megen intelligens?

I svaret sagde Szilard, at “Martianerne er allerede her, og de kalder sig selv ungarere!” I virkeligheden… ved ingen det.

Menneskeheden befinder sig i en lignende situation i dag med hensyn til en ny samling af potentielt overintelligente sind: Kunstig intelligens. Folk ved, at modeller kan være utrolig smarte, men har ingen idé om, hvordan de fungerer.

Vores mission er at besvare det spørgsmål – at forstå og udnytte moderne superintelligens.

Du har en historie med utrolige hukommelsesbedrifter, hvordan kom du ind i disse hukommelsesudfordringer, og hvordan hjalp denne viden dig med konceptet Martian?

I de fleste sportsgrene kan en professionel atlet præstere omkring 2-3 gange bedre end en gennemsnitsperson (sammenlign, hvor langt en gennemsnitsperson kan sparke et feltmål eller hvor hurtigt de kan kaste en hurtig bold i forhold til en professionel). Hukommelsessport er fascinerende, fordi topatleterne kan huske 100 gange eller endda 1000 gange mere end en gennemsnitsperson med mindre træning end de fleste sportsgrene. Desuden er disse ofte mennesker med gennemsnitlig naturlig hukommelse, der tilskriver deres præstation til bestemte teknikker, som alle kan lære. Jeg vil maksimere menneskets viden, og jeg så verdensmesterskaberne i hukommelse som en underestimeret indsigt i, hvordan vi kan drive ekstraordinære afkast ved at øge menneskets intelligens.

Jeg ville udrulle hukommelsesteknikker over hele uddannelsessystemet, så jeg begyndte at udforske, hvordan NLP og LLM’er kunne hjælpe med at reducere opsætningsomkostningerne, der forhindrer de mest effektive uddannelsesmetoder i at blive brugt i det mainstream-uddannelsessystem. Yash og jeg skabte den første LLM-drevne kognitive tutor, og det ledte os til at opdage problemerne med LLM-udvikling, som vi nu hjælper med at løse i dag.

Martian er essentielt et abstraktionslag, der fjerner beslutningen om, hvilken stor sprogmodel (LLM) der skal bruges, hvorfor er dette i øjeblikket sådan et smertepunkt for udviklere?

Det bliver lettere og lettere at skabe sprogmodeller – omkostningerne ved beregning er gået ned, algoritmerne er blevet mere effektive, og der er flere åbne kildeværktøjer til rådighed for at skabe disse modeller. Som følge heraf skaber flere virksomheder og udviklere brugerdefinerede modeller, der er trænet på brugerdefinerede data. Da disse modeller har forskellige omkostninger og evner, kan man opnå bedre præstationer ved at bruge flere modeller, men det er svært at teste dem alle og finde de rigtige at bruge. Vi tager os af det for udviklerne.

Kan du diskutere, hvordan systemet forstår, hvilken LLM der er bedst brugt til hver specifik opgave?

At routere godt er grundlæggende et problem om at forstå modeller. For at routere mellem modeller effektivt ønsker man at kunne forstå, hvad der får dem til at fejle eller lykkes. At kunne forstå disse egenskaber med model-mapping giver os mulighed for at bestemme, hvor godt en given model vil præstere på en anmodning uden at skulle køre modellen. Som følge heraf kan vi sende anmodningen til modellen, der vil producere det bedste resultat.

Kan du diskutere, hvilken type omkostningsbesparelse, der kan ses ved at optimere, hvilken LLM der bruges?

Vi lader brugerne specificere, hvordan de vil afveje omkostninger og præstationer. Hvis du kun er interesseret i præstation, kan vi overgå GPT-4 på openai/evals. Hvis du søger en bestemt omkostning for at gøre dine enhedsøkonomi arbejde, lader vi dig specificere den maksimale omkostning for din anmodning, derefter finder vi den bedste model til at fuldføre anmodningen. Og hvis du ønsker noget mere dynamisk, lader vi dig specificere, hvor meget du er villig til at betale for et bedre svar – på den måde kan vi lade dig bruge den mindre dyre modeller. Nogle af vores kunder har set en nedgang i omkostninger på op til 12 gange.

Hvad er din vision for Martians fremtid?

Hver gang vi forbedrer vores grundlæggende forståelse af modeller, resulterer det i en paradigmeskift for AI. Finjustering var paradigmet drevet af forståelse af outputs. Prompting er paradigmet drevet af forståelse af inputs. Den eneste forskel i vores forståelse af modeller er meget af, hvad der adskiller traditionel ML (“lad os træne en regressor”) og moderne generativ AI (“lad os prompte en baby AGI”).

Vores mål er at konsekvent levere gennembrud i fortolkning, indtil AI er fuldt forstået, og vi har en teori om intelligens, der er lige så robust som vores teorier om logik eller regning.

For os betyder det at bygge. Det betyder at skabe fantastisk AI-værktøj og give det i folkens hænder. Det betyder at frigive ting, der bryder molden, som ingen har gjort før, og som – mere end noget andet – er interessant og nyttigt.

I Sir Francis Bacons ord, “Viden er magt”. Derfor er den bedste måde at sikre, at vi forstår AI, at frigive kraftfulde værktøjer. Ifølge os er en model-router et værktøj af den type. Vi er begejstrede for at bygge det, udvikle det og give det i folkens hænder.

Dette er det første af mange værktøjer, vi vil frigive i de kommende måneder. For at opdage en smuk teori om kunstig intelligens, for at aktivere helt nye typer af AI-infrastruktur, for at hjælpe med at bygge en lysere fremtid for både menneske og maskine – vi kan ikke vente med at dele disse værktøjer med dig.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Martian.