Etan Ginsberg, Co-Founder van Martian – Interview Serie

Etan Ginsberg is de Co-Founder van Martian, een platform dat dynamisch elke prompt doorstuurt naar de beste LLM. Door middel van routing bereikt Martian een hogere prestatie en een lagere kost dan elke individuele provider, inclusief GPT-4. Het systeem is gebouwd op de unieke Model Mapping-technologie van het bedrijf, die LLM’s uit complexe black boxes haalt en ze omzet in een meer interpreteerbare architectuur, waardoor het de eerste commerciële toepassing van mechanistische interpreteerbaarheid is.

Etan heeft sinds de middelbare school gecodeerd, websites ontworpen en e-bedrijven opgebouwd voor klanten. Als polymath is Etan een deelnemer aan de World Memory Championships en behaalde hij de 2e plaats bij de World Speed Reading Championships in Shenzhen, China.

Hij is een vid hackathon-deelnemer. Eerdere prijzen omvatten de 3e prijs bij Tech Crunch SZ, top 7 finalist bij de Princeton Hackathon en 3 industrie-prijzen bij de Yale Hackathon.

U bent een voormalig tweevoudig startup-oprichter, wat waren deze bedrijven en wat hebt u van deze ervaring geleerd?

Mijn eerste bedrijf was het eerste platform voor de promotie en ontwikkeling van de sport American Ninja Warrior. In 2012 zag ik American Ninja Warrior als een ondergrondse sport (vergelijkbaar met MMA in de jaren 90) en ik maakte het eerste platform waar mensen blauwdrukken konden kopen, obstakels konden bestellen en gymnastiekzaal konden vinden om te trainen. Ik werkte als consultant voor bedrijven die hun eigen gymnastiekzaal wilden starten, waaronder het helpen van de Amerikaanse speciale troepen met een trainingscursus en het opschalen van een faciliteit van een schets op een servet naar $300.000 omzet in de eerste 3 maanden. Ondanks dat ik nog op de middelbare school zat, had ik mijn eerste ervaring met het beheren van teams van 20+ werknemers en leerde ik over effectief management en interpersoonlijke relaties.

Mijn tweede bedrijf was een alternatief vermogensbeheerbedrijf dat ik in 2017 mede-oprichtte, voordat de ICO-golf in crypto begon. Dit was mijn eerste blootstelling aan NLP, waar we sentimentanalyse van socialemediadata gebruikten als beleggingsstrategie.

Ik heb veel harde en zachte vaardigheden geleerd die nodig zijn om een startup te runnen – van het beheren van een team tot de technische aspecten van NLP. Tegelijkertijd heb ik ook veel over mezelf geleerd en over wat ik wilde doen. Ik geloof dat de meest succesvolle bedrijven worden opgericht door oprichters die een bredere visie of doel hebben. Ik verliet crypto in 2017 om me te focussen op NLP, omdat het versterken en begrijpen van de intelligentie van de mensheid me echt drijft. Ik was blij om te ontdekken dat.

Terwijl u aan de Universiteit van Pennsylvania studeerde, deed u enig AI-onderzoek, wat onderzocht u specifiek?

Ons onderzoek richtte zich oorspronkelijk op het bouwen van toepassingen van LLM’s. In het bijzonder werkten we aan educatieve toepassingen van LLM’s en bouwden we de eerste LLM-geactiveerde cognitieve tutor. De resultaten waren behoorlijk goed – we zagen een verbetering van 0,3 standaarddeviatie in de resultaten van studenten in de initiële experimenten – en ons systeem is gebruikt van de Universiteit van Pennsylvania tot de Universiteit van Bhutan.

Kunt u bespreken hoe dit onderzoek u uiteindelijk leidde tot het mede-oprichten van Martian?

Omdat we een van de eerste mensen waren die toepassingen bouwden op basis van LLM’s, waren we ook een van de eerste mensen die de problemen tegenkwamen die mensen tegenkomen wanneer ze toepassingen bouwen op basis van LLM’s. Dat leidde ons onderzoek naar de infrastructuurlaag. Bijvoorbeeld, vrij vroeg waren we kleine modellen aan het fine-tunen op de uitvoer van grotere modellen zoals GPT-3, en fine-tunen van modellen op gespecialiseerde gegevensbronnen voor taken zoals programmeren en wiskunde-oplossen. Dat leidde ons uiteindelijk naar problemen over het begrijpen van modelgedrag en modelrouting.

De oorsprong van de naam Martian en de relatie met intelligentie is ook interessant, kunt u het verhaal vertellen over hoe deze naam is gekozen?

Ons bedrijf is vernoemd naar een groep Hongaars-Amerikaanse wetenschappers bekend als “The Martians“. Deze groep, die in de 20e eeuw leefde, bestond uit een van de slimste mensen die ooit hebben geleefd:

• De meest beroemde onder hen was John Von Neumann; hij vond de speltheorie uit, de moderne computerarchitectuur, automatatheorie en maakte fundamentele bijdragen in tientallen andere gebieden.
• Paul Erdos was de meest productieve wiskundige aller tijden, met meer dan 1500 publicaties.
• Theodore Von Karman legde de fundamenten van de aerodynamica en hielp de Amerikaanse ruimtevaartprogramma’s op te zetten. De door de mens gedefinieerde grens tussen de aarde en de buitenruimte wordt de “Kármán-lijn” genoemd ter erkenning van zijn werk.
• Leo Szilard vond de atoombom uit, stralingsbehandeling en deeltjesversnellers.

Deze wetenschappers en 14 anderen zoals hen (waaronder de uitvinder van de waterstofbom, de man die groeptheorie introduceerde in de moderne natuurkunde, en fundamentele bijdragers aan gebieden zoals combinatoriek, getaltheorie, numerieke analyse en waarschijnlijkheidsleer) deelden een opvallende overeenkomst – ze waren allemaal geboren in hetzelfde deel van Boedapest. Dat leidde mensen ertoe om te vragen: wat was de bron van zoveel intelligentie?

In reactie daarop zei Szilard: “Martianen zijn al hier en ze noemen zichzelf Hongaren!” In werkelijkheid… weet niemand.

De mensheid bevindt zich in een soortgelijke positie vandaag met betrekking tot een nieuwe reeks potentieel superintelligente geesten: Kunstmatige Intelligentie. Mensen weten dat modellen ongelooflijk slim kunnen zijn, maar hebben geen idee hoe ze werken.

Onze missie is om die vraag te beantwoorden – om moderne superintelligentie te begrijpen en te benutten.

U heeft een geschiedenis van verbazingwekkende geheugenvoorstellingen, hoe bent u in deze geheugenuitdagingen terechtgekomen en hoe heeft deze kennis u geholpen bij het concept van Martian?

In de meeste sporten kan een professionele atleet ongeveer 2-3 keer zo goed presteren als de gemiddelde persoon (vergelijk hoe ver een gemiddelde persoon een velddoelpunt kan trappen of hoe hard ze een fastball kunnen gooien in vergelijking met een professional). Geheugensporten zijn fascinerend omdat de topatleten 100 keer of zelfs 1000 keer meer kunnen onthouden dan de gemiddelde persoon met minder training dan de meeste sporten. Bovendien zijn dit vaak mensen met een gemiddeld natuurlijk geheugen die hun prestatie toeschrijven aan specifieke technieken die iedereen kan leren. Ik wil de kennis van de mensheid maximaliseren en ik zag de wereldgeheugenkampioenschappen als een ondergewaardeerd inzicht in hoe we buitengewone rendementen kunnen behalen door de menselijke intelligentie te vergroten.

Ik wilde geheugentechnieken inzetten in het hele onderwijssysteem, dus ik begon te onderzoeken hoe NLP en LLM’s konden helpen bij het verlagen van de instelkosten die voorkomen dat de meest effectieve onderwijsmethoden in het mainstream-onderwijssysteem worden gebruikt. Yash en ik creëerden de eerste LLM-geactiveerde cognitieve tutor en dat leidde ertoe dat we de problemen met LLM-implementatie ontdekten die we vandaag helpen oplossen.

Martian abstracteert eigenlijk de beslissing weg over welk Large Language Model (LLM) te gebruiken, waarom is dit momenteel zo’n pijnlijk punt voor ontwikkelaars?

Het wordt steeds gemakkelijker om taalmodellen te maken – de kosten van compute gaan omlaag, algoritmes worden efficiënter en er zijn meer open-source tools beschikbaar om deze modellen te maken. Als gevolg daarvan maken meer bedrijven en ontwikkelaars aangepaste modellen op basis van aangepaste gegevens. Aangezien deze modellen verschillende kosten en mogelijkheden hebben, kunt u betere prestaties behalen door meerdere modellen te gebruiken, maar het is moeilijk om ze allemaal te testen en de juiste te vinden. Wij nemen die zorg voor ontwikkelaars weg.

Kunt u bespreken hoe het systeem begrijpt welk LLM het beste wordt gebruikt voor elke specifieke taak?

Goed routeren is fundamenteel een probleem over het begrijpen van modellen. Om tussen modellen effectief te routeren, wilt u in staat zijn om te begrijpen wat ervoor zorgt dat ze falen of slagen. In staat zijn om deze kenmerken met model-mapping te begrijpen, stelt ons in staat om te bepalen hoe goed een bepaald model zal presteren op een aanvraag zonder dat model te hoeven uitvoeren. Als gevolg daarvan kunnen we die aanvraag naar het model sturen dat het beste resultaat zal produceren.

Kunt u bespreken wat voor soort kostenbesparingen kunnen worden gezien door te optimaliseren welk LLM wordt gebruikt?

We laten gebruikers specificeren hoe ze de afweging maken tussen kosten en prestaties. Als u zich alleen zorgen maakt over prestaties, kunnen we GPT-4 overtreffen op openai/evals. Als u op zoek bent naar een specifieke kost om uw unit-economie te laten werken, laten we u specificeren wat de maximale kost is voor uw aanvraag, en vinden we vervolgens het beste model om die aanvraag te voltooien. En als u iets meer dynamisch wilt, laten we u specificeren hoeveel u bereid bent te betalen voor een beter antwoord – op die manier, als twee modellen een soortgelijke prestatie hebben maar een groot verschil in kost, kunnen we u laten gebruiken van de minder dure modellen. Sommige van onze klanten hebben tot 12 keer minder kosten gezien.

Wat is uw visie voor de toekomst van Martian?

Elke keer dat we onze fundamentele kennis van modellen verbeteren, leidt dit tot een paradigmaswitch voor AI. Fine-tunen was het paradigma dat werd aangedreven door het begrijpen van uitvoer. Prompten is het paradigma dat wordt aangedreven door het begrijpen van invoer. Dat ene verschil in ons begrip van modellen is veel van wat traditionele ML (“laten we een regressor trainen”) en moderne generatieve AI (“laten we een baby-AGI prompten”) onderscheidt.

Ons doel is om doorlopend doorbraken te leveren in interpreteerbaarheid totdat AI volledig wordt begrepen en we een theorie van intelligentie hebben die zo robuust is als onze theorieën van logica of calculus.

Voor ons betekent dit bouwen. Het betekent het creëren van geweldige AI-hulpmiddelen en deze in handen van mensen krijgen. Het betekent het vrijgeven van dingen die het mouwloze patroon doorbreken, die niemand eerder heeft gedaan, en die – meer dan alles anders – interessant en nuttig zijn.

In de woorden van Sir Francis Bacon, “Kennis is macht”. Daarom is de beste manier om ervoor te zorgen dat we AI begrijpen, het vrijgeven van krachtige hulpmiddelen. Volgens ons is een modelrouter een hulpmiddel van die soort. We zijn enthousiast om het te bouwen, te laten groeien en in handen van mensen te krijgen.

Dit is de eerste van veel hulpmiddelen die we in de komende maanden zullen vrijgeven. Om een prachtige theorie van kunstmatige intelligentie te ontdekken, om geheel nieuwe soorten AI-infrastructuur mogelijk te maken, om te helpen een betere toekomst te bouwen voor zowel mens als machine – we kunnen niet wachten om die hulpmiddelen met u te delen.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten bezoeken Martian.