Etan Ginsberg, mede-oprichter van Martian – Interviewserie

Etan Ginsberg is de mede-oprichter van Martian, een platform dat dynamisch elke prompt naar de beste LLM routeert. Door routing bereikt Martian een hogere prestatie en een lagere kost dan elke individuele provider, inclusief GPT-4. Het systeem is gebouwd op de unieke Model Mapping-technologie van het bedrijf, die LLM’s van complexe black boxes naar een meer interpreteerbare architectuur ontwart, waardoor het de eerste commerciële toepassing van mechanistische interpreteerbaarheid is.

Etan heeft sinds de middelbare school gecodeerd, websites ontworpen en e-businesses voor klanten opgebouwd. Als polymath is Etan een deelnemer aan de World Memory Championships en behaalde hij de tweede plaats bij de World Speed Reading Championships in Shenzhen, China.

Hij is een deelnemer aan hackathons. Eerder behaalde hij de derde prijs op Tech Crunch SZ, was hij finalist op de Princeton Hackathon en behaalde hij drie industrieonderscheidingen op de Yale Hackathon.

U bent een voormalig tweevoudig oprichter van een startup, wat waren deze bedrijven en wat hebt u van deze ervaring geleerd?

Mijn eerste bedrijf was het eerste platform voor de promotie en ontwikkeling van de sport American Ninja Warrior. In 2012 zag ik American Ninja Warrior als een ondergrondse sport (vergelijkbaar met MMA in de jaren 90) en ik maakte het eerste platform waar mensen blauwdrukken konden kopen, obstakels konden bestellen en gymnastiekzaal konden vinden om te trainen. Ik werkte als consultant voor bedrijven die hun eigen gymnastiekzaal wilden starten, waaronder het helpen van de Amerikaanse speciale troepen met een trainingscursus en het opschalen van een faciliteit van een schets op papier naar $300.000 omzet in de eerste drie maanden. Ondanks dat ik nog op de middelbare school zat, had ik mijn eerste ervaring met het beheren van teams van meer dan 20 werknemers en leerde ik over effectief management en interpersoonlijke relaties.

Mijn tweede bedrijf was een alternatief vermogensbeheerbedrijf dat ik in 2017 mede-oprichtte, voordat de ICO-golf in crypto begon. Dit was mijn eerste blootstelling aan NLP, waar we sentimentanalyse van socialemediadata als beleggingsstrategie gebruikten.

Ik leerde veel van de harde en zachte vaardigheden die nodig zijn om een startup te runnen – van het beheren van een team tot de technische aspecten van NLP. Tegelijkertijd leerde ik ook veel over mezelf en over waar ik aan wilde werken. Ik geloof dat de meest succesvolle bedrijven worden opgericht door oprichters die een bredere visie of doel hebben. Ik verliet crypto in 2017 om me te concentreren op NLP, omdat het versterken en begrijpen van de intelligentie van de mensheid me echt drijft. Ik was blij om dat te ontdekken.

Tijdens uw studie aan de Universiteit van Pennsylvania deed u enig AI-onderzoek, wat onderzocht u specifiek?

Ons onderzoek richtte zich oorspronkelijk op het bouwen van toepassingen van LLM’s. In het bijzonder werkten we aan educatieve toepassingen van LLM’s en bouwden we de eerste LLM-gebaseerde cognitieve tutor. De resultaten waren behoorlijk goed – we zagen een verbetering van 0,3 standaarddeviatie in de resultaten van studenten in de eerste experimenten – en ons systeem is gebruikt van de Universiteit van Pennsylvania tot de Universiteit van Bhutan.

Kunt u bespreken hoe dit onderzoek u uiteindelijk leidde tot het mede-oprichten van Martian?

Omdat we een van de eerste mensen waren die toepassingen bouwden op basis van LLM’s, waren we ook een van de eerste mensen die de problemen tegenkwamen die mensen tegenkomen wanneer ze toepassingen bouwen op basis van LLM’s. Dat leidde ons onderzoek naar de infrastructuurlaag. Bijvoorbeeld, vrij vroeg waren we kleinere modellen aan het fine-tunen op de uitvoer van grotere modellen zoals GPT-3, en modellen fine-tunen op gespecialiseerde gegevensbronnen voor taken zoals programmeren en het oplossen van wiskundige problemen. Dat leidde ons uiteindelijk naar problemen over het begrijpen van modelgedrag en modelrouting.

De oorsprong van de naam Martian en de relatie met intelligentie is ook interessant, kunt u het verhaal vertellen over hoe deze naam is gekozen?

Ons bedrijf is vernoemd naar een groep van Hongaars-Amerikaanse wetenschappers bekend als “The Martians“. Deze groep, die in de 20e eeuw leefde, bestond uit enkele van de slimste mensen die ooit hebben geleefd:

• De meest bekende onder hen was John Von Neumann; hij vond de speltheorie uit, de moderne computerarchitectuur, automatatheorie en maakte fundamentele bijdragen in tientallen andere gebieden.
• Paul Erdos was de meest productieve wiskundige aller tijden, met meer dan 1500 publicaties.
• Theodore Von Karman legde de fundamenten van de aerodynamica vast en hielp bij het opzetten van het Amerikaanse ruimtevaartprogramma. De door de mens gedefinieerde grens tussen de aarde en de buitenruimte wordt de “Kármán-lijn” genoemd, als erkenning voor zijn werk.
• Leo Szilard vond de atoombom uit, stralingsbehandeling en deeltjesversnellers.

Deze wetenschappers en 14 anderen zoals zij (waaronder de uitvinder van de waterstofbom, de man die groepentheorie introduceerde in de moderne natuurkunde en fundamentele bijdragers aan gebieden zoals combinatoriek, getaltheorie, numerieke analyse en waarschijnlijkheidstheorie) deelden een opmerkelijke overeenkomst – ze waren allemaal geboren in hetzelfde deel van Boedapest. Dat leidde mensen ertoe om te vragen: wat was de bron van zoveel intelligentie?

Als antwoord grapte Szilard dat “Martianen al hier zijn en noemen zichzelf Hongaren!” In werkelijkheid… weet niemand.

De mensheid bevindt zich vandaag in een soortgelijke positie met betrekking tot een nieuwe reeks potentieel superintelligente geesten: Kunstmatige Intelligentie. Mensen weten dat modellen ongelooflijk slim kunnen zijn, maar hebben geen idee hoe ze werken.

Onze missie is om die vraag te beantwoorden – om moderne superintelligentie te begrijpen en te benutten.

U heeft een geschiedenis van geweldige geheugenedruk, hoe kwam u in deze geheugenuitdagingen terecht en hoe hielp deze kennis u bij het concept van Martian?

In de meeste sporten kan een professionele atleet ongeveer 2-3 keer zo goed presteren als de gemiddelde persoon (vergelijk hoe ver een gemiddelde persoon een velddoelpunt kan schoppen of hoe hard hij een snelle bal kan gooien in vergelijking met een professional). Geheugensporten zijn fascinerend omdat de topatleten 100 keer of zelfs 1000 keer meer kunnen onthouden dan de gemiddelde persoon met minder training dan de meeste sporten. Bovendien zijn dit vaak mensen met een gemiddeld natuurlijk geheugen die hun prestatie toeschrijven aan specifieke technieken die iedereen kan leren. Ik wil de kennis van de mensheid maximaliseren en ik zag de wereldkampioenschappen geheugen als een ondergewaardeerde inzicht in hoe we buitengewone rendementen kunnen behalen door de intelligentie van de mens te vergroten.

Ik wilde geheugentechnieken door de hele onderwijssysteem heen inzetten, dus ik begon te onderzoeken hoe NLP en LLM’s konden helpen bij het verminderen van de instellingkosten die effectieve onderwijsmethoden verhinderen om in het mainstream-onderwijssysteem te worden gebruikt. Yash en ik creëerden de eerste LLM-gebaseerde cognitieve tutor en dat leidde ertoe dat we de problemen met LLM-implementatie ontdekten die we nu helpen oplossen.

Martian abstracteert in wezen de beslissing over welk Large Language Model (LLM) te gebruiken, waarom is dit momenteel zo’n pijnlijk punt voor ontwikkelaars?

Het wordt steeds gemakkelijker om taalmodellen te maken – de kosten van compute gaan omlaag, algoritmen worden efficiënter en er zijn meer open-source tools beschikbaar om deze modellen te maken. Als gevolg daarvan maken meer bedrijven en ontwikkelaars aangepaste modellen die zijn getraind op aangepaste gegevens. Aangezien deze modellen verschillende kosten en mogelijkheden hebben, kunt u betere prestaties behalen door meerdere modellen te gebruiken, maar het is moeilijk om ze allemaal te testen en de juiste modellen te vinden om te gebruiken. Wij nemen die zorg voor ontwikkelaars weg.

Kunt u bespreken hoe het systeem begrijpt welk LLM het beste wordt gebruikt voor elke specifieke taak?

Goed routeren is fundamenteel een probleem over het begrijpen van modellen. Om effectief tussen modellen te routeren, wilt u in staat zijn om te begrijpen wat modellen doet falen of slagen. Met model-mapping kunnen we de karakteristieken van modellen begrijpen, waardoor we kunnen bepalen hoe goed een bepaald model zal presteren op een aanvraag zonder dat model uit te voeren. Als gevolg daarvan kunnen we die aanvraag naar het model sturen dat het beste resultaat zal produceren.

Kunt u bespreken wat voor soort kostenbesparingen kunnen worden behaald door het optimaliseren van welk LLM wordt gebruikt?

We laten gebruikers specificeren hoe ze de afweging tussen kosten en prestaties maken. Als u alleen geïnteresseerd bent in prestaties, kunnen we GPT-4 op openai/evals overtreffen. Als u op zoek bent naar een specifieke kost om uw unit-economie te laten werken, laten we u specificeren wat de maximale kost is voor uw aanvraag, en dan vinden we het beste model om die aanvraag te voltooien. En als u iets meer dynamisch wilt, laten we u specificeren hoeveel u bereid bent te betalen voor een beter antwoord – op die manier, als twee modellen soortgelijke prestaties hebben maar een groot verschil in kost, kunnen we u laten gebruiken van het minder dure model. Sommige van onze klanten hebben tot 12 keer minder kosten gezien.

Wat is uw visie voor de toekomst van Martian?

Elke keer dat we onze fundamentele kennis van modellen verbeteren, leidt dat tot een paradigmaswitch voor AI. Fine-tuning was het paradigma dat werd aangedreven door het begrijpen van uitvoer. Prompting is het paradigma dat wordt aangedreven door het begrijpen van invoer. Dat ene verschil in ons begrip van modellen is veel van wat traditioneel ML (“laten we een regressor trainen”) en modern generatief AI (“laten we een baby-AGI prompten”) onderscheidt.

Ons doel is om consistent doorbraken te leveren in interpreteerbaarheid totdat AI volledig wordt begrepen en we een theorie van intelligentie hebben die zo robuust is als onze theorieën van logica of calculus.

Daarmee bedoelen we het bouwen. Het creëren van geweldige AI-hulpmiddelen en die in handen van mensen leggen. Het vrijgeven van dingen die het mold breken, die niemand eerder heeft gedaan, en die – meer dan alles anders – interessant en nuttig zijn.

In de woorden van Sir Francis Bacon, “Kennis is macht”. Daarom is de beste manier om ervoor te zorgen dat we AI begrijpen, door krachtige hulpmiddelen vrij te geven. In onze mening is een modelrouter een hulpmiddel van die soort. We zijn enthousiast om het te bouwen, te laten groeien en in handen van mensen te leggen.

Dit is de eerste van veel hulpmiddelen die we in de komende maanden zullen vrijgeven. Om een prachtige theorie van kunstmatige intelligentie te ontdekken, om geheel nieuwe soorten AI-infrastructuur te ermöglichen, om te helpen een betere toekomst te bouwen voor zowel mens als machine – we kunnen niet wachten om die hulpmiddelen met u te delen.

De komende maanden. Om een prachtige theorie van kunstmatige intelligentie te ontdekken, om geheel nieuwe soorten AI-infrastructuur te ermöglichen, om te helpen een betere toekomst te bouwen voor zowel mens als machine – we kunnen niet wachten om die hulpmiddelen met u te delen. Dank u voor het geweldige interview, lezers die meer willen leren, moeten Martian bezoeken.