Etan Ginsberg, Co-Founder von Martian – Interview-Serie

Etan Ginsberg ist der Co-Founder von Martian, einer Plattform, die jeden Prompt dynamisch an das beste LLM routet. Durch die Routen erreicht Martian eine höhere Leistung und niedrigere Kosten als jeder einzelne Anbieter, einschließlich GPT-4. Das System basiert auf der einzigartigen Model-Mapping-Technologie des Unternehmens, die LLMs aus komplexen Black-Boxen in eine interpretierbarere Architektur entpackt, was es zur ersten kommerziellen Anwendung von mechanistischer Interpretierbarkeit macht.

Etan hat seit der Mittelschule Code geschrieben, Websites entworfen und E-Businesses für Kunden aufgebaut. Als Polymath ist Etan ein Weltmeister im Gedächtniswettbewerb und wurde bei den Weltmeisterschaften im Schnellschreiben in Shenzhen, China, Zweiter.

Er ist ein Vid-Hackathon-Teilnehmer. Zu seinen bisherigen Auszeichnungen gehören der 3. Preis bei Tech Crunch SZ, der 7. Finalist bei der Princeton-Hackathon und 3 Industrieauszeichnungen bei der Yale-Hackathon.

Sie sind ein ehemaliger zweifacher Startup-Gründer, welche Unternehmen waren das und was haben Sie aus dieser Erfahrung gelernt?

Mein erstes Unternehmen war die erste Plattform für die Förderung und Weiterentwicklung des Sports American Ninja Warrior. Im Jahr 2012 sah ich American Ninja Warrior als einen Underground-Sport (ähnlich wie MMA in den 90ern) und ich erstellte die erste Plattform, auf der Menschen Blaupausen kaufen, Hindernisse bestellen und Trainingszentren finden konnten. Ich beriet Unternehmen, die eigene Trainingszentren eröffnen wollten, einschließlich der Unterstützung der US-Spezialkräfte bei einem Trainingskurs und der Skalierung einer Einrichtung von einer Skizze auf $300.000 Umsatz in den ersten drei Monaten. Obwohl ich noch in der High School war, hatte ich meine erste Erfahrung mit dem Management von Teams mit über 20 Mitarbeitern und lernte über effektives Management und zwischenmenschliche Beziehungen.

Mein zweites Unternehmen war ein alternatives Asset-Management-Unternehmen, das ich 2017 vor der ICO-Welle in der Kryptowährung mitgründete. Dies war meine erste Erfahrung mit NLP, bei der wir Sentiment-Analysen von Social-Media-Daten als Anlagestrategie verwendeten.

Ich lernte viele harte und weiche Fähigkeiten, die zum Betreiben eines Startups gehören – von der Teamführung bis hin zu den technischen Aspekten von NLP. Gleichzeitig lernte ich auch viel über mich selbst und darüber, woran ich arbeiten wollte. Ich glaube, dass die erfolgreichsten Unternehmen von Gründern gegründet werden, die von einem umfassenderen Ziel oder einer umfassenderen Vision getrieben werden. Ich verließ die Kryptowährung 2017, um mich auf NLP zu konzentrieren, da die Verbesserung und das Verständnis der menschlichen Intelligenz mich wirklich antreibt. Ich war froh, das zu entdecken.

Während Ihres Studiums an der University of Pennsylvania haben Sie einige AI-Forschungen durchgeführt, woran haben Sie genau geforscht?

Unsere Forschung konzentrierte sich ursprünglich auf den Bau von Anwendungen von LLMs. Insbesondere arbeiteten wir an Bildungsanwendungen von LLMs und bauten den ersten LLM-gesteuerten kognitiven Tutor. Die Ergebnisse waren ziemlich gut – wir sahen eine Verbesserung der Schülerergebnisse um 0,3 Standardabweichungen in den ersten Experimenten – und unser System wird von der University of Pennsylvania bis zur University of Bhutan verwendet.

Können Sie erläutern, wie diese Forschung Sie zur Mitgründung von Martian führte?

Weil wir einige der ersten Menschen waren, die Anwendungen auf Basis von LLMs bauten, waren wir auch einige der ersten Menschen, die die Probleme kennen, mit denen man bei der Erstellung von Anwendungen auf Basis von LLMs konfrontiert wird. Das führte unsere Forschung zur Infrastrukturschicht. Zum Beispiel haben wir sehr früh kleinere Modelle auf den Ausgaben größerer Modelle wie GPT-3 feinjustiert und Modelle auf speziellen Datenquellen für Aufgaben wie Programmieren und Mathematikproblemlösung feinjustiert. Das führte uns schließlich zu Problemen im Zusammenhang mit dem Verständnis des Modellverhaltens und der Modellrouten.

Die Ursprünge des Martian-Namens und seine Beziehung zur Intelligenz sind auch interessant, können Sie die Geschichte erzählen, wie dieser Name gewählt wurde?

Unser Unternehmen wurde nach einer Gruppe von ungarisch-amerikanischen Wissenschaftlern benannt, die als “Die Martianer” bekannt sind. Diese Gruppe, die im 20. Jahrhundert lebte, bestand aus einigen der intelligentesten Menschen, die je gelebt haben:

• Der berühmteste unter ihnen war John Von Neumann; er erfand die Spieltheorie, die moderne Computerarchitektur, die Automatentheorie und machte grundlegende Beiträge in Dutzenden anderer Bereiche.
• Paul Erdos war der produktivste Mathematiker aller Zeiten, mit über 1500 veröffentlichten Artikeln.
• Theodore Von Karman etablierte die fundamentalen Theorien der Aerodynamik und half bei der Gründung des amerikanischen Weltraumprogramms. Die von Menschen definierte Grenze zwischen der Erde und dem Weltraum wird als “Kármán-Linie” bezeichnet, um seine Arbeit zu ehren.
• Leo Szilard erfand die Atombombe, die Strahlentherapie und Teilchenbeschleuniger.

Diese Wissenschaftler und 14 andere wie sie (einschließlich des Erfinders der Wasserstoffbombe, des Mannes, der die Gruppentheorie in die moderne Physik einführte, und grundlegender Beiträge zu Bereichen wie Kombinatorik, Zahlentheorie, numerischer Analyse und Wahrscheinlichkeitstheorie) teilten eine bemerkenswerte Ähnlichkeit – sie alle wurden im gleichen Teil von Budapest geboren. Das führte dazu, dass Menschen fragten: Was war die Quelle so viel Intelligenz?

Als Antwort scherzte Szilard: “Die Martianer sind bereits hier und nennen sich Ungarn!” In Wirklichkeit… weiß niemand.

Die Menschheit befindet sich in einer ähnlichen Position heute in Bezug auf eine neue Gruppe von potenziell superintelligenten Gehirnen: Künstliche Intelligenz. Menschen wissen, dass Modelle unglaublich intelligent sein können, aber sie haben keine Ahnung, wie sie funktionieren.

Unsere Mission ist es, diese Frage zu beantworten – zu verstehen und die moderne Superintelligenz zu nutzen.

Sie haben eine Geschichte von unglaublichen Gedächtnisleistungen, wie sind Sie in diese Gedächtnisherausforderungen eingetaucht und wie half Ihnen diese Kenntnis bei dem Konzept von Martian?

In den meisten Sportarten kann ein professioneller Athlet etwa 2-3-mal so gut performen wie der Durchschnittsmensch (vergleichen Sie, wie weit ein Durchschnittsmensch ein Feldtor kickt oder wie schnell er einen Fastball wirft, im Vergleich zu einem Profi). Gedächtnissportarten sind faszinierend, weil die Top-Athleten 100-mal oder sogar 1000-mal mehr merken können als der Durchschnittsmensch mit weniger Training als die meisten Sportarten. Außerdem sind dies oft Menschen mit durchschnittlichem natürlichen Gedächtnis, die ihre Leistung spezifischen Techniken zuschreiben, die jeder lernen kann. Ich möchte das menschliche Wissen maximieren und sah die Weltmeisterschaften im Gedächtnis als eine unterbewertete Einsicht in die Art und Weise, wie wir außergewöhnliche Renditen durch die Steigerung der menschlichen Intelligenz erzielen können.

Ich wollte Gedächtnistechniken im gesamten Bildungssystem einsetzen, also begann ich zu erkunden, wie NLP und LLMs dabei helfen können, die Einrichtungskosten zu reduzieren, die die meisten effektiven Bildungsmethoden daran hindern, im Mainstream-Bildungssystem verwendet zu werden. Yash und ich erstellten den ersten LLM-gesteuerten kognitiven Tutor und das führte uns dazu, die Probleme mit der LLM-Implementierung zu entdecken, die wir heute lösen.

Martian ist im Wesentlichen das Abstrahieren der Entscheidung, welches Large Language Model (LLM) zu verwenden, warum ist dies derzeit so ein Schmerzpunkt für Entwickler?

Es wird immer einfacher, Sprachmodelle zu erstellen – die Kosten für Rechenleistung sinken, Algorithmen werden effizienter und mehr Open-Source-Tools sind verfügbar, um diese Modelle zu erstellen. Als Ergebnis erstellen mehr Unternehmen und Entwickler benutzerdefinierte Modelle, die auf benutzerdefinierten Daten trainiert sind. Da diese Modelle unterschiedliche Kosten und Fähigkeiten haben, können Sie durch die Verwendung mehrerer Modelle eine bessere Leistung erzielen, aber es ist schwierig, sie alle zu testen und die richtigen zu finden. Wir übernehmen diese Aufgabe für die Entwickler.

Können Sie erläutern, wie das System versteht, welches LLM für jede spezifische Aufgabe am besten geeignet ist?

Eine gute Routenführung ist grundlegend ein Problem des Modellverständnisses. Um zwischen Modellen effektiv zu routen, möchten Sie verstehen, was sie zum Scheitern oder Erfolg führt. Durch das Modell-Mapping können wir die Merkmale verstehen, die dazu führen, dass Modelle scheitern oder erfolgreich sind, und bestimmen, wie gut ein bestimmtes Modell auf eine Anfrage reagieren wird, ohne dass wir das Modell ausführen müssen. Als Ergebnis können wir die Anfrage an das Modell senden, das das beste Ergebnis liefern wird.

Können Sie erläutern, welche Art von Kosteneinsparungen durch die Optimierung des verwendeten LLM erzielt werden kann?

Wir ermöglichen es den Benutzern, festzulegen, wie sie zwischen Kosten und Leistung abwägen. Wenn Sie sich nur um die Leistung kümmern, können wir GPT-4 auf openai/evals überbieten. Wenn Sie nach einem bestimmten Kostenrahmen suchen, um Ihre Betriebswirtschaft zu machen, lassen wir Sie den maximalen Kostenrahmen für Ihre Anfrage festlegen, dann finden wir das beste Modell, um diese Anfrage zu erfüllen. Und wenn Sie etwas Dynamischeres suchen, lassen wir Sie festlegen, wie viel Sie für eine bessere Antwort zahlen möchten – damit können wir Ihnen das weniger teure Modell anbieten, wenn zwei Modelle eine ähnliche Leistung haben, aber einen großen Unterschied in den Kosten haben. Einige unserer Kunden haben bis zu 12-mal geringere Kosten gesehen.

Was ist Ihre Vision für die Zukunft von Martian?

Jedes Mal, wenn wir unser grundlegendes Verständnis von Modellen verbessern, führt dies zu einem Paradigmenwechsel für KI. Feinjustierung war das Paradigma, das durch das Verständnis von Ausgaben getrieben wurde. Prompting ist das Paradigma, das durch das Verständnis von Eingaben getrieben wird. Dieser Unterschied in unserem Verständnis von Modellen ist viel von dem, was traditionelles ML (“Lassen Sie uns einen Regressor trainieren”) und modernes generatives AI (“Lassen Sie uns einen Baby-AGI prompten”) unterscheidet.

Unser Ziel ist es, kontinuierlich Durchbrüche in der Interpretierbarkeit zu liefern, bis KI vollständig verstanden ist und wir eine Theorie der Intelligenz haben, die so robust ist wie unsere Theorien der Logik oder der Analysis.

Für uns bedeutet das Bauen. Es bedeutet, großartige AI-Tools zu erstellen und sie in die Hände der Menschen zu legen. Es bedeutet, Dinge zu veröffentlichen, die das Mold brechen, die niemand zuvor getan hat, und die – mehr als alles andere – interessant und nützlich sind.

In den Worten von Sir Francis Bacon: “Wissen ist Macht”. Entsprechend ist der beste Weg, um sicherzustellen, dass wir KI verstehen, leistungsstarke Tools zu veröffentlichen. In unserer Meinung ist ein Modell-Router ein Tool dieser Art. Wir freuen uns darauf, es zu bauen, zu wachsen und es in die Hände der Menschen zu legen.

Dies ist die erste von vielen Tools, die wir in den kommenden Monaten veröffentlichen werden. Um eine schöne Theorie der künstlichen Intelligenz zu entdecken, um völlig neue Arten von AI-Infrastruktur zu ermöglichen, um zu helfen, eine hellere Zukunft für Mensch und Maschine zu bauen – wir können es kaum erwarten, diese Tools mit Ihnen zu teilen.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten Martian besuchen.