Etan Ginsberg, Mitgründer von Martian – Interview-Serie

Etan Ginsberg ist der Mitgründer von Martian, einer Plattform, die jeden Prompt dynamisch an das beste LLM weiterleitet. Durch die Weiterleitung erzielt Martian eine höhere Leistung und niedrigere Kosten als jeder einzelne Anbieter, einschließlich GPT-4. Das System basiert auf der einzigartigen Model-Mapping-Technologie des Unternehmens, die LLMs aus komplexen Black-Boxen in eine interpretierbarere Architektur entpackt, was es zur ersten kommerziellen Anwendung von mechanistischer Interpretierbarkeit macht.

Etan hat seit der Mittelschule codiert, Websites entworfen und E-Businesses für Kunden aufgebaut. Als Polymath ist Etan ein Weltmeister im Gedächtnis und belegte den 2. Platz bei den Weltmeisterschaften im Schnellschreiben in Shenzhen, China.

Er ist ein Vid-Hackathon-Teilnehmer. Zu seinen bisherigen Auszeichnungen gehören der 3. Preis bei Tech Crunch SZ, der 7. Platz bei der Princeton-Hackathon und 3 Branchenauszeichnungen bei der Yale-Hackathon.

Sie sind ein zweifacher Gründerveteran, was waren diese Unternehmen und was haben Sie aus dieser Erfahrung gelernt?

Mein erstes Unternehmen war die erste Plattform für die Förderung und Weiterentwicklung des Sports American Ninja Warrior. Im Jahr 2012 sah ich American Ninja Warrior als einen Underground-Sport (ähnlich wie MMA in den 90ern) und baute die erste Plattform, auf der Menschen Blaupausen kaufen, Hindernisse bestellen und Trainingszentren finden konnten. Ich beriet Unternehmen, die eigene Trainingszentren eröffnen wollten, half dem US-Sonderkommando bei der Erstellung eines Trainingskurses und skalierte eine Einrichtung von der Skizze bis hin zu 300.000 US-Dollar Umsatz in den ersten drei Monaten. Obwohl ich noch in der High School war, sammelte ich meine erste Erfahrung im Management von Teams mit über 20 Mitarbeitern und lernte über effektives Management und zwischenmenschliche Beziehungen.

Mein zweites Unternehmen war ein alternatives Asset-Management-Unternehmen, das ich 2017 vor der ICO-Welle in der Kryptowährung mitgründete. Dies war meine erste Begegnung mit NLP, bei der wir Sentiment-Analysen von Social-Media-Daten als Anlagestrategie verwendeten.

Ich lernte viele harte und weiche Fähigkeiten, die zum Aufbau eines Startups gehören – von der Teamführung bis hin zu den technischen Aspekten von NLP. Gleichzeitig lernte ich auch viel über mich selbst und darüber, woran ich arbeiten wollte. Ich glaube, dass die erfolgreichsten Unternehmen von Gründern gegründet werden, die eine breitere Vision oder ein Ziel verfolgen. Ich verließ die Kryptowährung 2017, um mich auf NLP zu konzentrieren, da die Erweiterung und das Verständnis der menschlichen Intelligenz mich wirklich antreibt. Ich war froh, das entdeckt zu haben.

Während Ihres Studiums an der University of Pennsylvania haben Sie einige AI-Forschungen durchgeführt, woran haben Sie genau geforscht?

Unsere Forschung konzentrierte sich ursprünglich auf den Aufbau von LLM-Anwendungen. Insbesondere arbeiteten wir an Bildungsanwendungen von LLMs und bauten den ersten LLM-gestützten kognitiven Tutor. Die Ergebnisse waren ziemlich gut – wir sahen eine Verbesserung der Schülerergebnisse um 0,3 Standardabweichungen in den ersten Experimenten – und unser System wird von der University of Pennsylvania bis zur University of Bhutan eingesetzt.

Können Sie erläutern, wie diese Forschung dann zu der Gründung von Martian führte?

Weil wir einige der ersten Menschen waren, die Anwendungen auf Basis von LLMs aufbauten, waren wir auch einige der ersten Menschen, die die Probleme kennen, die Menschen haben, wenn sie Anwendungen auf Basis von LLMs aufbauen. Das führte unsere Forschung in Richtung der Infrastrukturschicht. Zum Beispiel haben wir sehr früh kleinere Modelle auf den Ausgaben größerer Modelle wie GPT-3 feinjustiert und Modelle auf speziellen Datenquellen für Aufgaben wie Programmieren und mathematisches Problemlösen feinjustiert. Das führte uns schließlich zu Problemen im Verständnis des Modellverhaltens und der Modellweiterleitung.

Die Herkunft des Namens Martian und seine Beziehung zur Intelligenz ist auch interessant, können Sie die Geschichte erzählen, wie dieser Name gewählt wurde?

Unser Unternehmen wurde nach einer Gruppe von ungarisch-amerikanischen Wissenschaftlern benannt, die als “Die Martianer” bekannt sind. Diese Gruppe, die im 20. Jahrhundert lebte, bestand aus einigen der intelligentesten Menschen, die je gelebt haben:

• Der bekannteste unter ihnen war John von Neumann; er erfand die Spieltheorie, die moderne Computerarchitektur, die Automatentheorie und machte grundlegende Beiträge in Dutzenden anderer Bereiche.
• Paul Erdős war der produktivste Mathematiker aller Zeiten, mit über 1500 veröffentlichten Artikeln.
• Theodore von Kármán etablierte die fundamentalen Theorien der Aerodynamik und half bei der Gründung des amerikanischen Weltraumprogramms. Die von Menschen definierte Grenze zwischen der Erde und dem Weltraum wird als “Kármán-Linie” bezeichnet, um seine Arbeit zu ehren.
• Leo Szilard erfand die Atombombe, die Strahlentherapie und die Teilchenbeschleuniger.

Diese Wissenschaftler und 14 andere wie sie (einschließlich des Erfinders der Wasserstoffbombe, des Mannes, der die Gruppentheorie in die moderne Physik einführte, und grundlegender Beiträger zu Bereichen wie Kombinatorik, Zahlentheorie, numerischer Analyse und Wahrscheinlichkeitstheorie) teilten eine bemerkenswerte Ähnlichkeit – sie alle wurden im gleichen Teil von Budapest geboren. Das führte dazu, dass Menschen fragten: Was war die Quelle so viel Intelligenz?

Als Antwort scherzte Szilard: “Die Martianer sind bereits hier und nennen sich Ungarn!” In Wirklichkeit… weiß niemand.

Die Menschheit befindet sich heute in einer ähnlichen Position in Bezug auf eine neue Gruppe von potenziell superintelligenten Gehirnen: Künstliche Intelligenz. Menschen wissen, dass Modelle unglaublich intelligent sein können, aber haben keine Ahnung, wie sie funktionieren.

Unsere Mission ist es, diese Frage zu beantworten – modernen Superintelligenz zu verstehen und zu nutzen.

Sie haben eine Geschichte außergewöhnlicher Gedächtnisleistungen, wie kamen Sie in diese Gedächtnisherausforderungen und wie half Ihnen diese Kenntnis bei dem Konzept von Martian?

In den meisten Sportarten kann ein professioneller Athlet etwa 2-3-mal so gut wie der Durchschnittsmensch (vergleichen Sie, wie weit ein Durchschnittsmensch ein Feldtor kickt oder wie schnell er einen Fastball wirft, im Vergleich zu einem Profi). Gedächtnissportarten sind faszinierend, weil die Top-Athleten 100-mal oder sogar 1000-mal mehr merken können als der Durchschnittsmensch, mit weniger Training als die meisten Sportarten. Außerdem sind dies oft Menschen mit durchschnittlichem natürlichen Gedächtnis, die ihre Leistung spezifischen Techniken zuschreiben, die jeder lernen kann. Ich will das menschliche Wissen maximieren und sah die Weltmeisterschaften im Gedächtnis als ungenutzte Einsicht in die Art und Weise, wie wir außergewöhnliche Renditen durch die Erhöhung der menschlichen Intelligenz steigern können.

Ich wollte Gedächtnistechniken im gesamten Bildungssystem einsetzen, also begann ich, zu erforschen, wie NLP und LLMs dabei helfen können, die Einrichtungskosten zu reduzieren, die verhindern, dass die meisten effektiven Bildungsmethoden im Mainstream-Bildungssystem verwendet werden. Yash und ich erstellten den ersten LLM-gestützten kognitiven Tutor und das führte uns zu den Problemen mit der LLM-Implementierung, die wir heute lösen.

Martian ist im Wesentlichen die Abstraktion der Entscheidung, welches Large Language Model (LLM) zu verwenden, warum ist dies derzeit so ein Schmerzpunkt für Entwickler?

Es wird immer einfacher, Sprachmodelle zu erstellen – die Kosten für die Rechenleistung sinken, die Algorithmen werden effizienter und es gibt mehr Open-Source-Tools, um diese Modelle zu erstellen. Als Ergebnis erstellen mehr Unternehmen und Entwickler benutzerdefinierte Modelle, die auf benutzerdefinierten Daten trainiert werden. Da diese Modelle unterschiedliche Kosten und Fähigkeiten haben, kann man durch die Verwendung mehrerer Modelle eine bessere Leistung erzielen, aber es ist schwierig, sie alle zu testen und die richtigen zu finden. Wir übernehmen diese Aufgabe für die Entwickler.

Können Sie erläutern, wie das System versteht, welches LLM für jede spezifische Aufgabe am besten geeignet ist?

Die Weiterleitung ist im Grunde ein Problem des Modellverständnisses. Um Modelle effektiv zu weiterleiten, muss man verstehen, was sie zum Scheitern oder Erfolg führt. Durch die Modellzuordnung können wir die Merkmale verstehen, die dazu führen, dass Modelle scheitern oder erfolgreich sind, und bestimmen, wie gut jedes Modell auf eine Anfrage reagieren wird, ohne dass wir das Modell ausführen müssen. Als Ergebnis können wir die Anfrage an das Modell weiterleiten, das das beste Ergebnis liefert.

Können Sie erläutern, welche Kosteneinsparungen durch die Optimierung des verwendeten LLM erzielt werden können?

Wir lassen die Benutzer festlegen, wie sie Kosten und Leistung abwägen. Wenn Sie nur an der Leistung interessiert sind, können wir GPT-4 auf openai/evals überbieten. Wenn Sie nach einem bestimmten Kostenrahmen suchen, um Ihre Wirtschaftlichkeit zu gewährleisten, lassen wir Sie den maximalen Kostenrahmen für Ihre Anfrage festlegen, und dann finden wir das beste Modell, um diese Anfrage zu bearbeiten. Und wenn Sie etwas Dynamischeres suchen, lassen wir Sie festlegen, wie viel Sie für eine bessere Antwort bezahlen möchten – damit können wir Ihnen das günstigere Modell anbieten, wenn zwei Modelle ähnliche Leistungen, aber große Unterschiede in den Kosten haben. Einige unserer Kunden haben bis zu 12-mal geringere Kosten gesehen.

Was ist Ihre Vision für die Zukunft von Martian?

Jedes Mal, wenn wir unser grundlegendes Verständnis von Modellen verbessern, führt es zu einem Paradigmenwechsel für KI. Feinabstimmung war das Paradigma, das durch das Verständnis von Ausgaben getrieben wurde. Prompting ist das Paradigma, das durch das Verständnis von Eingaben getrieben wird. Dieser Unterschied in unserem Verständnis von Modellen ist viel von dem, was traditionelles ML („Lassen Sie uns einen Regressor trainieren“) und modernes generatives AI („Lassen Sie uns einen Baby-AGI prompten“) unterscheidet.

Unser Ziel ist es, kontinuierlich Durchbrüche in der Interpretierbarkeit zu liefern, bis KI vollständig verstanden ist und wir eine Theorie der Intelligenz haben, die so robust ist wie unsere Theorien der Logik oder der Mathematik.

Für uns bedeutet das, zu bauen. Es bedeutet, großartige KI-Tools zu erstellen und sie in die Hände der Menschen zu legen. Es bedeutet, Dinge zu veröffentlichen, die den Rahmen sprengen, die noch nie jemand getan hat, und die – mehr als alles andere – interessant und nützlich sind.

In den Worten von Sir Francis Bacon: “Wissen ist Macht”. Entsprechend ist der beste Weg, um sicherzustellen, dass wir KI verstehen, leistungsstarke Tools zu veröffentlichen. In unserer Meinung ist ein Modell-Router ein solches Tool. Wir freuen uns darauf, es zu bauen, zu wachsen und es in die Hände der Menschen zu legen.

Dies ist das erste von vielen Tools, die wir in den kommenden Monaten veröffentlichen werden. Um eine schöne Theorie der künstlichen Intelligenz zu entdecken, um völlig neue Arten von KI-Infrastruktur zu ermöglichen, um zu helfen, eine hellere Zukunft für Mensch und Maschine zu bauen – wir können es kaum erwarten, diese Tools mit Ihnen zu teilen.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten Martian besuchen.