Interviews

Rahul Nambiar, Mitgründer und CEO von Propensity Labs – Interviewreihe

Antoine Tardif
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Wichtige PunkteDie Anpassung von Prompts an ein günstigeres Modell ermöglichte es, mit 7 % der Kosten…
Mehr anzeigen
  • Die Anpassung von Prompts an ein günstigeres Modell ermöglichte es, mit 7 % der Kosten ein Premium-Modell zu erreichen.
  • Günstigere Modelle scheitern oft an behebbaren Verhaltensmustern und nicht an unzureichender Rohleistungsfähigkeit.
  • Teams sollten die Kosten pro erfolgreich abgeschlossener Aufgabe messen und nicht nur die Kosten pro Token.

Rahul Nambiar ist Mitgründer und CEO von Propensity Labs. Zuvor baute er bei AWS eine Infrastruktur im großen Maßstab auf, bevor er zu Meta wechselte. Dort leitete er die Arbeit an einem Exabyte-großen Bestand an Nutzerdaten, der mithilfe von Machine-Learning-Klassifizierung erstellt wurde. Heute konzentriert er sich darauf, das Verhalten von KI-Modellen zu verstehen und Modell-Routing mit der Anpassung von Anweisungen zu kombinieren, um die Kosten und Zuverlässigkeit agentenbasierter Workflows zu verbessern.

Propensity Labs entwickelt Systeme, die Teams dabei helfen, KI-Modelle für ihre spezifischen Workloads auszuwählen und einzusetzen. Der Ansatz verbindet die Evaluierung des Modellverhaltens, die automatische Anpassung von Prompts und das Routing zwischen Modellen. Ziel ist es, Nutzern dabei zu helfen, mehr aus den verfügbaren Modellen herauszuholen, ohne sich mit jedem einzelnen davon auskennen zu müssen.

Deine Karriere führte dich von Meta, wo du bei einem Projekt zur Erstellung eines Exabyte-großen Datenbestands die Privacy-Technologie geleitet hast, über AWS bis zu deiner heutigen Position als CEO von Propensity Labs. Wie hat dieser technische Hintergrund deine Sicht auf die Grenzen aktueller KI-Modelle und das Potenzial eines spezialisierten Instruktions-Routings geprägt?

Tatsächlich habe ich bei AWS angefangen und bin dann zu Meta gewechselt. Eine Erkenntnis aus meiner Arbeit am Aufbau großer Systeme ist, dass sich oft enorme Verbesserungen erzielen lassen, wenn man versteht und optimiert, wie sich die zugrunde liegenden Komponenten verhalten, statt sie als austauschbare Blackboxes zu behandeln. Dasselbe gilt für KI-Modelle. Wir haben festgestellt, dass selbst sehr leistungsfähige Modelle Verhaltensweisen zeigen, die sich verstehen und umgehen lassen – oft mit überraschend großen Verbesserungen bei Leistung und Kosten.

In eurem jüngsten Experiment hast du gezeigt, dass geroutete, kleinere Modelle leistungsstärkere Premium-Modelle zu einem Bruchteil der Kosten übertreffen. Was sind die größten technischen Hürden, wenn man diese Art von Modell-Routing in Produktivumgebungen statt in einem Benchmark-Test umsetzen will?

Indem wir Prompts an Luna und dessen Schwächen anpassten, konnten wir erreichen, dass das Modell im komplexen agentenbasierten Tau3-Benchmark von Sierra die Leistung von Sol zu 7 % der Kosten erreichte. Durch das Routing zwischen Luna mit Anpassungen und Sol konnten wir die Leistung von Astra zu 16 % seiner Kosten erreichen.

Eine wichtige Erkenntnis für uns war, dass sowohl das Routing als auch die Prompt-Anpassung sehr genau auf den jeweiligen Workload zugeschnitten sein müssen. Benchmarks bieten klar definierte Umgebungen und Bewertungssysteme, mit denen sich untersuchen lässt, wie ein Modell bei einer bestimmten Aufgabe abschneidet und wie gut es diese bewältigt hat. Das zeigt, wie Prompts an das Modell angepasst werden müssen und wann auf welches Modell geroutet werden sollte.

Produktive Workflows sind nicht so klar strukturiert. Es gibt Aufzeichnungen davon, wie Modelle Aufgaben erledigen, aber keine zuverlässige Möglichkeit festzustellen, ob sie tatsächlich erfolgreich waren und woran sich eine gute Leistung erkennen lässt. Wir haben gelernt, vorhandene Nutzungsdaten – entweder Evaluierungen oder Aufzeichnungen aus der Produktivumgebung – heranzuziehen und daraus ein Evaluierungs-Setup zu rekonstruieren. Damit können wir verschiedene Modelle und Anpassungen anhand desselben Workloads testen.

Interessant ist, dass Routing und Anpassung gemeinsam betrachtet werden müssen. Ein günstigeres Modell kann mit den vorhandenen Prompts bei einer Aufgabe scheitern, sie aber bewältigen, sobald die Prompts an sein Verhalten angepasst wurden. Dadurch ändert sich, auf welches Modell überhaupt geroutet werden sollte.

Du erwähnst, dass Anweisungen an bestimmte Modelle angepasst werden müssen. Wie unterscheidest du zwischen Anweisungen, die allgemein gelten, und solchen, die speziell auf die Stärken und Schwächen einer bestimmten Modellarchitektur zugeschnitten werden müssen?

Viele Anweisungen, die allgemein gültig zu sein scheinen, müssen an das jeweilige Modell angepasst werden. Ein einfaches Beispiel dafür sind Halluzinationen in Antworten auf einzelne Anfragen. Wir haben hier zwei verschiedene Modelle untersucht: DeepSeek V4 Pro und GPT-6 Luna. Beide neigen stark dazu, sich Dinge auszudenken, wenn sie eine Antwort nicht kennen. Ein gewisser Aspekt ihres Trainingsprozesses führt dazu, dass sie sehr zögerlich sind, sich einer Antwort zu enthalten und zu sagen: „Ich weiß es nicht.“ Dieses Verhalten ist ähnlich, aber mit Prompts lässt es sich auf sehr unterschiedliche Weise eindämmen.

DeepSeek V4 Pro lässt sich dazu bringen, sich ähnlich häufig einer Antwort zu enthalten wie Claude-Modelle, wenn man es mit vielen Varianten von „Es ist in Ordnung, zu sagen: Ich weiß es nicht“ konfrontiert. Bei Luna hat dieselbe Taktik kaum Wirkung. Am besten reagiert Luna darauf, wenn für falsche Antworten ein Punktabzug festgelegt wird. Eine Formulierung wie „Eine falsche Antwort zählt -90 Punkte, eine richtige Antwort bringt dagegen nur +10 Punkte“ führt dazu, dass es sich genauso häufig einer Antwort enthält wie sein größeres Geschwistermodell Sol. Dasselbe Verhalten, aber ganz unterschiedliche Hebel, um es bei den beiden Modellen zu verändern. Um Anweisungen an ein bestimmtes Modell anzupassen, muss man sowohl das Modell als auch den Workflow, in dem es eingesetzt wird, genau verstehen.

Welche Anhaltspunkte siehst du dafür, dass das Routing zwischen günstigeren, spezialisierten Modellen eine nachhaltigere Strategie ist, als darauf zu warten, dass ein einzelnes, immer leistungsfähigeres Frontier-Modell alles bewältigt, während Unternehmen zunehmend auf agentenbasierte Workflows setzen?

Etwa jede Woche erscheint ein neues Frontier-Modell. Nehmen wir an, du entscheidest dich für den derzeit größten und besten Modelltyp für deinen gesamten Workflow. In ein paar Monaten oder sogar Wochen wird es wahrscheinlich kleinere Modelle geben, die große Teile deines Workflows oder sogar alles davon bewältigen können. Gleichzeitig wird es vermutlich auch größere oder stärker spezialisierte Modelle geben, die in deinem Workflow leistungsfähiger sind. Wenn du nicht wechselst oder zwischen Modellen routest, lässt du sowohl Leistung als auch Kosteneinsparungen ungenutzt.

Mit all diesen Entwicklungen Schritt zu halten, ist jedoch mühsam, und niemand sollte sich mit all den verschiedenen Modellen bestens auskennen müssen. Genau hier können wir unserer Meinung nach helfen: Wir sorgen dafür, dass Sie für Ihre Arbeitslast stets das beste Modell zu den geringstmöglichen Kosten für die gewünschte Leistung erhalten. Manchmal bedeutet das, für Teile Ihrer Arbeitslast einfach das leistungsfähigste verfügbare Modell auszuwählen; manchmal passen wir den Großteil Ihrer Arbeitslast so an, dass deutlich günstigere Modelle sie bewältigen können.

Wie gewährleisten Sie Datenkonsistenz und Datenschutz, wenn Sie ein System verwalten, das Aufgaben auf mehrere Modelle verteilt – insbesondere dann, wenn diese Aufgaben sensible Informationen betreffen?

Wir fungieren als Vermittlungsschicht zwischen Nutzern und Modellanbietern. Die Nutzer wählen aus, welche Anbieter sie verwenden möchten, und bringen ihre eigenen API-Schlüssel mit. Für ihre gesamte Arbeitslast oder Teile davon wählen wir bei diesen Anbietern das am besten geeignete Modell aus, passen die Arbeitslast an und leiten sie an die passenden Modelle weiter. Wir verwenden ausschließlich die Evaluierungen oder Traces, die ein Kunde freigibt, und trainieren weder mit seinen Daten noch speichern wir sie.

Sie haben Propensity Labs gemeinsam mit Mana Azarm gegründet. Wie teilen Sie Ihre Arbeit zwischen der forschungsintensiven Untersuchung des Modellverhaltens und der praktischen Systementwicklung für den Aufbau dieser agentenbasierten Pipelines auf?

Unsere Fähigkeiten ergänzen sich in diesem Bereich sehr gut. Mana, unsere Chef-Wissenschaftlerin und zugleich Professorin, konzentriert sich stärker auf das Modellverhalten, während ich mich eher mit der Systementwicklung befasse. Oder besser gesagt: So hätten wir es gern. In Wirklichkeit ist es komplizierter, und am Ende arbeiten wir beide jeweils an dem, was gerade das größte Hindernis darstellt.

Was sollten CTOs, die derzeit viel für API-Aufrufe an Premium-Modelle ausgeben, am einfachsten testen, um Modell-Routing und die Anpassung von Anweisungen in ihren bestehenden Arbeitsabläufen zu erproben?

Sprechen Sie mit uns! Aber im Ernst: Ich würde einfach ein kleineres Modell der neuesten Generation mit Ihrer konkreten Arbeitslast ausprobieren und schauen, was es bewältigen kann. Ich vermute, viele setzen noch auf größere Modelle älterer Generationen und haben angesichts des rasanten Fortschritts bei den Modellen noch nicht erkannt, dass es inzwischen kleinere und günstigere Alternativen gibt, die ihre Arbeitslast bewältigen können.

Welche weitverbreiteten Irrtümer haben Entwickler darüber, was günstigere Modelle leisten können, wenn sie richtig eingegrenzt oder angeleitet werden?

Am häufigsten wird angenommen, dass ein günstigeres Modell, wenn es scheitert, einfach nicht leistungsfähig genug ist. Ich halte es für sinnvoll, genau zu untersuchen, wie und an welchen Stellen ein günstigeres Modell in Ihren Arbeitsabläufen scheitert. Ein Teil dieser Fehler geht auf Muster zurück, in die das Modell häufig verfällt und die sich, wenn man sie erkennt und das Modell davon abbringt, möglicherweise so beeinflussen lassen, dass es die Aufgabe in Ihrem Arbeitsablauf bewältigt. Bei einem anderen Teil handelt es sich um Aufgaben, für die einem günstigeren Modell schlicht die grundlegenden Fähigkeiten fehlen, um sie korrekt auszuführen – dafür braucht man ein leistungsfähigeres Modell.

Ihre Arbeit bewegt sich an der Schnittstelle von Datenschutz, Skalierbarkeit und Kosten. Wo sehen Sie mit Blick auf die nächsten 12–18 Monate der KI-Infrastrukturentwicklung die größte Diskrepanz zwischen den Wünschen der Unternehmen und dem Angebot des aktuellen Tool-Ökosystems?

Im Gespräch mit Fachleuten, die Modelle in Produktionsumgebungen einsetzen, fällt mir häufig eine gewisse Angst auf, etwas zu verpassen (FOMO), und bis zu einem gewissen Grad auch Erschöpfung angesichts der neuen Modelle und ihrer zunehmenden Fähigkeiten. Die meisten Technologien werden mit der Zeit einfacher zu nutzen und bereitzustellen. Bei LLMs ist es schwieriger geworden: Es gibt eine Fülle von Modellen und Einstellungen, aus denen man wählen muss, etwa Temperatur, Schlussfolgerungsaufwand und Caching. Ich glaube, es bringt viel, diese Komplexität zu reduzieren und zu abstrahieren, damit Teams, die Modelle einsetzen, sich darauf konzentrieren können, was sie mit den Modellen erreichen möchten – und nicht darauf, wie sie es erreichen.

Welche Kennzahlen sollte ein technisches Team priorisieren, wenn es mit dem Routing über mehrere Modelle experimentiert, damit es nicht auf Kosten der Zuverlässigkeit nur Einsparungen anstrebt?

Ich würde mit der Erfolgsquote bei Aufgaben, der Fehlerrate, der Latenz und den Kosten pro erfolgreich abgeschlossener Aufgabe beginnen. Die Kosten pro Token allein sind nicht besonders aussagekräftig, wenn das günstigere Modell häufiger scheitert. Deshalb sollte man die Gesamtkosten einer Aufgabe berücksichtigen – einschließlich erneuter Versuche sowie aller Klassifikatoren oder Entscheidungsmodelle, die für das Routing aufgerufen werden.

Schwierig ist es, die Zuverlässigkeit zu messen. Wir haben oft beobachtet, dass Teams Schwierigkeiten haben, ihre Agenten von einem Modell auf ein anderes umzustellen, sich dann einige Monate lang intensiv mit Evaluierungen beschäftigen und anschließend feststellen, dass der Modellwechsel viel leichter fällt. Ich würde dringend empfehlen, so früh wie möglich in aussagekräftige Evaluierungen Ihrer Arbeitsabläufe zu investieren und sie aktuell zu halten, wenn sich Ihre Arbeitsabläufe oder die Art und Weise ändern, wie Ihre Nutzer sie verwenden.

Vielen Dank für das großartige Interview. Leserinnen und Leser, die sich näher mit Modell-Routing, der Anpassung von Anweisungen und Evaluierungsmethoden für zuverlässigere und kostengünstigere KI-Arbeitsabläufe befassen möchten, sollten Propensity Labs besuchen.

Antoine ist eine visionäre Führungspersönlichkeit und Gründungspartner von Unite.AI. Ihn treibt eine unerschütterliche Leidenschaft an, die Zukunft von KI und Robotik zu gestalten und voranzubringen. Als Serienunternehmer ist er überzeugt, dass KI die Gesellschaft ebenso grundlegend verändern wird wie die Elektrizität. Er spricht häufig begeistert über das Potenzial bahnbrechender Technologien und künstlicher allgemeiner Intelligenz (AGI).

Als Futurist widmet er sich der Frage, wie diese Innovationen unsere Welt prägen werden. Darüber hinaus ist er Gründer von Securities.io, einer Plattform mit Schwerpunkt auf Investitionen in Spitzentechnologien, die die Zukunft neu definieren und ganze Branchen umgestalten.