Yoav Naveh, Mitgründer und Co-CEO von Reindeer – Interviewreihe

Yoav Naveh ist Mitgründer und Co-CEO von Reindeer. Er bringt Erfahrung im Aufbau von Technologieunternehmen, in der Skalierung von Unternehmen und bei Investitionen in Gründer mit. Vor Reindeer baute er ConvertMedia auf, setzte seine Arbeit bei Taboola fort und investierte über INT3. Heute konzentriert er sich darauf, Unternehmen dabei zu helfen, von isolierten KI-Anwendungen zu Agenten überzugehen, die komplexe operative Aufgaben bewältigen, aus der Erfahrung von Fachleuten lernen und auch bei Veränderungen der Geschäftsprozesse zuverlässig bleiben können.

Reindeer entwickelt KI-Agenten für den Unternehmenseinsatz, die zentrale Betriebsabläufe in Bereichen wie Finanzen, Lieferkette, Logistik und Shared Services unterstützen. Die Plattform verbindet die Ausführung von Arbeitsabläufen mit Feedback von Fachleuten, Evaluierung und menschlicher Freigabe. So können sich die Agenten an Ausnahmefälle und sich wandelnde Richtlinien anpassen. In diesem Interview spricht Naveh über die Grenzen von Bereitstellungsmodellen mit hohem Engineering-Aufwand, darüber, wie institutionelles Wissen zum Kontext für Agenten wird, und über die Governance und Erfolgsmessung, die nötig sind, um den menschlichen Gesamtaufwand langfristig zu senken.

Nachdem Sie ConvertMedia aufgebaut, innerhalb von Taboola skaliert und über INT3 in andere Gründer investiert hatten: Welches Problem zog Sie zurück zum Aufbau eines Unternehmens, und wie prägte es Ihre Entscheidung, Reindeer mitzugründen?

Der KI-Markt war zu spannend, als dass wir nur von der Seitenlinie hätten zusehen wollen. Mein Mitgründer Yair und ich interessierten uns sehr für die Kluft zwischen dem großen Nutzen, den KI für uns im individuellen Einsatz inzwischen hat, und den Schwierigkeiten, vor denen Unternehmen stehen, wenn sie KI im großen Maßstab einführen wollen. Die Technologie entwickelt sich unglaublich schnell weiter, doch den meisten Unternehmen fällt es nach wie vor schwer, dieses Potenzial in bedeutsame Veränderungen im Betriebsalltag umzusetzen.

KI wird die Arbeitsweise von Unternehmen verändern, doch dafür braucht es mehr als bessere Technologie. Nötig sind Führungskräfte, die bereit sind, Arbeitsabläufe neu zu denken, und ein praktikabler Weg, KI in den täglichen Betrieb zu integrieren, ohne neue Komplexitätsebenen zu schaffen.

Diese Herausforderung hat Reindeer geprägt. Wir haben eine Plattform entwickelt, die Unternehmen von ihrem ersten Agenten bis hin zu einer ganzen Herde von Agenten begleitet, die aus menschlichem Feedback lernen und sich mit der Zeit verbessern. Unser Ziel ist es, die Kluft zwischen dem Potenzial von KI und ihrer praktischen Nutzung zu schließen und Unternehmen dabei zu helfen, ihre zentralen Betriebsabläufe in eine agentenbasierte KI-Belegschaft zu verwandeln, ohne jeden Agenten neu aufbauen oder ständig warten zu müssen.

Sie haben argumentiert, dass das Modell mit vor Ort eingesetzten Ingenieurteams die Gefahr birgt, Unternehmens-KI zu einem arbeitsintensiven Dienstleistungsgeschäft zu machen. Wo schafft die enge Einbindung von Ingenieuren dauerhaften Mehrwert, und wann wird sie zu einer Abhängigkeit, die Kunden daran hindert, zu skalieren?

Vor Ort eingesetzte Ingenieure sind bei komplexen Integrationen und dabei wertvoll, erste Agenten in den Produktivbetrieb zu bringen. Problematisch wird es, wenn sich die Arbeitsabläufe selbst ändern und FDEs dauerhaft nötig sind, damit die Agenten ihre Aufgaben weiter erledigen können. Besonders im großen Maßstab. Das FDE-Modell funktioniert bei 5 Agenten. Bei hundert Agenten stößt es an seine Grenzen.

Wenn für jeden neuen Arbeitsablauf oder jeden unerwarteten Ausnahmefall mehr Engineering-Aufwand nötig ist, skalieren Sie nicht Software, sondern teure menschliche Arbeitskraft.

Die meisten Unternehmen, die FDEs einsetzen, behaupten, ihre Ingenieure würden sich schließlich anderen Aufgaben zuwenden. Unternehmen sollten sich diesen Nachweis vorlegen lassen, bevor sie einen Vertrag unterzeichnen, der den Einsatz von FDEs voraussetzt. Wir haben bereits gesehen, wie anfällig RPA wurde, als sich Geschäftsprozesse weiterentwickelten. Wir sollten nicht erwarten, dass von Hand entwickelte Agenten davon ausgenommen sind.

Unternehmensabläufe umfassen oft undokumentierte Ausnahmefälle und widersprüchliche Vorgehensweisen in verschiedenen Teams. Wie erfasst Reindeer, wie die Arbeit tatsächlich erledigt wird, und unterscheidet dabei nützliches institutionelles Wissen von Gewohnheiten, die nicht automatisiert werden sollten?

In den meisten Unternehmen gibt es enorme Mengen an institutionellem Wissen, das nirgends dokumentiert ist. Es steckt in den Köpfen der Beschäftigten. Unsere Agenten starten mit unvollständigem Wissen und lernen anhand realer Fälle. Wenn sie auf unbekannte Situationen stoßen, bitten sie Fachleute um Rat.

Von einer Mitarbeiterin oder einem Mitarbeiter zu lernen bedeutet jedoch nicht, das Verhalten einfach nachzuahmen. Unser System unterscheidet zwischen Einzelfällen und wiederkehrenden Mustern und schlägt umfassendere Änderungen vor, die von Menschen freigegeben werden müssen.

Wir versuchen nicht, jede Gewohnheit zu automatisieren. Wir wollen wertvolles institutionelles Wissen in zuverlässige Intelligenz überführen, ohne dass Ingenieure jeden möglichen Fall im Voraus vorhersehen müssen.

Die meisten Unternehmen, die agentenbasierte KI entwickeln, beginnen damit, den Prozess zu dokumentieren und anschließend zu programmieren, nachdem sie Mitarbeitende befragt und frühere Daten akribisch ausgewertet haben. In Wirklichkeit lernt ein neues Teammitglied einen Prozess jedoch am effektivsten genau dann, wenn es zum Team stößt: Es prägt sich weder die Daten eines ganzen Jahres noch eine 3.000-seitige SOP ein. Es erlernt einige Fähigkeiten, sieht sich ein paar Beispiele an, fängt an zu arbeiten, stellt Fragen, wenn ihm etwas unklar ist, und baut so sein Wissen auf. Genau diesen Prozess haben wir entwickelt.

Agentenbasierte KI bietet Unternehmen auch die Möglichkeit, einen Prozess neu zu denken, statt ihn einfach so zu automatisieren, wie er derzeit abläuft. Teams, die ausschließlich aus Menschen bestehen, regelbasierte Automatisierung und herkömmliche Software haben Prozesse jeweils an ihre eigenen Grenzen angepasst. Indem Agenten gemeinsam mit Fachleuten lernen, unterstützt Reindeer Unternehmen dabei, ihre Prozesse zu überdenken: Welche Vorgehensweisen sollen beibehalten, welche aufgegeben werden und wo können Agenten und Menschen jeweils den größten Mehrwert schaffen?

Wenn Sie sagen, dass die Agenten von Reindeer im Produktivbetrieb kontinuierlich dazulernen: Was verändert sich dabei tatsächlich – die Modellgewichte, das Gedächtnis, die Workflow-Logik oder explizite Richtlinien? Können Sie uns anhand eines Ausnahmefalls erläutern, wie ein Agent dadurch lernt, künftige Fälle anders zu behandeln?

Was sich verändert, sind der Kontext und die Fähigkeiten des Agenten: die Workflow-Logik, die Richtlinien und die Anweisungen dazu, wann die jeweilige Richtlinie anzuwenden ist.

Nehmen wir einen Rechnungsagenten. Er erhält eine Rechnung, die 4 % über dem Bestellauftrag liegt, und findet keine Richtlinie, die diesen Fall abdeckt. Statt die Rechnung zu bearbeiten, leitet der Agent den Fall an einen Experten weiter. Der Experte erklärt, dass für diesen Lieferanten eine genehmigte Ausnahme für Treibstoffzuschläge gilt. Der Agent löst den Fall und speichert die Erklärung ausschließlich als Kontext für diesen Lieferanten.

Tritt dieselbe Art von Ausnahme erneut bei anderen Lieferanten auf und lösen andere Experten sie auf dieselbe Weise, schlägt das System eine Richtlinienänderung vor, etwa: „Treibstoffzuschläge von bis zu 5 % sind zulässig, wenn der Vertrag dies erlaubt.“ Bevor der Agent die Änderung anwendet, wird der Vorschlag getestet und von einem Menschen genehmigt. Die Antwort eines Experten löst einen einzelnen Fall. Ein Muster über mehrere Fälle hinweg wird zu einem möglichen Ansatzpunkt für eine neue Regel.

Die Entscheidung eines Mitarbeiters kann für einen Kunden oder eine Transaktion angemessen sein, ohne sich als allgemeine Regel zu eignen. Wie entscheiden Sie, wann eine Rückmeldung als einmalige Ausnahme behandelt werden sollte und wann sie in einen Vorschlag zur Änderung der Richtlinien einfließen sollte?

Wir unterscheiden zwischen der Lösung eines einzelnen Falls und einer Änderung daran, wie ein Agent künftig arbeitet.

Ein Mitarbeiter kann für einen Kunden eine Ausnahme genehmigen. Das bedeutet aber nicht, dass dieselbe Ausnahme allgemein gelten sollte. Ich würde sogar sagen, dass zwei verschiedene Mitarbeiter dieselbe Ausnahme für denselben Kunden unterschiedlich lösen können. Unser System bewertet die Umstände, erkennt wiederkehrende Muster, gleicht Widersprüche ab und prüft, ob mögliche Konflikte mit bestehenden Richtlinien bestehen.

Wenn es Belege für eine umfassendere Änderung gibt, lassen wir den Agenten über unsere Evaluierungsplattform laufen – gewissermaßen eine „Truman-Show“ für Agenten – und schlagen eine Aktualisierung zur Genehmigung durch einen Menschen vor.

Ziel ist es, von Menschen zu lernen, nicht ihre Entscheidungen blind zu kopieren. Andernfalls automatisiert man einfach Fehler.

Ein Agent kann sich bei kürzlich aufgetretenen Fällen verbessern und zugleich bei Situationen, die er zuvor korrekt bewältigt hat, unzuverlässiger werden. Welche Tests und Genehmigungsschritte muss eine vorgeschlagene Änderung durchlaufen, bevor sie in den Produktivbetrieb gelangt, und wie erkennen und beheben Sie Rückschritte?

Kontinuierliches Lernen ohne Steuerung ist gefährlich. Deshalb durchläuft jede vorgeschlagene Änderung drei Schutzmaßnahmen: Regressionstests, die Genehmigung durch einen Menschen und einen Konfidenzschwellenwert, der festlegt, wann der Agent selbstständig handeln darf.

Tests stehen an erster Stelle. Sie sind schwieriger, als es klingt, denn für operative Arbeit gibt es keinen festen Lösungsschlüssel. Wir wählen anhand von Expertenfeedback repräsentative Fälle aus, legen Kriterien für den Vergleich der Ergebnisse fest und spielen diese Fälle sowohl mit dem aktuellen Agenten als auch mit der vorgeschlagenen Version erneut durch. Aktionen mit Nebenwirkungen, etwa das Versenden einer E-Mail, werden in einem Simulator ausgeführt, der auf früheren Durchläufen basiert. Testfälle, die nicht mehr mit den aktuellen Richtlinien übereinstimmen, werden aussortiert. Damit wir die tatsächlichen Auswirkungen einer Änderung messen können, müssen die Agenten glauben, dass sie sich in der realen Welt befinden und ihre Handlungen reale Folgen haben – etwa einen in SAP angelegten Datensatz oder eine an einen Kunden gesendete E-Mail. Nur so lässt sich für jeden Agenten ein echtes Evaluierungsframework aufbauen.

Anschließend prüft ein menschlicher Manager die Änderung, die dafür vorliegenden Belege und die Testergebnisse. Er kann sie genehmigen, überarbeiten oder ablehnen. Bis zur Genehmigung ändert sich nichts an der Arbeitsweise des Agenten.

Der Konfidenzschwellenwert schützt das Unternehmen, nachdem eine Änderung in Kraft getreten ist. Der Agent handelt nur dann selbstständig, wenn seine Konfidenz den Schwellenwert überschreitet; liegt sie darunter, wird der Fall an einen Experten weitergeleitet. Die Betriebsteams passen diesen Schwellenwert selbst an. So können sie zunächst vorsichtig vorgehen und dem Agenten mit zunehmender Erfolgsbilanz mehr Autonomie gewähren.

Sinkt die Qualität nach einer Änderung, verschärft das System automatisch die Prüfschwellenwerte, sodass mehr Fälle an Experten weitergeleitet werden. Durch deren Feedback wird das Problem über dieselbe Rückkopplungsschleife sichtbar, über die auch die Änderung vorgeschlagen wurde. Jede Richtlinienänderung wird versioniert, einer verantwortlichen Person zugeordnet und protokolliert. So kann ein Team nachvollziehen, was geändert wurde, wer die Änderung genehmigt hat und warum, und bei Bedarf zur vorherigen Version zurückkehren.

Weniger Entwicklungsaufwand kann trotzdem bedeuten, dass Betriebsteams weiterhin viel Arbeit damit haben, Ausnahmen zu prüfen und Agenten zu korrigieren. Wie messen Sie, ob Reindeer den gesamten menschlichen Arbeitsaufwand tatsächlich verringert, statt ihn lediglich auf ein anderes Team zu verlagern?

Tatsächlich gibt es in den meisten Unternehmen bereits Teams, die diese Arbeit manuell erledigen. Unser Ziel ist nicht, diese Arbeitslast auf ein anderes Team zu verlagern, sondern sie mit der Zeit zu verringern. Wir befähigen die erfahrensten Mitarbeiter des bestehenden Teams, dem Agenten beizubringen, Ausnahmen zu bearbeiten und selbstständig bessere Entscheidungen zu treffen.

Das Problem mit dem FDE-Modell ist, dass Arbeit dadurch häufig von vergleichsweise gering bezahlten Beschäftigten im operativen Bereich auf teure Ingenieure verlagert wird. Damit löst man das Personalproblem nicht, sondern macht es kostspieliger. Reindeer bringt keine Ingenieure in diese Gleichung ein. Stattdessen messen wir den Erfolg daran, wie viel mehr Arbeit die Agenten im Laufe der Zeit selbstständig erledigen können und wie viel weniger menschliches Eingreifen im gesamten Prozess erforderlich ist.

Wir verfolgen drei Kennzahlen: den Anteil der Fälle, die der Agent ohne menschliche Hilfe vollständig bearbeitet, die Zahl der Expertenkontakte pro Fall und die gesamte Bearbeitungszeit pro Fall, wenn man Agenten und Menschen zusammen betrachtet. Sinkt die dritte Kennzahl nicht, verschieben wir die Arbeit nur.

Könnten Sie anhand eines Einsatzes bei Hellmann Worldwide Logistics oder Papaya Global erläutern, was sich vom Start bis zum laufenden Betrieb verändert hat? Wie haben sich Genauigkeit, Ausnahmequoten und Bearbeitungszeiten entwickelt, und wie viel menschliches Eingreifen war erforderlich?

Hellmann Worldwide Logistics ist ein hervorragendes Beispiel dafür, wie Agenten den operativen Alltag mit der Zeit verbessern können. Das Pricing-Team verbrachte sehr viel Zeit damit, Transportanfragen manuell per E-Mail sowie anhand von Tabellen und anderen Dokumenten zu bearbeiten. Oft dauerte es mehrere Tage, bis ein Angebot erstellt war.

Wir begannen mit rund 20 Musteranfragen, um den Arbeitsablauf zu verstehen und den Agenten zu trainieren. Anschließend arbeiteten die Pricing-Experten von Hellmann direkt mit dem System, gaben Feedback und halfen ihm, mit Ausnahmefällen umzugehen. Während der Tests erfassten wir Genauigkeit und Geschwindigkeit und überwachten die Leistung weiter, nachdem der Agent in den produktiven Betrieb übergegangen war.

Heute werden Routineanfragen automatisch bearbeitet, während komplexere Fälle an das Team weitergeleitet werden. Entscheidend ist, dass der Agent erkennt, wenn Informationen fehlen, statt Annahmen zu treffen. So können Mitarbeitende dort eingreifen, wo ihr Fachwissen tatsächlich gebraucht wird.

Dadurch verkürzte sich die Bearbeitungszeit für Angebote, es fielen weniger manuelle Dateneingaben an und es blieb mehr Zeit für den direkten Kundenkontakt. Auch die Abschlussquote von Hellmann bei Angeboten ist gestiegen. Ziel ist nicht, Menschen aus dem Prozess zu entfernen, sondern den Umfang der Routinearbeit, die ihr Eingreifen erfordert, kontinuierlich zu verringern.

Was haben Sie über die Grenzen dieses Ansatzes gelernt? Welche Merkmale eines Arbeitsablaufs zeigen, dass er für einen adaptiven Agenten geeignet ist, und welche sprechen dafür, dass das Unternehmen zunächst den Prozess neu gestalten oder weiterhin herkömmliche Automatisierung einsetzen sollte?

Nicht jeder Prozess braucht einen KI-Agenten. Die größten Chancen bieten repetitive Arbeitsabläufe mit hohem Volumen, die kontextbezogene Urteilsfähigkeit erfordern – insbesondere, wenn sich Informationen über mehrere Systeme verteilen und Mitarbeitende regelmäßig Ausnahmefälle bearbeiten.

Die deutlichste Erkenntnis aus unseren Implementierungen ist, dass sich in Unternehmen eine neue Funktion herausbildet – ähnlich wie Revenue Operations mit CRM und DevOps mit der Cloud entstanden sind. Wenn Unternehmen von einigen wenigen Agenten zu einer ganzen Schar übergehen, brauchen sie eine Person oder ein Team, das die Agenten so verwaltet, wie eine Abteilungsleitung ihre Mitarbeitenden führt: Diese Person oder dieses Team trägt die Verantwortung für die KPIs und den ROI der Agenten, entscheidet, welche Aufgaben sie übernehmen sollen und welche nicht, und genehmigt, wie sie verändert werden. Die Unternehmen, die diese Funktion bereits aufbauen, kommen am schnellsten voran und sind am besten aufgestellt, um erfolgreich zu sein.

Widersprüchliche Vorgehensweisen sind kein Grund zu warten. Fachleute sind sich bei fast jedem Arbeitsablauf uneinig, und unser System ist darauf ausgelegt, solche Widersprüche aufzudecken und in Vorschläge für Richtlinien zu überführen. Sie aufzulösen, gehört zu den Aufgaben der verantwortlichen Person – ein weiterer Grund, diese Rolle einzurichten, bevor Agenten in großem Umfang eingesetzt werden.

Auch der Ansatz selbst hat Grenzen. Kernprozesse werden nicht vollständig automatisiert, und das ist auch nicht unser Ziel. Agenten erweitern ihren Einsatzbereich schrittweise, während risikoreiche Fälle bewusst in menschlicher Hand bleiben.

Welche Teile der Einführung von KI in Unternehmen werden Ihrer Erwartung nach zu austauschbarer Standardware, wenn sich Basismodelle und Tools zum Aufbau von Agenten weiterentwickeln, und in welchen Bereichen baut Reindeer einen Vorteil auf, der mit jeder Implementierung im Produktivbetrieb wächst?

Basismodelle werden zunehmend austauschbar sein, da sie günstiger, schneller und leistungsfähiger werden. Auch die Entwicklung einfacher Agenten und ihre Anbindung an Unternehmenssysteme werden immer einfacher.

Doch einen Agenten zu entwickeln ist nicht dasselbe, wie ihn in einem komplexen Unternehmen dauerhaft zuverlässig zu machen.

Der entscheidende Wettbewerbsvorteil liegt im proprietären Wissen darüber, wie ein Unternehmen tatsächlich arbeitet – und das verändert sich ständig. Jeder produktive Einsatz bietet unseren Agenten die Gelegenheit, dazuzulernen, künftige Ausnahmefälle zu lösen und den Bedarf an menschlichem Eingreifen zu verringern.

Modelle werden günstiger. Agenten zu entwickeln wird einfacher.

Erfolgreich werden diejenigen sein, die die kostspieligen personellen Entwicklungsstrukturen beseitigen, die nötig sind, damit die Agenten dauerhaft funktionieren und relevant bleiben.

Vielen Dank für das großartige Interview. Leserinnen und Leser, die mehr über adaptive KI-Agenten für Unternehmen, operative Automatisierung und menschengeführtes Lernen erfahren möchten, sollten Reindeer besuchen.