Dimitri Masin, CEO & Co-Founder bei Gradient Labs – Interview-Serie

Dimitri Masin ist der CEO und Co-Founder von Gradient Labs, einem AI-Startup, das autonome Kunden-Support-Agenten speziell für regulierte Branchen wie Finanzdienstleistungen entwickelt. Bevor er Gradient Labs 2023 gründete, hatte Masin Führungspositionen bei Monzo Bank inne, darunter Vice President of Data Science, Financial Crime und Fraud, und arbeitete zuvor bei Google. Unter seiner Führung hat Gradient Labs schnell an Fahrt gewonnen und innerhalb von fünf Monaten nach dem Launch einen Umsatz von 1 Million Pfund pro Jahr erreicht. Masins Fokus liegt auf der Entwicklung von AI-Systemen, die hohe Leistung mit strenger regulatorischer Konformität kombinieren, um sichere und skalierbare Automatisierung für komplexe Kundenoperationen zu ermöglichen.

Was hat Sie dazu inspiriert, Gradient Labs nach einer so erfolgreichen Zeit bei Monzo zu gründen?

Bei Monzo hatten wir Jahre damit verbracht, an der Automatisierung des Kunden-Supports zu arbeiten, typischerweise mit bescheidenen Effizienzsteigerungen von 10 %. Aber Anfang 2023 erlebten wir eine seismische technologische Veränderung mit der Veröffentlichung von GPT-4. Plötzlich wurde es möglich, 70-80 % der manuellen, wiederholten Arbeit vollständig autonom durch AI zu automatisieren.

Diese technologische Durchbruch, den wir derzeit erleben, hat uns dazu inspiriert, Gradient Labs zu gründen. In meiner Karriere habe ich zwei solche revolutionären Wellen gesehen: die mobile Revolution (die zu Beginn meiner Karriere stattfand) und jetzt AI. Wenn man erkennt, dass man mitten in einer solchen Transformation ist, die die Welt vollständig verändern wird, muss man den Moment nutzen. Unser Team wusste – dies ist der Zeitpunkt.

Bei Monzo haben Sie das Unternehmen durch ein massives Hyperwachstum geführt. Welche waren die größten Lektionen aus dieser Erfahrung, die Sie jetzt bei Gradient Labs anwenden?

Erstens, Autonomie mit Richtung ausbalancieren. Bei Monzo hatten wir ursprünglich angenommen, dass Menschen einfach auf Autonomie thriven – dass es das ist, was sie am meisten motiviert. Dieser Ansicht scheint jedoch jetzt zu einfach zu sein. Ich glaube, dass Menschen auch Wert auf Richtung legen. Wahre Autonomie besteht nicht darin, Menschen zu sagen: “Machen Sie, was Sie entscheiden”, sondern darin, klare Richtung zu geben, während man ihnen die Freiheit gibt, gut definierte Probleme auf ihre Weise zu lösen.

Zweitens, Top-Talent erfordert Top-Vergütung. Wenn man das Top 5 % in seiner Funktion anstrebt, muss man entsprechend bezahlen. Andernfalls werden große Technologie-Unternehmen sie einstellen, sobald es bekannt wird, dass man Top-Talent hat, das unterbezahlt wird.

Drittens, nicht das Rad neu erfinden. Bei Monzo haben wir versucht, innovative Ansätze für Arbeitsstrukturen, Vergütungssysteme und Karriereleitern zu entwickeln. Die wichtigste Erkenntnis: Energie nicht auf die Neuerfindung organisatorischer Grundlagen verschwenden – Tausende von Unternehmen haben bereits Best Practices etabliert. Ich sehe immer noch LinkedIn-Beiträge über “Beseitigung aller Titel und Hierarchien” – ich habe dies wiederholt beobachtet und fast alle Unternehmen kehren letztendlich zu traditionellen Strukturen zurück.

Gradient Labs konzentriert sich auf regulierte Branchen, die traditionell komplexe Bedürfnisse haben. Wie haben Sie einen AI-Agenten (wie Otto) entwickelt, der in dieser Umgebung effektiv operieren kann?

Wir haben einen unkonventionellen Ansatz verfolgt und die typische Empfehlung, schnell zu veröffentlichen und auf einem Live-Produkt zu iterieren, abgelehnt. Stattdessen haben wir 14 Monate vor der Veröffentlichung von Otto verbracht und von Anfang an einen sehr hohen Qualitätsstandard aufrechterhalten. Wir mussten etwas schaffen, das Banken und Finanzinstituten vertrauen würden, um ihren Support vollständig autonom zu handhaben.

Wir haben nicht an Co-Piloten gearbeitet – wir haben eine End-to-End-Automatisierung des Kunden-Supports entwickelt. Mit unserem Hintergrund in Finanzdienstleistungen hatten wir einen präzisen internen Benchmark für “was gut aussieht”, der es uns ermöglichte, die Qualität ohne Kundenfeedback zu bewerten. Dies gab uns die Freiheit, uns auf Qualität zu konzentrieren, während wir schnell iterierten. Ohne Live-Kunden konnten wir größere Sprünge machen, Dinge frei brechen und schnell umsteuern – letztendlich ein überlegenes Produkt bei der Veröffentlichung.

Otto geht über die Beantwortung einfacher Fragen hinaus und handhabt komplexe Workflows. Können Sie uns durch die Art und Weise führen, wie Otto mehrschrittige oder hochriskante Aufgaben handhabt, bei denen typische AI-Agenten versagen könnten?

Wir haben Otto um das Konzept von SOPs (Standard Operating Procedures) herum aufgebaut – im Wesentlichen Anleitungsdokumente, die in einfacher Sprache geschrieben sind und beschreiben, wie bestimmte Probleme zu handhaben sind, ähnlich wie man es einem menschlichen Agenten geben würde.

Zwei wichtige architektonische Entscheidungen machen Otto besonders effektiv bei der Handhabung komplexer Workflows:

Erstens, begrenzen wir die Tool-Exposition. Ein häufiger Fehlermodus für AI-Agenten ist die falsche Auswahl aus zu vielen Optionen. Für jedes Verfahren exponieren wir nur eine kleine Teilmenge relevanter Tools für Otto. Beispielsweise kann Otto in einem Karten-Ersatz-Workflow möglicherweise nur 1-2 Tools sehen, anstatt aller 30 im System registrierten Tools. Dies verbessert die Genauigkeit erheblich, indem der Entscheidungsraum reduziert wird.

Zweitens haben wir einen großen Teil der typischen AI-Assistenten-Infrastruktur neu aufgebaut, um umfangreiches Chain-of-Thought-Reasoning zu ermöglichen. Anstatt einfach Verfahren an einen OpenAI- oder Anthropic-Assistenten zu werfen, ermöglicht unsere Architektur mehrere Verarbeitungsschritte zwischen Eingaben und Ausgaben. Dies ermöglicht tiefere Argumentation und zuverlässigere Ergebnisse.

Gradient Labs erwähnt die Erreichung von “übermenschlicher Qualität” im Kunden-Support. Was bedeutet “übermenschliche Qualität” für Sie, und wie messen Sie sie intern?

Übermenschliche Qualität bedeutet, Kunden-Support zu liefern, der messbar besser ist als das, was Menschen erreichen können. Die folgenden drei Beispiele veranschaulichen dies:

Erstens, umfassendes Wissen. AI-Agenten können große Mengen an Informationen verarbeiten und haben detailliertes Wissen über ein Unternehmen. Im Gegensatz dazu lernen Menschen typischerweise nur einen kleinen Teil der Informationen und müssen, wenn sie etwas nicht wissen, auf Wissensbasen oder Kollegen zurückgreifen. Dies führt zu einer frustrierenden Erfahrung, bei der Kunden zwischen Teams weitergeleitet werden. Ein AI-Agent hingegen hat ein tiefes Verständnis des Unternehmens und seiner Prozesse und liefert konsistente, end-to-end-Antworten – ohne Eskalation.

Zweitens, nicht-lazy-Lookups – AI ist schnell darin, Informationen zu sammeln. Während Menschen versuchen, Zeit zu sparen, indem sie Kunden Fragen stellen, bevor sie untersuchen, untersucht AI proaktiv Kontoinformationen, Flags, Warnungen und Fehlermeldungen, bevor das Gespräch beginnt. Wenn also ein Kunde vage sagt “Ich habe ein Problem mit X”, kann AI sofort eine Lösung anbieten, anstatt mehrere klärende Fragen zu stellen.

Drittens, Geduld und Konsistenz der Qualität. Im Gegensatz zu Menschen, die unter Druck stehen, eine bestimmte Anzahl von Antworten pro Stunde zu bearbeiten, hält unser AI-Agent konstant hohe Qualität, Geduld und präzise Kommunikation aufrecht. Er antwortet geduldig, solange es notwendig ist, ohne sich zu beeilen.

Wir messen dies hauptsächlich durch Kundenzufriedenheitsscores. Für alle aktuellen Kunden erreichen wir CSAT-Scores, die im Durchschnitt 80-90 % betragen – typischerweise höher als ihre menschlichen Teams.

Sie haben bewusst vermieden, Gradient Labs an einen einzigen LLM-Anbieter zu binden. Warum war diese Entscheidung wichtig, und wie wirkt sie sich auf Leistung und Zuverlässigkeit für Ihre Kunden aus?

In den letzten zwei Jahren haben wir beobachtet, dass unsere größten Leistungsverbesserungen durch unsere Fähigkeit kamen, zu dem nächsten besten Modell zu wechseln, sobald OpenAI oder Anthropic etwas Schnelleres, Besseres oder Genaueres veröffentlichten. Modell-Agilität war der Schlüssel.

Diese Flexibilität ermöglicht es uns, kontinuierlich die Qualität zu verbessern, während wir die Kosten managen. Einige Aufgaben erfordern leistungsstärkere Modelle, andere weniger. Unsere Architektur ermöglicht es uns, sich anzupassen und im Laufe der Zeit zu evolvieren, indem wir das optimale Modell für jede Situation auswählen.

Schließlich werden wir private Open-Source-LLMs unterstützen, die auf der Infrastruktur der Kunden gehostet werden. Aufgrund unserer Architektur wird dies ein einfacher Übergang sein, der insbesondere für Banken wichtig ist, die spezifische Anforderungen an die Modell-Implementierung haben.

Gradient Labs baut nicht nur einen Chatbot – Sie zielen darauf ab, auch Back-Office-Prozesse zu handhaben. Welche sind die größten technischen oder operativen Herausforderungen bei der Automatisierung dieser Arten von Aufgaben mit AI?

Es gibt zwei verschiedene Kategorien von Prozessen, jede mit ihren eigenen Herausforderungen:

Für einfache Prozesse existiert die Technologie bereits größtenteils. Die größte Herausforderung ist die Integration – die Verbindung mit den vielen maßgeschneiderten Back-End-Systemen und -Tools, die Finanzinstitute verwenden, da die meisten Kundenoperationen zahlreiche interne Systeme umfassen.

Für komplexe Prozesse bleiben erhebliche technische Herausforderungen bestehen. Diese Prozesse erfordern typischerweise, dass Menschen eingestellt und für 6-12 Monate ausgebildet werden, um Expertenwissen zu entwickeln, wie z. B. Betrugsuntersuchungen oder Geldwäsche-Bewertungen. Die Herausforderung hierbei ist der Wissens-transfer – wie können wir AI-Agenten das gleiche Domänen-Expertentum geben? Das ist ein hartes Problem, an dem jeder in diesem Bereich noch arbeitet.

Wie balanciert Gradient Labs die Notwendigkeit von AI-Geschwindigkeit und Effizienz mit den strengen Compliance-Anforderungen von regulierten Branchen?

Es ist sicherlich ein Gleichgewicht, aber auf der Ebene des Gesprächs denkt unser Agent einfach länger nach. Er bewertet mehrere Faktoren: Verstehe ich, was der Kunde fragt? Gebe ich die richtige Antwort? Zeigt der Kunde Anzeichen von Verletzlichkeit? Will der Kunde eine Beschwerde einreichen?

Dieser bewusste Ansatz erhöht die Latenz – unsere mediane Antwortzeit beträgt möglicherweise 15-20 Sekunden. Aber für Finanzinstitute ist das ein fairer Tausch. Eine 15-Sekunden-Antwort ist immer noch viel schneller als eine menschliche Antwort, während die Qualitäts-Garantien für die von uns betreuten regulierten Unternehmen viel wichtiger sind.

Sehen Sie eine Zukunft, in der AI-Agenten nicht nur für Support, sondern auch für höher riskante Entscheidungsaufgaben innerhalb von Finanzinstituten vertrauenswürdig sind?

Finanzinstitute verwendeten bereits traditionellere AI-Techniken für hochriskante Entscheidungen, bevor die aktuelle Welle von generativer AI einsetzte. Wo ich die echte Chance sehe, ist in der Orchestrierung – nicht in der Entscheidungsfindung, sondern in der Koordination des gesamten Prozesses.

Beispielsweise lädt ein Kunde Dokumente hoch, ein AI-Agent leitet sie an ein Validierungssystem weiter, erhält die Bestätigung der Gültigkeit und löst dann entsprechende Aktionen und Kundenkommunikation aus. Diese Orchestrierungsfunktion ist es, in der AI-Agenten hervorragend sind.

Für die höchstriskanten Entscheidungen selbst sehe ich in naher Zukunft nicht viel Änderung. Diese Modelle erfordern Erklärbarkeit, Vorbeugung von Voreingenommenheit und Genehmigung durch Modell-Risikoausschüsse. Große Sprachmodelle würden in diesen Kontexten erhebliche Compliance-Herausforderungen gegenüberstehen.

Wie wird AI Ihrer Meinung nach die Kundenerfahrung für Banken, FinTech-Unternehmen und andere regulierte Sektoren in den nächsten 3-5 Jahren prägen?

Ich sehe fünf große Trends, die die Kundenerfahrung prägen werden:

Erstens, wahre Omni-Channel-Interaktion. Stellen Sie sich vor, Sie beginnen ein Gespräch in Ihrer Banking-App und wechseln dann nahtlos zur Stimme mit dem gleichen AI-Agenten. Sprache, Anrufe und Chat werden zu einer einzigen kontinuierlichen Erfahrung verschmelzen.

Zweitens, adaptive Benutzeroberflächen, die die Navigation innerhalb der App minimieren. Anstatt durch Menüs nach bestimmten Funktionen zu suchen, können Kunden einfach ihre Bedürfnisse äußern: “Bitte erhöhen Sie meine Limits” – und die Aktion erfolgt sofort durch das Gespräch.

Drittens, bessere Unit-Ökonomie. Support und Betrieb sind massive Kostenblöcke. Die Reduzierung dieser Kosten könnte es Banken ermöglichen, zuvor unrentable Kunden zu bedienen oder Einsparungen an die Nutzer weiterzugeben – insbesondere in unterversorgten Segmenten.

Viertens, außergewöhnlicher Support im großen Maßstab. Derzeit können Startups mit wenigen Kunden personalisierten Support bieten, aber die Qualität verschlechtert sich typischerweise, wenn Unternehmen wachsen. AI macht großartigen Support skalierbar, nicht nur möglich.

Fünftens, Kunden-Support wird sich von einer frustrierenden Notwendigkeit zu einem wirklich hilfreichen Service wandeln. Er wird nicht länger als arbeitsintensiver Infrastrukturkosten angesehen, sondern als wertvoller, effizienter Kunden-Touchpoint, der die gesamte Erfahrung verbessert.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Gradient Labs besuchen.