Raj Shukla, CTO von SymphonyAI – Interview-Serie

Raj Shukla treibt die Technologie-Roadmap und -Umsetzung von SymphonyAI voran und leitet das Engineering-Team, das die Eureka-Gen-AI-Plattform entwickelt. Mit fast 20 Jahren Erfahrung in der AI/ML-Engineering- und Forschung hat Shukla auch umfangreiche Erfahrung im Bereich Enterprise-AI-SaaS durch seine Engineering-Führungsrollen bei Microsoft, wo seine erfolgreiche 14-jährige Karriere das Leiten globaler AI-Wissenschafts- und Engineering-Organisationen über Azure, Dynamics 365, MSR und die Such- und Werbeabteilungen umfasste. Raj hat umfangreiche Erfahrung in AI/ML in den Bereichen Suche, Werbung und Enterprise-AI und hat mehrere erfolgreiche AI-SaaS-Produkte in den Bereichen Verbraucher und Geschäft entwickelt.

SymphonyAI ist ein Unternehmen für Enterprise-AI, das sich auf die Entwicklung von branchenspezifischen AI-Anwendungen konzentriert, die sofortigen Geschäftswert liefern. Anstatt generischer Modelle bietet es vertikale Lösungen für den Einzelhandel, den Konsumgütersektor, die Finanzdienstleistungen, die Fertigungsindustrie, die Medien und die IT, um Herausforderungen wie Prognose, Betrugsprävention, Betriebsoptimierung und Analytics zu meistern. Die Produkte des Unternehmens werden von der Eureka-AI-Plattform angetrieben, die prädiktive, generative und agente Fähigkeiten in Workflows integriert, die auf jeden Sektor zugeschnitten sind. Gegründet im Jahr 2017 ist das Unternehmen zu einem globalen Marktführer im Bereich vertikale AI gewachsen und betreut Tausende von Unternehmen mit skalierbaren, branchenspezifischen Lösungen.

Sie haben an der Spitze der AI-Innovation bei Microsoft, Oracle und jetzt SymphonyAI gearbeitet – was hat Sie ursprünglich in die Welt des Enterprise-AI gezogen, und wie hat sich Ihre Perspektive im Laufe der Jahre entwickelt?

Meine Reise in die Welt des Enterprise-AI begann mit der Überzeugung, dass Unternehmen AI umsetzen sollten, die reale Geschäftsprobleme lösen, und nicht nur AI um der AI willen. Ich habe gesehen, dass generische, breit angelegte AI-Lösungen selten transformativen Wert liefern. Bei SymphonyAI haben wir unsere Unternehmensstrategie und -kultur darauf aufgebaut, AI zu entwickeln, die spezifische Branchenherausforderungen versteht, von der Finanzkriminalitätsbekämpfung bis hin zur Einzelhandelsverkaufsstrategie und der industriellen Verbesserung der Arbeitsbedingungen. Enterprise-Readiness fügt eine weitere Dimension hinzu – erfolgreiche Enterprise-AI erfordert mehr als nur großartige Technologie, sie erfordert auch exemplarische Datenverwaltung und -architektur, sophisticatede cross-funktionale Zusammenarbeit und Workflows sowie vollständige Transparenz und Prüfbarkeit.

Welche spezifischen Mängel haben Unternehmen bei der Verwendung generischer vorgebildeter Modelle, insbesondere in stark regulierten Sektoren wie Finanzen oder Gesundheitswesen? 

Generische vorgebildete Modelle sind nicht für die hochriskanten, stark regulierten Umgebungen von Finanzen, Gesundheitswesen und Lebensmittelhandel geeignet. Generische, vorgebildete Modelle stoßen auf kritische Barrieren, darunter die Notwendigkeit von wesentlicher Branchenexpertenwissen, um branchenspezifische Nuancen anzusprechen und strenge regulatorische und Compliance-Anforderungen zu erfüllen, die sich je nach Geographie unterscheiden. Am wichtigsten ist, dass sie nicht die Genauigkeit und Rückverfolgbarkeit liefern können, die Unternehmen benötigen, wo Fehler Verbraucher schaden oder regulatorische Verstöße auslösen können. Ob es darum geht, Anti-Geldwäsche-Regulierungen einzuhalten oder es einem Lebensmittelhändler zu ermöglichen, schnell zurückgerufene Artikel aus den Verteilungszentren und Regalen zu entfernen, ist die vertikale AI-Technologie von SymphonyAI speziell für die Branchen entwickelt, in denen wir tätig sind, und auf diese Branchen trainiert, um Entscheidungen zu treffen oder zu automatisieren, die direkt Geschäftswert schaffen.

Die Kombination von vorgebildeten Modellen mit tiefer Branchenlogik wird zunehmend als Schlüssel zum Freischalten des ROI von Unternehmen gesehen – was sind die wesentlichen Komponenten, wie Branchenwissen, KPI-Abstimmung und regulatorische Schutzmechanismen, die diesen Ansatz effektiv machen? 

Die Kombination von vorgebildeten Modellen mit tiefer Branchenlogik schafft Wert, indem AI-Systeme entwickelt werden, die den Geschäftskontext und die betrieblichen Anforderungen verstehen. Dieser Ansatz ist erfolgreich, wenn Modelle mit branchenspezifischen Ontologien erweitert werden, mit Unternehmens-KPIs abgestimmt werden, um sicherzustellen, dass die Ausgaben direkt messbare Geschäftsziele dienen, und mit regulatorischen Schutzmechanismen ausgestattet sind, die notwendige Compliance-Rahmenbedingungen und Prüfspuren bieten. Wenn diese Elemente zusammenarbeiten, verwandelt sich generische AI in geschäftskritische Lösungen, die messbare Ergebnisse liefern, während sie die Zuverlässigkeit und Compliance aufrechterhalten, die Unternehmen fordern.

IBM hat kürzlich Seek AI erworben und Watsonx Labs in New York City eröffnet, was auf eine potenzielle strategische Verschiebung im AI-Landschaft hinweist – was zeigt dies über die Zukunft von M&A und Investitionstrends im Bereich Enterprise-AI? 

IBMs Erwerb von Seek AI und die Eröffnung von Watsonx Labs ist eine Bestätigung der grundlegenden Verschiebung, die wir vorhergesehen haben: Die Enterprise-AI-Landschaft hat sich verschoben und signalisiert, dass die nächste Welle von M&A-Transaktionen Unternehmen priorisieren wird, die vorgebildete vertikale AI-Modelle mit tiefem Branchenwissen, Governance und regulatorischen Schutzmechanismen sowie outcome-orientierten KPIs haben. Strategische Erwerber wie IBM erkennen, dass AI-Agents, die auf Unternehmensdaten ausgerichtet sind, sofortigen ROI liefern, wenn sie spezifische Branchenworkflows verstehen. Der Markt konsolidiert sich um die Erkenntnis, dass allgemeine Intelligenz vertikale Spezialisierung benötigt, um Unternehmensumwandlung zu treiben.

Bei welchem Punkt entwickelt sich ein Grundmodell zu einem branchenspezifischen Agenten – welche architektonischen Meilensteine signalisieren diesen Übergang? 

Ein Grundmodell entwickelt sich nicht natürlich zu einem Domänenagenten; es muss zu einem solchen entwickelt werden. Es gibt keinen direkten Pfad, auf dem ein allgemeines Modell einfach “intelligenter” wird und zu einem Bankermittler wird. Der Übergang erfolgt nur, wenn Engineering-Teams aufhören, sich auf die Rohintelligenz des Modells zu verlassen, und stattdessen die regierte Architektur um es herum aufbauen – insbesondere durch das Einbringen einer Kontextschicht (wie ein Wissensgraph) und einer Orchestrierungsschicht, um das Modell zu zwingen, einem Geschäftsprozess zu folgen und nicht seinen eigenen wahrscheinlichen Tendenzen.

Was sind die Kernherausforderungen beim Aufbau von agentischen Workflows, die sowohl resilient als auch branchenspezifisch sind, und wie geht SymphonyAI diese Herausforderungen an? 

Die Kernherausforderungen beim Aufbau von resilienten, branchenspezifischen agentischen Workflows sind die Aufrechterhaltung der Zuverlässigkeit über komplexe Mehrschrittprozesse hinweg. SymphonyAI geht diese Herausforderungen durch seine mehrschichtige Architektur an, die Branchenwissen direkt in den Agenten einbettet, Fehlerbehandlung mit Wiederherstellung implementiert und eine persistente Kontextverwaltung über mehrere Sitzungen hinweg aufrechterhält. Dies ermöglicht es unseren Agenten, in hochriskanten, regulierten Umgebungen zuverlässig zu arbeiten, wo Zuverlässigkeit bedeutet, Genauigkeit, Compliance und betriebliche Integrität aufrechtzuerhalten.

SymphonyAI betont robuste Datenfundamente, Wissensgraphen und Metadatenschichten – warum sind diese Fähigkeiten für vertikale AI-Agents kritisch, und warum haben viele Unternehmen Schwierigkeiten, sie umzusetzen? 

Robuste Datenfundamente und Wissensgraphen sind für vertikale AI-Agents von entscheidender Bedeutung, um bedeutungsvolle Quellen zu haben, kontextualisierte Empfehlungen zu liefern und auf dem Laufenden zu bleiben mit Markt-, Kunden- und Prozessänderungen auf allen Ebenen des Unternehmens. Die meisten Unternehmen haben Schwierigkeiten, diese Fähigkeiten umzusetzen, da sie erhebliche Vorabinvestitionen in Datenarchitektur, spezialisiertes Ontologie-Wissen und grundlegende Änderungen an bestehenden Datenpraktiken erfordern, die viele Organisationen als organisatorisch und technisch herausfordernd empfinden. Das ist der Punkt, an dem ein AI-Technologiepartner mit tiefem Wissen und Erfahrung in dieser Branche wertvoll ist, einschließlich seiner Fähigkeit, die AI auf großen Mengen an Branchendaten und -quellen über zahlreiche reale Kunden in dieser Branche vorzubilden.

In realen Szenarien – wie z.B. Finanzkriminalitätsbekämpfung oder Einzelhandelsprognose – wie kombiniert SymphonyAI prädiktive, generative und agente AI zu kohärenten “Fähigkeiten”?

SymphonyAI kombiniert prädiktive, generative und agente AI zu kohärenten “Fähigkeiten”, indem es integrierte Workflows erstellt, in denen jedes AI-Produkt ein spezifisches Geschäftsproblem löst. Bei der Finanzkriminalitätsbekämpfung identifizieren unsere prädiktiven Modelle verdächtige Transaktionsmuster, und generative AI erstellt detaillierte Untersuchungsberichte und Risikobewertungen. Gleichzeitig orchestriert die agente AI den gesamten Workflow, automatisiert Fälle, koordiniert mit Compliance-Teams und passt Untersuchungsstrategien anhand von Echtzeit-Ergebnissen an.

Der Schlüssel liegt darin, dass diese nicht separate AI-Tools sind, sondern integrierte Fähigkeiten innerhalb von branchenspezifischen Agenten, die den Geschäftskontext verstehen, den Workflow-Zustand aufrechterhalten und nahtlos zwischen prädiktiver Analyse, Content-Erstellung und autonomer Aktion wechseln können, um vollständige Geschäftsergebnisse zu liefern, anstatt fragmentierte AI-Ausgaben.

Sie haben gewarnt, dass viele Enterprise-AI-Agents ohne Robustheit stolpern könnten – was sind die Schlüsselmerkmale eines gut entwickelten, fehlertoleranten Enterprise-AI-Agents? 

Gut entwickelte, für Prüfung konzipierte Enterprise-AI-Agents erfordern mehrere kritische Merkmale. Obwohl viele Unternehmen schnell in AI-Agents investieren und sie einsetzen, um Effizienz, Produktivität und Innovation zu steigern, unterschätzen sie oft die notwendige Grundlage für den Erfolg. Einige wesentliche Aspekte, die gut entwickelte Agents benötigen, um erfolgreich zu sein, sind:

• Enterprise-AI-Agents operieren auf Unternehmensdaten, die oft siloartig und ohne ordnungsgemäße programatische Zugriffsrechte, Berechtigungen und Zugriffskontrollen sind. Agents benötigen die gleichen Authentifizierungs- und Autorisierungsbestimmungen wie Mitarbeiter.
• Agents benötigen auch die Fähigkeit, von allen Arten von Unternehmenssystemausfällen, Netzwerkausfällen und schwankenden Endpunkten zu erholen. Die Orchestrierungsschicht muss lang laufende, dauerhafte, fehlertolerante Workflows ermöglichen, was die meisten populären LLM-Orchestrierer nicht tun.
• LLMs werden nicht deterministisch sein und bei Aufgaben fehlschlagen. Fehlerwiederherstellung, Wiederholungen und optimale Pfadfindung müssen Schlüsselfunktionen von agentischen Systemen sein.

Für CTOs, die überlegen, ob sie vertikale AI-Plattformen intern aufbauen oder mit Nischenanbietern zusammenarbeiten sollen, welche Ratschläge würden Sie anbieten? 

Das Aufbauen von Enterprise-AI-Lösungen über mehrere Branchen hinweg, einschließlich Einzelhandel/CPG, Industrie, Finanzdienstleistungen und mehr, erfordert das Meistern von Spitzen-AI-Technologie und tiefem Branchenwissen, um echten Wert aus Enterprise-AI-Lösungen zu ziehen. Unsere Eureka-AI-Plattform zeigt, wie vertikale Datenquellen, Wissensgraphen, prädiktive Modelle und Agents auf jede Branche zugeschnitten werden müssen, aber dies stellt Jahre von Forschungsinvestitionen und Kundeniteration dar, die die meisten internen Teams nicht haben. Für Unternehmen und CTOs, die in AI investieren möchten, rate ich ihnen, Lösungen zu wählen, die von Tag eins an echte Ergebnisse liefern. Vertikale AI-Lösungen liefern diese Ergebnisse und ermöglichen es den Nutzern, Daten zu erhalten, die sie dann verwenden können, um Geschäftswert zu schaffen.

Wenn man in die Zukunft blickt, wie stellen Sie sich die Architekturen von Enterprise-AI vor – werden föderierte vertikale Agents auf gemeinsamen Grundmodellen zur Norm werden?

Wir werden nicht nur “föderierte” Agents sehen; wir werden regierte agente Architekturen sehen. Während gemeinsame Grundmodelle den Vernunft-Motor liefern, sind sie im Wesentlichen Ware. Die “Norm” für erfolgreiche Unternehmen wird darin bestehen, spezialisierte, vertikale Agents einzusetzen, die nicht nur “miteinander sprechen”, sondern rigoros durch eine gemeinsame Kontextschicht orchestriert werden. Wenn Sie nur “föderierte” Agents auf Grundmodellen haben, erhalten Sie ein geräuschvolles, halluzinationsanfälliges System – was wir den “leaky pipe” von Enterprise-AI nennen. Um diese Architektur in der Produktion skalieren zu können, benötigen Sie drei spezifische Schichten, die über einfache Föderation hinausgehen:

• Kontext (Der Branchen-Wissensgraph): Agents benötigen eine gemeinsame Wahrheitsquelle, nicht nur Wahrscheinlichkeiten austauschen.
• Orchestrierung: Sie benötigen einen “Master-Architekten”, der entscheidet, wann ein spezialisierter Agent eingesetzt wird und wann ein Mensch in die Schleife einbezogen wird.
• Regierung: Die Ausgabe muss rechtlich und betrieblich sicher sein, bevor sie das System verlässt.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten SymphonyAI besuchen.