Sohrab Hosseini, Co-Founder von orq.ai – Interview-Serie

Sohrab Hosseini, Co-Founder von orq.ai, ist ein Technologieführer und Unternehmer im Raum Amsterdam mit tiefgreifender Erfahrung in SaaS, großen Skalensystemen und angewandtem KI. Seit der Gründung von orq.ai im Jahr 2022 konzentriert er sich darauf, praktische Infrastrukturen aufzubauen, die Teams dabei helfen, große Sprachmodelle von Experimenten in zuverlässige Produktionsnutzung zu überführen. Sein Hintergrund umfasst leitende Positionen als COO und CTO bei Neocles, CTO für Zukunftstechnologie bei Transdev, wo er an autonomer Routenplanung und Flottenmanagement arbeitete, und COO bei TradeYourTrip. Parallel dazu ist er als Berater und Angel-Investor tätig und unterstützt Start-up-Unternehmen im Bereich KI bei der Produktstrategie, technischen Beurteilung und Ausführungsstrategie.

orq.ai ist eine Plattform für generative KI-Kollaboration und LLMOps, die darauf ausgelegt ist, Organisationen bei der Gestaltung, dem Betrieb und der Skalierung von KI-gesteuerten Produkten und Agenten in realen Umgebungen zu unterstützen. Die Plattform bietet eine Arbeitsumgebung, in der Prompt-Verwaltung, Experimentierung, Feedbacksammlung und Echtzeit-Überwachung von Leistung und Kosten kombiniert werden, während sie mit allen großen Anbietern von großen Sprachmodellen kompatibel bleibt. Durch die ermöglichte enge Zusammenarbeit zwischen technischen und nicht-technischen Teams hilft orq.ai Unternehmen, Release-Zyklen zu verkürzen, Governance und Transparenz zu verbessern und die Komplexität und Kosten von KI-Systemen in der Produktion zu reduzieren.

Sie haben vor der Gründung von Orq.ai Führungspositionen in autonomen Systemen, Flottenmanagement-Technologie und SaaS-Plattformen innegehabt — wie hat sich diese Karriere auf Ihre Entscheidung ausgewirkt, eine unternehmensweite Steuerungsebene für KI-Agents im Jahr 2022 aufzubauen?

Unser Hintergrund war immer darauf ausgerichtet, Ingenieursteams zu leiten und Enablement-Plattformen zu fokussieren; Dinge wie Cloud, DevOps und Data-Enablement, insbesondere während unserer Zeit als Technologieberater. Als der Boom der generativen KI begann, fragten mein Co-Founder und ich uns: Was für eine Art von Enablement werden Unternehmen benötigen, um nicht nur KI zu bauen, sondern sie auch richtig zu steuern und zu kontrollieren?

Wir sahen, dass der wahre Bedarf an einer unternehmensweiten Steuerungsebene für KI-Agents bestand. Dies führte uns dazu, Orq.ai zu gründen.

Was sahen Sie auf dem Markt, als Sie Orq.ai starteten, das Sie davon überzeugte, dass das wahre Flaschenhals-Problem nicht die Modellqualität, sondern die Unfähigkeit war, agentische Systeme von Demos in zuverlässige Produktion zu überführen?

Wir glaubten immer, dass man, wenn man innovative Software baut, für die Zukunft bauen muss. Von Anfang an gingen wir davon aus, dass große Sprachmodelle einfach immer besser und intelligenter werden. Die wahre Herausforderung, die wir sahen, bestand nicht in der Modellqualität selbst, sondern in all den Steuerungs-, Governance- und Lebenszyklusmanagementproblemen, die auftreten, wenn man von einer Demo zu einer realen Produktionsumgebung wechselt.

Mit anderen Worten, selbst wenn die Modelle verbessert werden, liegt der wahre Wert für unsere Kunden (und für uns) darin, sicherzustellen, dass diese Systeme tatsächlich zuverlässig in der Produktion laufen. Und das ist wirklich das, was wir zu lösen versuchten.

Die meisten Teams können beeindruckende Prototypen bauen, aber sie kämpfen mit Laufzeit-Orchestrierung, Governance und Überwachung. Was ist in Ihrer Meinung der größte Bruchpunkt, wenn Ingenieursteams versuchen, von einer Proof-of-Concept-Umgebung in eine Live-Produktionsumgebung zu skalieren?

Der größte Bruchpunkt ist, dass Teams oft denken, es sei ein gerader, linearer Pfad von der Erstellung eines Agents bis zur Fertigstellung. In Wirklichkeit ist es ein sehr iterativer Prozess.

Man passt ständig seine Annahmen an, testet sie, überführt sie in die Produktion und überwacht dann, was in der realen Welt passiert. Man findet Randfälle und beginnt dann diesen Zyklus von vorne.

Die Herausforderung besteht darin, dass es nicht nur ein einmaliger Aufwand ist; es ist ein kontinuierlicher Prozess der Verfeinerung. Und um darauf aufzubauen, ist es nicht nur, dass es iterativ ist, sondern auch, dass es oft nicht genug Werkzeuge oder Hilfsmittel gibt, um diesen Prozess reibungslos zu unterstützen.

Man benötigt eine Möglichkeit, dass Domänenexperten, Produktmanager und Ingenieure ohne Schaffung von Silos oder teuren Übergaben zusammenarbeiten können, die viel Zeit verschwenden. Also ist das noch ein weiteres großes Stück des Puzzles: sicherzustellen, dass all diese Interessengruppen effizient zusammenarbeiten können. Und das ist etwas, was wir wirklich zu lösen versucht haben.

Orq.ai positioniert sich als eine einheitliche Steuerungsebene, die Experimentierung, Bewertung, Beobachtbarkeit und Laufzeit umfasst. Warum glaubten Sie, dass eine End-to-End-Architektur unerlässlich war, anstatt isolierte Werkzeuge wie viele Punkt-Lösungen anzubieten?

Wenn man beginnt, ist es natürlich, ein einzelnes Werkzeug auszuwählen, das den größten Schmerzpunkt in diesem Moment löst, oft ist das vielleicht Beobachtbarkeit. Aber wenn das Team wächst, trifft man auf den nächsten Engpass und fügt ein weiteres Werkzeug hinzu, zum Beispiel ein KI-Tor. Bevor man es weiß, hat man fünf bis sieben verschiedene Werkzeuge in seinem Landschaftsbild. Daten werden fragmentiert, Menschen verlieren die Übersicht und man verschwendet Ressourcen nur, um all diese Integrationen aufrechtzuerhalten. Man verliert diese einheitliche Sicht über den Lebenszyklus.

Wir glaubten, dass Unternehmen, wenn sie Agenten-Unternehmen werden, wirklich diese End-to-End-Architektur benötigen. Man benötigt eine einheitliche Sicht auf das, was alle Agenten im gesamten Unternehmen tun, nicht nur fragmentierte Punkt-Lösungen. Deshalb sahen wir keine andere Möglichkeit, als diese großen Teile des Workflows in einer einheitlichen Plattform zu umfassen.

Was waren die größten Schmerzpunkte, die Sie mit dem neuen Agent Studio und der neu gestalteten Laufzeit lösen wollten, basierend auf dem Feedback von frühen Kunden in Europa und den USA?

Was wir sahen, war, dass Teams alle Arten von Open-Source-Bibliotheken verwendeten, um ihre Agenten zu bauen, obwohl die tatsächliche Architektur eines Agents ziemlich sauber und einfach sein kann. Sie endeten mit aufgeblähten Bibliotheken, viel Overhead und einer großen Lernkurve, nur um einfache Agenten auszuführen. Mit Orq wollten wir diese Last abnehmen.

Statt sich um die Architektur, den Compute, das Auto-Scaling, all diese Infrastruktur zu kümmern, können Teams sich einfach auf die Konfiguration ihrer Agenten und die Bereitstellung der richtigen Werkzeuge und APIs konzentrieren. Wir übernehmen die schwere Arbeit, damit sie sich auf den Bau ihrer tatsächlichen Anwendungsfälle konzentrieren können. Und darüber hinaus, da wir den gesamten Lebenszyklus unterstützen, haben wir spezielle Arbeitsplätze aufgebaut, die es ermöglichen, Agenten wirklich im großen Maßstab zu testen.

Das bedeutet, dass man Randfälle schneller finden und Agenten effektiver härten kann. Es geht darum, Teams die Werkzeuge zu geben, nicht nur, um Agenten einfach zu bauen, sondern auch, um sie in realen Szenarien zu verfeinern und zu stärken, ohne all die zusätzliche Mühe.

Wie beeinflussen die verschärften Anforderungen der DSGVO und des EU-KI-Gesetzes die Art und Weise, wie Unternehmen Agenten entwerfen, überwachen und bereitstellen — und wie passt sich Orq.ai an?

Es ist nicht so, dass diese Anforderungen plötzlich verschärft werden, sie sind einfach Teil des Gesetzes, und unsere Kunden müssen sich daran halten. Was wir tun, ist sicherzustellen, dass wir Teams über den gesamten Lebenszyklus hinweg die richtigen Werkzeuge, Evaluatoren und Schutzmechanismen geben, damit sie Compliance von Anfang an einbauen können.

Wir stellen sicher, dass Datenresidenz, Datenschutz und all das von Anfang an eingebaut sind. Und mit den geopolitischen Spannungen und dem Streben nach Tech- und KI-Souveränität in Europa haben wir eine große Nachfrage danach gesehen. Da wir vollständig vor Ort laufen und Unternehmen helfen können, ihre Abhängigkeit zu reduzieren, sind wir in einer guten Position, um ihnen zu helfen, ihre eigene Bestimmung zu kontrollieren.

Unternehmen fordern zunehmend souveräne Architekturen und Hybrid-/On-Premises-Deployments. Was sagt uns dieser Trend über die Richtung, in die sich die Unternehmens-KI-Infrastruktur bewegt?

Jedes Unternehmen und sogar jeder Anwendungsfall beinhalten Kompromisse. Es ist eine Frage davon, wie sehr etwas fertig ist und wie sicher und vor Ort es sein muss. Wir unterstützen jeden Geschmack entlang dieses Spektrums. Aber was wir sehen, ist ein starker Fokus auf Souveränität und Datenresidenz auf der Modell-Ebene.

Kunden wollen Klarheit darüber, wo ihre Daten leben, und die Fähigkeit, ihre Abhängigkeit von großen Cloud-Anbietern zu reduzieren. Dank unseres KI-Tors, das auf allen großen Cloud-Plattformen und vor Ort läuft, können Teams leicht Kompromisse auf der Grundlage von Anwendungsfällen treffen. Sie erhalten die Flexibilität, die Kontrolle zu behalten und nahtlos zwischen Umgebungen zu wechseln.

Wir sehen eine enorme Nachfrage von größeren Unternehmen und öffentlichen Institutionen.

Wie sehen Sie die Entwicklung von Multi-Agent-Workflows, Sicherheits-Schutzmechanismen und fortgeschrittenen Denksystemen, wenn Unternehmen von Experimenten zu einer echten Industrialisierung von Agenten im Jahr 2026 übergehen?

Wenn die Verwendung von Agenten wirklich industrialisiert wird, sehen wir neue Arten von Problemen auftauchen, insbesondere bei Multi-Agent-Setup. Man könnte Dutzende oder sogar Hunderte von Agenten haben, die in einem Unternehmen zu jedem Zeitpunkt laufen, ähnlich wie Mitarbeiter.

Die Frage ist: Wie kann man all diese Agenten steuern, wenn man mit diesem mehrdimensionalen Satz von Problemen konfrontiert ist, wie Kosten, Datenqualität, Datenresidenz, Korrektheit, Halluzinationsmetriken und so weiter? Man benötigt eine neue Steuerungsebene, um all dies zu handhaben, und man benötigt Sicherheitsschutzmechanismen, die von oben nach unten eingesetzt werden können.

Man benötigt auch eine Übersicht und neue Aggregations-Schichten, damit der CFO, COO, CISO sehen kann, was passiert, und mit handhabbaren Erkenntnissen eingreifen kann. Wir denken wirklich, dass im Jahr 2026 dieses ganze Konzept eines “Agenten-Departments” und die Technologie, die es unterstützt, ein viel heißeres Thema werden wird.

Agenten-Drift, Qualitätsrückgang und unklare Datenflüsse sind wiederkehrende Probleme in der Produktion von KI. Wie geht die Steuerungsebene von Orq.ai diese langjährigen Lücken in Versionierung, Bewertung und kontinuierlicher Überwachung an?

Jeder Agent benötigt wirklich seinen eigenen Satz von Bewertungen. Diese Bewertungen definieren im Grunde, was für ein bestimmtes Szenario richtig und falsch ist. Indem man Zeit darauf verwendet, diese Bewertungssätze von Anfang an richtig einzurichten, können Teams bessere Offline-Experimente durchführen, um zu sehen, wie Dinge sich verhalten, bevor sie live gehen. Und dann, indem man diese gleichen Bewertungen online überwacht, kann man erkennen, wenn Modelle abdriften oder wenn das Verhalten von Agenten sich im Laufe der Zeit ändert. Auf diese Weise hat man eine konsistente Reihe von Qualitätsmetriken während Offline-Tests, Online-Überwachung und Schutzmechanismen.

Wenn man in die Zukunft blickt, was wird Ihrer Meinung nach die nächste Generation von unternehmensweiten KI-Agents definieren — und wie positioniert sich Orq.ai, um die Standard-Operationsplattform für diese Welt zu werden?

Wenn man in die Zukunft blickt, denke ich, dass das, was die nächste Generation von unternehmensweiten KI-Agents definieren wird, darin besteht, dass jeder Anbieter seine eigenen Agenten bereitstellen wird. In größeren Unternehmen wird es diese breite Landschaft von ersten und dritten Agenten geben, die alle zusammenarbeiten und aufeinander zugreifen.

Es wird nicht nur ein Typ von Agent oder ein Anbieter sein; es ist ein ganzes Ökosystem, das Steuerung und Compliance benötigt. Und das ist, wo Orq.ai ins Spiel kommt. Wir positionieren uns als die Agenten-Steuerungszentrale, die verschiedenen Ebenen in der Organisation die richtige aggregierte Sicht und handhabbaren Erkenntnisse gibt, um auf jeder Stufe einzugreifen.

Ob es darum geht, Agenten zu bauen, zu skalieren, zu betreiben oder sogar auszumustern, benötigen unterschiedliche Funktionen unterschiedliche Sichten auf diese Landschaft. Und wir werden der go-to-Anbieter für diese Fähigkeit sein.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten orq.ai besuchen.