Nikunj Bajaj, Mitgründer und CEO von TrueFoundry – Interview-Serie

Sie haben in der Vergangenheit an maschinellem Lernen, Produktions-KI bei Facebook (META ) und großen Empfehlungssystemen gearbeitet, bevor Sie TrueFoundry gegründet haben — welche Erfahrungen haben Sie am meisten dazu gebracht, ein Unternehmen für die KI-Infrastruktur von Unternehmen zu gründen, und welchen Schmerz haben Sie nicht gelöst?

Bei Meta betrachteten wir maschinelles Lernen als einen speziellen Fall von Software und GenAI als einen speziellen Fall von maschinellem Lernen, was zu einem vertikalen Stapel führte, bei dem Software am unteren Ende, maschinelles Lernen in der Mitte und GenAI am oberen Ende standen. In diesem Setup ist es, wenn ich ein maschinelles Lernen-Entwickler bin, der Deploy-Prozess der Modelle, die ich baue, derselbe wie der Rest der Software, was das Skalieren von Systemen sehr einfach macht.

Die meisten Unternehmen haben jedoch parallele Stacks, was bedeutet, dass sie separate Stacks für Software, maschinelles Lernen und GenAI haben. Im Moment, in dem Sie diese parallelen Stacks haben, wird das Skalieren komplexer, weil der Austausch zwischen maschinellem Lernen und der Software-Welt erforderlich ist.

Unser Team hat immer an der Schnittstelle zwischen dem Aufbau von maschinellem Lernen-Modellen und maschinellem Lernen-Infrastruktur gearbeitet, also hatten wir eine einzigartige Perspektive, die wir Unternehmen anbieten konnten, indem wir ähnliche vertikale Stacks anboten und sie an ihre spezifischen Anforderungen anpassten. Wir hatten auch die Hypothese gegen Ende 2021, dass maschinelles Lernen einen Wendepunkt erreichen würde, und wenn es das täte, würden mehr Unternehmen eine vertikal integrierte Stapel benötigen, um diese Systeme effektiv bereitzustellen und zu skalieren. Dies führte letztendlich dazu, dass wir TrueFoundry gründeten, und unsere Hypothese war richtig. Die Einführung von KI beschleunigte sich nach dem Start von ChatGPT Ende 2022.

Wenn KI-Systeme von Experimenten in den täglichen Betrieb übergehen, was hat sich geändert, wie Unternehmen über Zuverlässigkeit und Ausfälle nachdenken sollten?

Die Einsätze bei Gen AI sind im Vergleich zu traditionellen maschinellem Lernen-Systemen wesentlich höher. Wenn diese Systeme in den Produktionsbetrieb übergehen, haben Organisationen es mit einer viel höheren Unsicherheit und Nichtdeterminismus zu tun, da LLMs von Natur aus stochastisch sind. Agent-Systeme, die auf ihnen aufbauen, fügen weitere Unsicherheit hinzu.

Zusätzlich sind Ausfälle nicht mehr binär. Anstatt dass Systeme einfach ausfallen oder nicht ausfallen, treten viele Probleme als teilweise Ausfälle oder stille Verschlechterungen auf. Systeme können mit höherer Latenz, verringerter Qualität oder falschem Verhalten über Zeit reagieren. In vielen Fällen können diese Verschlechterungen schwerer zu erkennen sein und manchmal sogar schädlicher sein als ein harter Ausfall.

Organisationen müssen über Zuverlässigkeit nicht nur in Bezug auf die Betriebszeit nachdenken, sondern auch über Leistungsverschlechterungen im Laufe der Zeit.

TrueFailover wurde gestartet während einer Welle von hohen Ausfällen von Cloud- und KI-Diensten. Welche jüngsten Ereignisse machten deutlich, dass die Zuverlässigkeit von KI von einem “nice to have” zu einem grundlegenden architektonischen Anforderung geworden ist?

Einer unserer Kunden im Gesundheitswesen, der Echtzeit-Anfragen von Patienten im Zusammenhang mit Rezepten verarbeitet, wurde von einem Ausfall betroffen, der durch ein Modellversagen verursacht wurde. Ihre Workflows generieren Tausende von Dollar Umsatz pro Sekunde, und der Ausfall störte einige dieser kritischen Workflows. Als früher TrueFailover-Kunde konnten wir helfen, den Ausfall schnell zu beheben, und der Ausfall wurde begrenzt.

Vorfälle wie dieser werfen eine wichtige Frage auf. Warum sind Wiederherstellungsprozesse immer noch weitgehend manuell, wenn die Einsätze von Gen-AI-Systemen immer höher werden? Dies bestärkte die Idee, dass Systeme so gebaut werden sollten, dass sie automatisch Fehler korrigieren können. Zuverlässigkeit muss auch in den KI-Stack selbst durch den Einsatz von KI-Gateways aufgebaut werden, die eine zentrale Weiterleitung, Überwachung, Schutz und intelligente Modellumschaltung über Anbieter hinweg bieten können.

Viele KI-Ausfälle werden immer noch als technische Macken dargestellt. Wo sehen Sie die realen wirtschaftlichen und menschlichen Kosten, wenn KI-Systeme ausfallen?

Unternehmens-KI hat sich zu dem Punkt entwickelt, an dem diese Macken nicht mehr nur interne Workflows beeinträchtigen. Heute beeinträchtigen Ausfälle und Verschlechterungen die öffentliche Wahrnehmung und die Gewinne direkt und sofort, da die Produktionsanwendungsfälle jetzt kundenorientiert sind. Diese Verschiebung von internen Tests zu hochriskanten, kundenorientierten Anwendungen ist der Grund, warum wir eine zunehmende Nachfrage nach der Aufmerksamkeit und Überwachung durch die Unternehmensleitung sehen.

Wenn KI-Systeme tiefer in die betrieblichen Workflows eingebettet sind, sind Ausfälle nicht mehr nur technische Probleme. Sie haben immer öfter direkte geschäftliche, kundenbezogene und reputationsbezogene Konsequenzen.

In mission-kritischen Umgebungen wie Apotheken, Gesundheitsbetrieben oder Kundensupport – wie schnell kann die KI-Ausfallzeit in operatives oder reputationsbezogenes Risiko umschlagen?

In mission-kritischen Umgebungen tritt die Eskalation fast sofort auf, da diese Systeme Echtzeit- und zeitkritische Workflows unterstützen. Selbst eine kurze Unterbrechung kann kritische Prozesse stoppen, die Servicebereitstellung verzögern oder nachgelagerte Systeme stören, die von diesen Ausgaben abhängen, und so operative Auswirkungen über das gesamte Unternehmen hinweg verursachen.

In Branchen wie dem Gesundheitswesen geht der Einfluss über die operative Störung hinaus und betrifft auch die Kundenerfahrung und die Serviceergebnisse. Wenn ein Patient seine Medikation nicht rechtzeitig abholen kann, kann dies reale Konsequenzen haben. Dies ist nicht nur ein Problem für den Patienten, sondern kann auch den Ruf einer Apotheke oder eines Gesundheitsdienstleisters schädigen. In mission-kritischen Umgebungen, in denen Vertrauen eine Rolle spielt, ist es von entscheidender Bedeutung, dass Systeme online bleiben. Deshalb erkennen Organisationen immer mehr, dass KI-Systeme so konzipiert werden müssen, dass sie automatisch auf Fehler reagieren können, um das Risiko zu minimieren.

Sie haben gesagt, dass viele Teams eher für Fähigkeiten als für Kontinuität architektieren. Warum denken Sie, dass Zuverlässigkeit historisch in der KI-Systemdesign unterbewertet wurde?

Dies liegt hauptsächlich an den Anreizen innerhalb von Organisationen. Neue Fähigkeiten sind sichtbar und aufregend. Sie ermöglichen Demos, Funktionen und Produktmöglichkeiten, die die Unternehmensleitung sofort sehen kann.

Kontinuität ist per Definition unsichtbar, wenn alles gut funktioniert. Da sie unsichtbar ist, sind die Belohnungssysteme eher auf die Bereitstellung neuer Funktionen ausgerichtet als auf die Gewährleistung, dass nichts kaputt geht. Deshalb investieren Organisationen unverhältnismäßig viel in die Entwicklung von Fähigkeiten und nicht in die Zuverlässheitsingenieurwissenschaft.

Wenn Unternehmen immer mehr auf externe Modelle und APIs angewiesen sind, welche neuen Fragilitäten werden in den KI-Stack eingeführt, die Führungskräfte möglicherweise noch nicht vollständig zu schätzen wissen?

LLMs sind grundlegende gemeinsame Ressourcen, und Unternehmen besitzen sie nicht wie herkömmliche Infrastruktur. Außerdem laufen wichtige geschäftskritische Systeme in Unternehmen auf externen Systemen, die nicht vollständig getestet sind. LLMs selbst entwickeln sich schnell, was bedeutet, dass ein Modellanbieter nicht für Dinge wie Latenz oder leichte Verschlechterungen der Modellleistung verantwortlich gemacht werden kann, da er schnell auf seiner Forschung aufbaut.

Da LLMs gemeinsame Ressourcen sind, kann die Latenz ansteigen, weil ein anderer Verbraucher dieser LLMs eine bestimmte Aktion ausführt. Es gibt viele dieser Fehlerpunkte, die durch die grundlegende Natur von LLMs eingeführt werden, und Unternehmen in dieser neuen Welt haben einfach keine vollständige Kontrolle. Ohne vollständige Kontrolle kann das Beste, was ein Unternehmen tun kann, darin bestehen, genügend Systemredundanzen zu schaffen, um ein widerstandsfähiges System zu entwerfen.

Ohne sich auf bestimmte Produkte zu konzentrieren, wie sollten Organisationen die KI-Architektur neu überdenken, um Ausfälle anzunehmen, anstatt sie als seltene Randfälle zu behandeln?

Organisationen sollten zu den Grundprinzipien der verteilten Systemdesign zurückkehren. Software-Systeme wurden auf der Annahme aufgebaut, dass Netzkomponenten und Maschinen ausfallen und dass eine ganze Region ausfallen kann.

KI-Systeme sollten nicht anders sein. Wir sollten annehmen, dass Modellanbieter Latenzprobleme, Verschlechterungen oder Ausfälle erleben, und Redundanz einbauen, damit Anwendungen über verschiedene Fehlerzenarien hinweg widerstandsfähig bleiben.

Erwarten Sie, dass die KI-Zuverlässigkeit zu einem entscheidenden Faktor bei der Plattform- und Anbieterauswahl wird, ähnlich wie die Betriebszeit und Redundanz die Entscheidungen über die Cloud-Infrastruktur geprägt haben?

Wenn mehr KI-Systeme in den Produktionsbetrieb übergehen, wird Zuverlässigkeit zu einem Grundanforderung. Wenn ein Anbieter seine Grafiken und Metriken zu Betriebszeit und Gesamtzuverlässigkeit nicht vorzeigen kann, wird er nicht einmal in Betracht gezogen. Sobald Zuverlässigkeit ein grundlegender Erwartungswert bei Anbietern wird, werden die Entscheidungskriterien sich auf Benutzererfahrung, Leistungsoptimierung, Überwachung und höhere Produktfunktionen verlagern. Im Laufe der Zeit werden Komponenten wie ein KI-Gateway und automatisierte Failover-Fähigkeiten zu grundlegenden Elementen der Unternehmens-KI-Infrastruktur werden.

Blickt man in die Zukunft, was bedeutet “produktionsreife” KI wirklich in einer Welt, in der KI kontinuierlich verfügbar und nicht nur gelegentlich nützlich sein soll?

Produktionsreife KI-Systeme sollten beobachtbar, steuerbar und wiederherstellbar sein. Alle drei dieser Kriterien müssen erfüllt sein.

Damit die KI-Produktion beobachtbar ist, benötigen Teams eine tiefe Einsicht in das Modellverhalten, die Latenz, die Fehlerquote, die Token-Nutzung, die Drift und die Fehlermuster. Ohne eine starke Beobachtbarkeit wird es sehr schwierig, Verschlechterungen zu erkennen, bevor Benutzer sie bemerken.

Damit Systeme steuerbar sind, umfasst dies die Verkehrsformung, Rate-Limiting, Schutz, Richtlinien-Durchsetzung und intelligente Weiterleitung über Modelle und Anbieter hinweg. Hier wird ein KI-Gateway grundlegend, indem es als zentrale Steuerungsebene fungiert, die Schutz, konsistente Governance und dynamisches Modellumschalten bei Leistungs- oder Zuverlässigkeitsabfällen ermöglicht.

Und schließlich sollten Systeme, wenn es um die Wiederherstellbarkeit geht, so konzipiert sein, dass sie davon ausgehen, dass Komponenten teilweise oder vollständig defekt sein können, sei es aufgrund von Anbieterausfällen, verringerter Modellqualität, Rate-Limits oder unerwarteter Eingaben von böswilligen Akteuren. Automatisierte Failover- und Selbstheilungsmechanismen sollten der Architektur inhärent sein, nicht manuelle Playbooks, die nach einem Fehler ausgelöst werden.

Dies ist die Richtung, in die wir bei TrueFoundry arbeiten. Anbieter, die Produktionsreife auf diese Weise definieren, indem sie Beobachtbarkeit, zentrale Steuerung und automatisierte Wiederherstellung kombinieren, werden langfristiges Kundenvertrauen verdienen und in der Lage sein, neue Probleme zu lösen, sobald sie auftauchen. Vendors that define production readiness in this way, combining observability, centralized control, and automated recovery, will earn long-term customer trust and will be able to continue to solve new issues as they emerge. Thank you for the great interview, readers who wish to learn more should visit TrueFoundry.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten TrueFoundry besuchen.