Christian Stano, Field CTO bei Anyscale – Interviewreihe

Christian Stano, Field CTO bei Anyscale, hat seine Karriere an der Schnittstelle von groß angelegter KI-Infrastruktur, Machine-Learning-Plattformen und verteiltem Rechnen aufgebaut. Bevor er zu Anyscale kam, leitete er die Abteilung für KI- und ML-Plattformen bei Attentive, wo er die Infrastruktur für die Personalisierung von über einer halben Milliarde Abonnenten skalierte und half, die Einführung einheitlicher, Ray-basierter Rechensysteme voranzutreiben, die die Entwicklungszeit verkürzten und die Betriebskosten reduzierten. Früher in seiner Karriere arbeitete er in den Bereichen Cybersicherheit, Cloud-Architektur und KI-Initiativen im öffentlichen Sektor bei Organisationen wie Coalfire und Deloitte, wo er zu einer der ersten Machine-Learning-Plattformen des US-Verteidigungsministeriums beitrug. Sein Hintergrund umfasst KI-Plattform-Engineering, MLOps, Cloud-native Infrastruktur, Unterstützung von Entwicklern und organisatorische Skalierung, was ihm tiefgreifende Erfahrungen bei der Unterstützung von Unternehmen bei der Überführung von KI in den großflächigen Produktivbetrieb gibt.

Anyscale ist das Unternehmen hinter Ray, dem Open-Source-Framework für verteiltes Rechnen, das weit verbreitet für die Skalierung von KI- und Python-Workloads auf Clustern von CPUs und GPUs verwendet wird. Das Unternehmen wurde von den ursprünglichen Ray-Entwicklern aus dem RISELab der UC Berkeley gegründet und konzentriert sich auf die Vereinfachung der Bereitstellung, Orchestrierung und Verwaltung von groß angelegter KI-Infrastruktur für Training, Inferenz, Datenverarbeitung und Workloads für KI-Agenten. Seine Plattform ermöglicht es Organisationen, verteilte KI-Systeme in Cloud- und On-Premises-Umgebungen auszuführen, und stellt dabei Beobachtbarkeit, Governance und Leistungsoptimierungen für moderne KI-Anwendungen bereit. Ray ist zu einer Kernschicht im entstehenden KI-Infrastruktur-Stack geworden, die Entwicklern hilft, Workloads von einem einzelnen Rechner auf Tausende von Knoten mit minimalen Änderungen an bestehendem Python-Code zu skalieren.

Sie haben in den Bereichen Cybersicherheit, ML-Plattformen im öffentlichen Sektor und hyperskalige Personalisierungssysteme gearbeitet. Welche Muster haben Sie bei Organisationen beobachtet, die von KI-Piloten in die Produktion übergehen?

Über Branchen hinweg treten drei Muster regelmäßig auf. Erstens haben Teams keinen zuverlässigen, etablierten Weg von der Entwicklung zur Produktion. Sie können ein Modell in einem Notebook erstellen, aber es gibt keinen standardisierten Weg, es in der Produktion auszuführen. Jede Bereitstellung wird zu einem Einzelstück, und jeder Fehler ist eine Überraschung. Zweitens kann die Infrastruktur nicht mit den Bedürfnissen skaliert werden. Das System, das im Piloten funktioniert hat, bricht zusammen, wenn man es mit realen Datenmengen oder realem Datenverkehr füttert. Drittens fliegen Teams blind. Ihnen fehlt die Beobachtbarkeit, um zu wissen, wie ihre Systeme tatsächlich funktionieren, wo sie zusammenbrechen werden und wann man eingreifen muss.

Was alle drei verbindet, ist dieselbe grundlegende Herausforderung – Teams haben kein tragfähiges Verständnis dafür, wie sich Arbeit für die Skalierung auf mehr Maschinen verteilen lässt. Sie versuchen, alles auf einmal zu lösen, anstatt die Reihenfolge der Schritte bewusst zu planen. Ich denke dabei an drei Phasen: zum Laufen bringen, richtig aufsetzen, beschleunigen. Diese Phasen sind keine einmaligen Meilensteine, sondern werden immer wieder durchlaufen. Man priorisiert ständig zwischen dem, was gerade kaputt ist, und dem, was als nächstes kaputt gehen wird. Die Teams, die erfolgreich sind, wissen, in welcher Phase sie sind und bleiben diszipliniert, ohne voranzuschreiten, bevor die Grundlage solide ist.

Bei Anyscale sehen wir Teams, die in jedem Stadium hereinkommen. Einige versuchen noch, es zum Laufen zu bringen – sie benötigen einen zuverlässigen Weg von der Entwicklung zur Produktion. Andere haben das, aber ertrinken in operativer Komplexität und müssen ihre Systeme richtig aufsetzen. Und viele kommen zu uns, weil sie etwas aufgebaut haben, das funktioniert, aber es nicht auf die Skala bringen können, die das Geschäft fordert. Eine einheitliche Rechenebene hilft in jeder Phase, aber der Einstiegspunkt hängt davon ab, welches Problem am dringendsten ist.

Bei Attentive halfen Sie dabei, KI-Systeme zu skalieren, die Hunderte von Millionen von Nutzern unterstützten. Was waren die größten architektonischen oder organisatorischen Engpässe, die Sie überwinden mussten, um dieses Maß an Skalierbarkeit zu erreichen?

Der größte Engpass war die S-Kurve der Infrastrukturkomplexität. Als wir unsere Modelle dazu brachten, mehr Daten zu integrieren und mehr Kunden zu bedienen, trafen wir auf einen Wendepunkt bei der Rechenkapazität, an dem sogar die größten vertikal skalierten Knoten Fehler wegen Speichermangels meldeten und einfache horizontale Skalierung nicht ausreichte. Unsere Rechenleistung konnte nicht mit dem Umfang unserer Daten mithalten.

Die natürliche Reaktion war, mehr Tools aufzuschichten, um die Grenzen zu umgehen. Das war meine aus früheren Erfahrungen gewohnte Vorgehensweise. Jedes Tool löste ein begrenztes Problem, fügte aber operative Komplexität hinzu. Unsere ML-Pipeline drohte, ein Flickwerk aus Integrationen zu werden, und jeder neue Anwendungsfall bedeutete mehr Verknüpfungsarbeit, mehr Fehlermodi, höhere Kosten und mehr Overhead für das Plattform-Team.

Die Skalierung wurde schließlich dadurch möglich, dass wir Datenverarbeitung, Training, Inferenz und Modellbereitstellung auf Ray und Anyscale vereinheitlichten. Die Wirkung zeigte sich sofort: deutlich niedrigere Infrastrukturkosten, erheblich schnellere Trainingszyklen trotz wachsender Datenmengen und die Möglichkeit, Modelle für eine um mehrere Größenordnungen größere Kundenzahl zu skalieren.

Was motivierte Ihre Entscheidung, in dieser Phase zu Anyscale zu wechseln, und wie sehen Sie die Rolle des Field CTO bei der Gestaltung der Unternehmens-KI-Adoption?

Meine Erfahrung, Anyscale bei Attentive einzuführen, hat meine Vorgehensweise beim Aufbau von ML-Plattformen grundlegend geändert. Zuvor entfiel ein erheblicher Teil der Kosten des Plattform-Engineerings auf das Verbinden fragmentierter Systeme. Mit Anyscale konnten wir viel von diesem Overhead eliminieren und uns stattdessen auf die Entwicklererfahrung, Zuverlässigkeit und Leistung konzentrieren. Diese Verschiebung hatte einen enormen Einfluss auf die Team-Produktivität und die System-Ergebnisse. Der Wechsel zu Anyscale war eine Gelegenheit, an diesem Problem Vollzeit zu arbeiten und anderen Organisationen zu helfen, den gleichen Übergang zu meistern. Als Field CTO besteht meine Rolle vor allem darin, diese praktischen Erfahrungen in wiederholbare Muster zu verwandeln, die unsere Kunden anwenden können, wenn sie KI skalieren.

Viele Unternehmen stecken noch in der “Pilot-Phase” von KI. Aus Ihrer Perspektive, was bricht speziell, wenn Unternehmen diese frühen Experimente in Produktions-Systeme skalieren?

Wenn Unternehmen von KI-Experimenten in die Produktion übergehen, bricht selten nur das Modell – betroffen sind das umgebende System und der Betrieb. In einigen Fällen stoßen Teams früh an Infrastruktur-Grenzen und können Modelle nicht im gewünschten Umfang trainieren oder bereitstellen. Sie müssen die Anzahl der Kunden oder Anwendungsfälle, die ihr Modell bedient, begrenzen. Häufiger treten Probleme in der Produktion durch unerwartete Randfälle oder Änderungen in den Daten auf. Einer der häufigsten Fehlerpunkte ist der Speicher: Wenn die Daten-Größe, -Verteilung oder -Modalität sich ändert, geht Jobs der Speicher aus und sie brechen ab. Diese Probleme sind schwer vorherzusehen, und eine automatische Wiederherstellung nach solchen Vorfällen ist noch schwieriger. Die Realität ist, dass Ausfälle bei KI im Produktivbetrieb unvermeidlich sind. Das Ziel ist nicht, Ausfälle vollständig zu vermeiden, sondern sie schnell zu erkennen und zu verstehen sowie selbstheilende Systeme zu bauen, die Probleme vor geschäftlichen Auswirkungen beheben.

Ray, das verteilte Rechen-Framework, das von dem Team hinter Anyscale erstellt wurde, verbreitet sich zunehmend als Grundlage für KI-Workloads. Warum wird die verteilte Ausführung zu einer so kritischen Schicht in der modernen KI-Infrastruktur?

Die verteilte Ausführung und die Workload-Verwaltung sind zu einem Muss für KI-Pipelines geworden. Moderne KI-Workloads sind von Natur aus parallel und ressourcenintensiv. Training, Inferenz und Datenverarbeitung erfordern alle die Koordination großer Mengen von Aufgaben über CPUs und GPUs, oft dynamisch. In der heutigen Rechenumgebung ist die Komplexität der Verwaltung dieser Workloads über knappe Ressourcen eine massive operative Belastung. Traditionelle Systeme wurden nicht für diese Komplexität oder Skalierbarkeit konzipiert. Frameworks wie Ray sind entscheidend, weil sie es Teams ermöglichen, Workloads nahtlos von einem einzelnen Rechner auf Tausende von Knoten zu skalieren, indem sie die zugrunde liegende Koordination automatisieren. Diese Verschiebung spiegelt einen umfassenderen Trend zu speziell für KI konzipiertem Rechnen wider, wobei die Infrastruktur speziell für die Muster von KI-Workloads entworfen und nicht aus älteren Paradigmen abgeleitet wird.

Wenn mehr Unternehmen Ray über die Plattform von Anyscale einführen, welche Unterschiede sehen Sie zwischen Organisationen, die eine einheitliche Herangehensweise zum Standard machen, und solchen, die fragmentierte Tools zusammenfügen?

Der Unterschied zwischen einheitlichen Plattformen und fragmentierten Tools kommt letztendlich auf Fokus und Effizienz an. Wenn Teams auf mehrere voneinander getrennte Systeme angewiesen sind, verbringen sie viel Zeit damit, diese Systeme zusammenzufügen, Inkonsistenzen zu verwalten und auf Fehler in verschiedenen Umgebungen zu reagieren. Dies schafft zusätzlichen Betriebsaufwand und verlangsamt Experimente. Im Gegensatz dazu ermöglicht eine einheitliche Herangehensweise es Teams, ihre Bemühungen auf die Verbesserung eines einzigen Systems zu konzentrieren, was zu besserer Zuverlässigkeit, stärkerer Leistung und einer reibungsloseren Entwicklererfahrung führt. Es vereinfacht auch die On-Call- und Debug-Prozesse, da Muster konsistent und einfacher zu verstehen sind. Das Ergebnis ist nicht nur technische Effizienz, sondern auch organisatorische Klarheit.

Basierend auf Ihrer Erfahrung beim Aufbau von End-to-End-ML-Plattformen, wie wichtig ist die Entwicklererfahrung (DevEx) für die Beschleunigung der KI-Adoption in Teams?

Die Entwicklererfahrung gehört zu den wirksamsten Ansatzpunkten für die Beschleunigung der KI-Adoption. Wenn Plattform-Teams in die Verbesserung der Systeme investieren, um sie durch standardisierte Workflows, Vorlagen und weniger Hindernisse bei der Infrastruktur einfacher nutzbar zu machen, verstärken sie die Produktivität jedes Ingenieurs in der Organisation. Dies ist besonders wichtig in der KI, wo der Wandel sehr schnell ist und Teams schnell iterieren müssen, um wettbewerbsfähig zu bleiben. Verbesserungen in der Entwicklererfahrung führen direkt zu schnelleren Experimenten, kürzerer Zeit bis zum Produktiveinsatz und letztlich größerem geschäftlichem Nutzen. KI-Coding-Tools verstärken diese DevEx-Grundlagen. In vielerlei Hinsicht ist es der skalierbarste Weg, um die Geschwindigkeit in einer Organisation zu erhöhen.

Kosteneffizienz wird zu einer großen Sorge, wenn KI-Workloads skaliert werden. Welche sind einige der am meisten übersehenen Möglichkeiten, wie Unternehmen Infrastrukturkosten ohne Leistungs-Einbußen reduzieren können?

Wenn KI-Workloads skaliert werden, wird das Kostenmanagement sowohl wichtiger als auch komplexer. Eine der am meisten übersehenen Herausforderungen ist, wie schnell Kosten aufgrund von Ineffizienzen, insbesondere bei GPU-basierten Infrastrukturen, aus dem Ruder laufen können. Große Cluster können Tausende von Knoten starten, und wenn Ressourcen nicht ordnungsgemäß verwaltet oder beendet werden, summieren sich die Kosten schnell. Dies schafft eine Art KI-spezifischer, unkontrollierter Ressourcenausweitung, bei der die Nutzung von Rechenleistung schneller wächst, als Teams sie verfolgen oder kontrollieren können. Die Lösung erfordert eine Kombination aus starker Governance, Sichtbarkeit und Automatisierung, beispielsweise automatische Skalierung, automatische Abschaltung und zentrale Ressourcenverwaltung. Im großen Maßstab ist Kosteneffizienz nicht nur eine operative Sorge, sondern ein fundamentaler Teil des System-Designs.

Sie haben an allem gearbeitet, von Feature-Stores bis hin zu Systemen für Echtzeit-Inferenz. Wie denken Sie, dass sich das Gleichgewicht zwischen Batch- und Echtzeit-KI-Workloads entwickelt?

Das Gleichgewicht zwischen Batch- und Echtzeit-KI-Workloads hat sich nicht grundlegend geändert – es bleibt eine Frage der Geschäftsanforderungen. Batch-Verarbeitung ist typischerweise kostengünstiger und einfacher zu betreiben, was sie für viele Anwendungsfälle geeignet macht. Echtzeit-Systeme sind dagegen unerlässlich, wenn die Latenz direkt die Benutzererfahrung oder das Geschäftsergebnis beeinflusst, wie in Chat-Anwendungen oder Betrugs-Erkennung. Beide Ansätze werden weiterhin koexistieren, und der Schlüssel für Organisationen ist, Plattformen aufzubauen, die beide effektiv unterstützen können. Die Entscheidung kommt letztendlich auf Kompromisse zwischen Kosten, Latenz und Zuverlässigkeit an.

Wenn man in die Zukunft blickt, wie sieht eine “reife” Unternehmens-KI-Plattform in 2-3 Jahren aus – und wie passen Tools wie Ray und Plattformen wie Anyscale in diese Zukunft?

In den nächsten Jahren werden reife Unternehmens-KI-Plattformen durch einige Schlüsselmerkmale definiert. Sie werden auf einer einheitlichen Infrastruktur basieren, die den gesamten KI-Lebenszyklus unterstützt, von der Datenverarbeitung bis zum Training und zur Inferenz, statt auf einer Sammlung voneinander getrennter Tools. Sie werden einen gut aufgestellten laufenden Betrieb nach der Einführung haben, mit agenten-automatisierter Beobachtbarkeit, Zuverlässigkeit und schneller Fehlersuche. Kostenmanagement wird vorhersehbar und gesteuert sein, was es Organisationen ermöglicht, nachhaltig zu skalieren. Und vielleicht am wichtigsten: Sie werden ein hohes Entwicklungstempo ermöglichen, was es Teams ermöglicht, von der Idee zur Produktion schnell zu gelangen. Plattformen wie Ray und Anyscale spielen eine zentrale Rolle in dieser Zukunft, indem sie die speziell für KI entworfenen Grundlagen liefern, die dieses Maß an Skalierbarkeit und Effizienz ermöglichen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Anyscale besuchen.