Victor Thu, Präsident von Datatron – Interviewreihe

Victor Thu ist der Präsident von Datatron, einer Plattform, die Unternehmen hilft, die Macht des Machine Learning zu nutzen, indem sie die Bereitstellung beschleunigen, Probleme frühzeitig erkennen und die Effizienz der Verwaltung mehrerer Modelle im großen Maßstab erhöhen.

Ihr Hintergrund liegt in Produktmarketing, Go-to-Market und Produktmanagement, wie hat dieser Hintergrund Sie dazu gebracht, in Machine Learning und KI zu arbeiten?

Ich liebe Technologie und einige meiner engen Freunde bezeichnen mich sogar als “Technologie-Flüsterer”. Ich genieße es, komplexe Technologiethemen in eine Sprache zu übersetzen, die Menschen verstehen können, und mich über neue Technologien zu informieren, um zum “Warum” hinter Technologien zu gelangen, die den Menschen am meisten bedeuten.

Meine erste Begegnung mit dem, was ich “moderne KI” nenne, war, als ich eine Keynote-Präsentation von einem berühmten Stanford-KI-Professor, Dr. Fei-Fei Li, ansah. Dr. Lis Keynote-Präsentation war so fesselnd, dass sie als Wendepunkt in meiner Karriere diente. Diese Präsentation überzeugte mich, dass dies der Ort ist, an dem ich als Nächstes sein wollte. Ich wollte Teil der nächsten Welle der Technologie sein, bei der wir KI und ML verwenden, um Geschäftsherausforderungen zu lösen.

Seitdem bin ich bei einer Reihe von KI/ML-Startups gewesen, um die Technologie zu nutzen, um echte Geschäftsanforderungen zu erfüllen. Ich habe sehr eng mit Ph.D.-Level-ML-Wissenschaftlern zusammengearbeitet, die mir enormes Wissen in KI/ML vermittelt haben. Und ich bin noch immer am Lernen, da der Bereich so schnell evolviert.

Es war also wirklich meine Leidenschaft für Technologie und wie man sie nutzen kann, um anderen zu helfen, die mich dazu gebracht hat, eng mit KI/ML zu arbeiten.

Datron konzentriert sich auf MLOps, für Leser, die mit diesem Begriff nicht vertraut sind, können Sie bitte beschreiben, was es genau ist?

MLOps ist im Wesentlichen die Kodifizierung und Vereinfachung des hochgradig handwerklichen Prozesses, AI- und ML-Modelle vom Prototyp zur Produktion zu bringen.

Eine der größten Missverständnisse ist, dass Datenwissenschaftler, sobald sie ihre AI-Modelle entwickelt haben, sie schnell in die Produktion überführen können. Die Realität ist jedoch, dass es bis zu einem Jahr dauern kann, bevor ein Modell bereit ist.

Der Hauptgrund für diese Verzögerung ist, dass die Menschen, die Experten darin sind, Modelle zu entwickeln, nicht unbedingt auch Software-Engineering-Experten sind. Ein guter Vergleich ist der Architekt, der Wolkenkratzer entwirft – er ist nicht auch der Entwickler, der sie baut.

MLOps ist im Wesentlichen die Brücke zwischen Modellentwicklern und Software-Engineering. Anstatt mehr als 12 Monate zu verbringen, um Modelle in die Produktion zu überführen, kann MLOps diesen langwierigen Prozess auf nur wenige Tage verkürzen.

In einem Artikel, den Sie für uns im September 2021 geschrieben haben, diskutierten Sie, wie “Das Haupt-Hindernis, Lösungen in die Produktion zu bringen, ist nicht die Qualität der Modelle, sondern vielmehr das Fehlen der Infrastruktur, um es Unternehmen zu ermöglichen, dies zu tun.” Warum ist dies für die meisten Unternehmen ein so großes Hindernis?

Es gibt mehrere Faktoren, die zu diesem Hindernis beitragen.

• Die Überromantisierung von “kostenloser” Open-Source-Software. Ich möchte zunächst betonen, dass wir Open-Source-Software lieben und fest an ihre Fähigkeit glauben, der Branche durch ihre Fortschritte zu helfen. Viele verstehen jedoch nicht die Komplexität von Open-Source-Software in Bezug auf KI und ML. Heute gibt es einen schwerwiegenden Mangel an KI/ML-Talenten. Wenn man dies mit der Suche nach Software-Engineern (ML-Engineern oder MLOps-Engineern) kombiniert, die wissen, wie man die einzigartigen Eigenschaften von KI/ML-Codes handhabt, und dann erwartet, intern eine MLOps-Plattform im Unternehmen aufzubauen, indem man 300+ Open-Source-MLOps-Projekte durchforstet, setzt man sich selbst für einen Misserfolg ein.
• Mangel an Infrastruktur, um Ingenieursteams zu unterstützen. Unternehmen benötigen eine bessere Umgebung, um Ingenieure zum Erfolg zu führen. Es muss genügend Bandbreite und Budget geben, um Teams die richtigen Werkzeuge zu bieten. KI ist eine relativ neue Technologie. Unternehmen, die KI nutzen, wissen nicht immer, was sie tun müssen, um Modelle schnell bereitzustellen, was der Grund ist, warum MLOps so wichtig ist.

Wie löst die Verwendung von MLOps das Problem des Infrastruktur-Mangels?

MLOps löst das Infrastruktur-Problem auf vier Arten:

1. Keine proprietären Code-Änderungen: Datenwissenschaftler wollen die Flexibilität, Modelle zu bauen, die zu Geschäftsanwendungsfällen in ihrer Umgebung passen, daher komplizieren MLOps-Prozesse, die Code-Änderungen erfordern, die Integrität ihrer Modelle.
2. Automatisierung/Skripting: Viele Teams skripten Modelle auf eine harte, codierte Weise, was viel Zeit in Anspruch nimmt. MLOps automatisiert diesen gesamten Prozess und spart so viel Zeit und Energie.
3. Streamlining von Updates: KI-Modelle ändern sich regelmäßig, um sich an ihre Umgebung anzupassen. Manchmal müssen Datenwissenschaftler zurückkehren, um Modelle häufig zu aktualisieren. Ohne MLOps gibt es keinen Weg, diese wiederholten Updates zu vermeiden.
4. Verwaltung der zugrunde liegenden Infrastruktur: Um Modelle bereitzustellen, müssen Sie die Netzwerk- und Speicherressourcen berechnen, die einzigartige Eigenschaften von KI/ML-Modellen erfordern. MLOps-Tools haben die Fähigkeit, auf die richtigen Ressourcen zuzugreifen und sie entsprechend zu skalieren.

Es gibt auch Unternehmensanforderungen, die oft nicht berücksichtigt werden, wenn man sein eigenes MLOps-Tool aufbaut, wie z.B. rollenbasierte Zugriffskontrolle (RBAC), Integration und Interoperabilität, Unterstützung für verschiedene ML-Tools, Bekämpfung von Sicherheitslücken und der unerwartete Ausfall von Kern-Team-Mitgliedern.

Was sind Ihre persönlichen Ansichten zur Bedeutung von KI-Governance?

Es gab unzählige Horror-Geschichten über KI-Modelle, die nicht ordnungsgemäß funktionierten, von der Falschklassifizierung bestimmter Gruppen von Menschen bis hin zu massiven finanziellen Verlusten für börsennotierte Unternehmen.

KI-Governance ist für Unternehmen von entscheidender Bedeutung, wenn sie KI-Modelle im Produktionsbetrieb haben. Mit anderen Worten, es ist nicht anders als andere IT- oder Geschäftsgovernance. Heute, wenn Ihre IT-Anwendungen in der Cloud oder sogar in ihren eigenen Rechenzentren ausgeführt werden, haben sie eine Reihe von Tools, um sicherzustellen, dass die Anwendungen ordnungsgemäß funktionieren.

Sobald Sie KI-Modelle im Betrieb haben, müssen Sie Mechanismen und Tools haben, um dem Unternehmen und den Datenwissenschaftlern Einblick in das zu geben, was die Modelle tun.

Insbesondere in dieser frühen Phase von KI/ML gibt es keine “Set it and forget it”-Option. Zu Beginn müssen Sie überwachen, wie sich Ihr Modell verhält, und entsprechende Anpassungen vornehmen. Es ist wichtig, Überwachungskapazitäten zu haben, die Sie warnen, wenn Ihre Modelle außerhalb der gewünschten Grenzen agieren.

Model-Risikomanagement (MRM) muss auch die verschiedenen Personen berücksichtigen, die an der Modellentwicklung und -bereitstellung beteiligt sind. Welche Zugriffskontrollen haben Sie eingerichtet, um die Integrität der Modelle zu gewährleisten? Oder wie stellen Sie sicher, dass Personen aus verschiedenen Gruppen Ihre Modelle nicht versehentlich für Anwendungsfälle verwenden, für die sie nicht entwickelt wurden? All dies sind Fragen, die Teams sich selbst stellen müssen.

Wie hilft Datatron bei der Modell-Risikomanagement?

MLOps ermöglicht schnelle Modell-Updates und -Änderungen. Wenn beispielsweise ein Modell unangemessen Menschen auf einem Kreditantrag ablehnt, ermöglicht MLOps es, das Modell zurückzuziehen und ein neues einzuführen, wodurch das Risiko auf einfache Weise gemanagt wird.

Es schützt Modelle vor einer Verzerrungsdrift und erhält wichtige Kennzahlen im Produktionsbetrieb durch ein einfaches Dashboard, das diese Kennzahlen mit detaillierten Daten aus einer hochrangigen Übersicht anzeigt, die leicht von Geschäftsentscheidungsträgern verstanden werden kann.

Die KI-Governance-Plattform von Datatron bietet eine Ebene über die allgemeine Überwachungsfunktion hinaus – sie bietet zusätzlichen Kontext und Logik, der eine klare Sichtbarkeit der Modelle bietet, die für die Anwendungsfälle der Kunden relevant sind.

In einem Blog-Beitrag auf Datatron haben Sie beschrieben, wie Datatron das Mantra von Reliable AI™ aufgreift. Können Sie bitte beschreiben, was das in Ihren Augen bedeutet?

Als wir dies entwickelten, dachten wir darüber nach, wie wir so komfortabel in kommerziellen Flugzeugen fliegen können, weil sie sehr zuverlässig sind.

Trotz all dieser Diskussionen über ethische KI, verantwortungsvolle KI usw. besteht das Hauptbedürfnis für Unternehmen darin, KI/ML zuverlässig nutzen zu können – genau wie wenn ihre Mitarbeiter in ein kommerzielles Flugzeug einsteigen würden.

Die Verwendung von Begriffen wie ethische, verantwortungsvolle KI hat sich tatsächlich aus dem Problem ergeben, dass aktuelle KI-Modelle nicht das tun, was sie tun sollen, und daher als unzuverlässig gelten. Unternehmen sind nicht bereit, KI zu nutzen, weil sie kein Vertrauen in die Unvoreingenommenheit ihrer Modelle haben. Das bedeutet, dass ihre Modelle unzuverlässig sind und Datatron darauf abzielt, dies zu ändern.

Gibt es noch etwas, das Sie über Datatron teilen möchten?

Wir sind einer der wenigen MLOps-Akteure, die Super-Bowl-erprobt sind – erfolgreich in einer Hochdrucksituation, was für ein Startup oder ein Open-Source-Tool nicht typisch ist. Der Kunde, Domino’s Pizza, arbeitet mit Datatron zusammen, um AI-Modelle leicht und schnell im Produktionsbetrieb zu operationalisieren, die dann während des Super Bowls auf den ultimativen Test gestellt wurden.

MLOps ist wirklich der Weg, um KI/ML-Modelle in die Produktion zu bringen, während Ressourcen erhalten und Kosten gesenkt werden. Wir sind eine nachhaltige Quelle für erfolgreiche KI/ML-Modelle und dienen als Katalysator für Umsatz. Unternehmen können endlich ihre Rendite aus ihren KI- und ML-Projekten erzielen. Unabhängig von Ihren Margen können Sie Ergebnisse mit MLOps erzielen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Datatron besuchen.