Victor Thu, Präsident von Datatron – Interview-Serie

Victor Thu ist der Präsident von Datatron, einer Plattform, die Unternehmen hilft, die Macht des maschinellen Lernens zu nutzen, indem sie die Bereitstellung beschleunigt, Probleme frühzeitig erkennt und die Effizienz der Verwaltung mehrerer Modelle im großen Maßstab erhöht.

Ihr Hintergrund liegt in Produktmarketing, Go-to-Market und Produktmanagement. Wie hat dieser Hintergrund Sie dazu geführt, im Bereich maschinelles Lernen und künstliche Intelligenz zu arbeiten?

Ich liebe Technologie und einige meiner engen Freunde bezeichnen mich sogar als “Technologie-Flüsterer”. Ich genieße es, komplexe Technologiethemen in eine Sprache zu übersetzen, die Menschen verstehen können, und mich selbst über neue Technologien zu informieren, um das “Warum” hinter Technologien zu verstehen, die den Menschen am meisten bedeuten.

Meine erste Begegnung mit dem, was ich “moderne künstliche Intelligenz” nenne, war, als ich eine Keynote-Präsentation von einer berühmten Stanford-AI-Professorin, Dr. Fei-Fei Li, ansah. Dr. Lis Keynote-Präsentation war so fesselnd, dass sie für mich einen Wendepunkt in meiner Karriere darstellte. Diese Präsentation überzeugte mich, dass dies der Bereich ist, in dem ich mich engagieren möchte. Ich wollte Teil der nächsten Welle der Technologie sein, in der wir künstliche Intelligenz und maschinelles Lernen nutzen, um Geschäftsherausforderungen zu lösen.

Seitdem habe ich für mehrere AI/ML-Startups gearbeitet, um die Technologie zu nutzen, um reale Geschäftsanforderungen zu erfüllen. Ich habe sehr eng mit Ph.D.-Level-ML-Wissenschaftlern zusammengearbeitet, die mir enormes Wissen über künstliche Intelligenz und maschinelles Lernen vermittelt haben. Und ich lerne noch heute, da sich der Bereich so schnell entwickelt.

Es war also wirklich meine Leidenschaft für Technologie und die Frage, wie man sie nutzen kann, um anderen zu helfen, die mich dazu gebracht hat, mich intensiv mit künstlicher Intelligenz und maschinellem Lernen zu beschäftigen.

Datatron konzentriert sich auf MLOps. Für Leser, die mit diesem Begriff nicht vertraut sind, könnten Sie bitte erklären, was das genau ist?

MLOps ist im Wesentlichen die Kodifizierung und Vereinfachung des sehr handwerklichen Prozesses, AI- und ML-Modelle vom Prototyp zur Produktion zu bringen.

Einer der größten Missverständnisse ist, dass Datenwissenschaftler, nachdem sie ihre AI-Modelle entwickelt haben, diese schnell in die Produktion überführen können. Die Realität ist jedoch, dass es bis zu einem Jahr dauern kann, bevor ein Modell bereit ist.

Der Hauptgrund für diese Verzögerung ist, dass die Menschen, die Experten darin sind, Modelle zu entwickeln, nicht unbedingt auch Software-Engineering-Experten sind. Ein guter Vergleich ist der Architekt, der Wolkenkratzer entwirft – er ist nicht auch der Entwickler, der sie baut.

MLOps ist im Wesentlichen die Brücke zwischen Modellentwicklern und Software-Engineering. Anstatt mehr als 12 Monate für die Überführung von Modellen in die Produktion zu benötigen, kann MLOps diesen langwierigen Prozess auf nur wenige Tage verkürzen.

In einem Artikel, den Sie für uns im September 2021 geschrieben haben, diskutierten Sie, wie “Das Haupt-Hindernis bei der Überführung von Lösungen in die Produktion nicht die Qualität der Modelle ist, sondern vielmehr das Fehlen von Infrastruktur, um Unternehmen dies zu ermöglichen.” Warum ist dies ein so großes Hindernis für die meisten Unternehmen?

Es gibt mehrere Faktoren, die zu diesem Hindernis beitragen.

• Die Überromantisierung von “kostenloser” Open-Source-Software. Ich möchte zunächst betonen, dass wir Open-Source-Software lieben und fest an ihre Bedeutung für die Weiterentwicklung der Branche glauben. Allerdings verstehen viele nicht die Komplexität von Open-Source-Software in Bezug auf künstliche Intelligenz und maschinelles Lernen. Heute gibt es einen schwerwiegenden Mangel an AI/ML-Talenten. Wenn man dies mit der Suche nach Software-Engineern (ML-Engineern oder MLOps-Engineern) kombiniert, die die einzigartigen Eigenschaften von AI/ML-Codes beherrschen, und dann erwartet, eine Unternehmens-MLOps-Plattform intern aufzubauen, indem man die 300+ Open-Source-MLOps-Projekte durchforstet, setzt man sich selbst für einen Misserfolg auf.
• Mangel an Infrastruktur zur Unterstützung von Engineering-Teams. Unternehmen benötigen eine bessere Umgebung, um Ingenieure zum Erfolg zu führen. Es muss genügend Bandbreite und Budget geben, um Teams die richtigen Werkzeuge zur Verfügung zu stellen. Künstliche Intelligenz ist eine relativ neue Technologie. Unternehmen, die künstliche Intelligenz einsetzen, wissen nicht immer, was sie tun müssen, um Modelle schnell bereitzustellen, weshalb MLOps ein so wichtiges Werkzeug ist.

Wie löst die Verwendung von MLOps das Infrastruktur-Problem?

MLOps löst das Infrastruktur-Problem auf vier Arten:

1. Keine proprietären Code-Änderungen: Datenwissenschaftler wollen die Flexibilität, Modelle zu erstellen, die zu Geschäftsanwendungen in ihrer Umgebung passen, daher komplizieren MLOps-Prozesse, die Code-Änderungen erfordern, die Integrität ihrer Modelle.
2. Automatisierung/Skripting: Viele Teams skripten Modelle auf eine hartcodierte Weise, was viel Zeit in Anspruch nimmt. MLOps automatisiert diesen gesamten Prozess und spart so viel Zeit und Energie.
3. Streamlining von Updates: AI-Modelle ändern sich regelmäßig, um sich an ihre Umgebung anzupassen. Manchmal müssen Datenwissenschaftler Modelle häufig aktualisieren. Ohne MLOps gibt es keine Möglichkeit, diese wiederholten Updates zu vermeiden.
4. Verwaltung der zugrunde liegenden Infrastruktur: Um Modelle bereitzustellen, müssen Sie die Netzwerk- und Speicherressourcen berechnen, die einzigartige Eigenschaften von AI/ML-Modellen erfordern. MLOps-Tools haben die Fähigkeit, auf die richtigen Ressourcen zuzugreifen und sie entsprechend zu skalieren.

Es gibt auch Unternehmensanforderungen, die oft nicht berücksichtigt werden, wenn man ein eigenes MLOps-Tool aufbaut, wie z.B. rollenbasierte Zugriffskontrolle (RBAC), Integration und Interoperabilität, Unterstützung für verschiedene ML-Tools, Bekämpfung von Sicherheitslücken und der unerwartete Abgang von Kern-Team-Mitgliedern.

Was sind Ihre persönlichen Ansichten zur Bedeutung von AI-Governance?

Es gibt unzählige Horrorgeschichten über AI-Modelle, die nicht ordnungsgemäß funktionieren, von der Falschklassifizierung bestimmter Personengruppen bis hin zu erheblichen finanziellen Verlusten für börsennotierte Unternehmen.

AI-Governance ist für Unternehmen von entscheidender Bedeutung, wenn sie AI-Modelle im Produktionsumfeld einsetzen. Mit anderen Worten, es ist nicht anders als andere IT- oder Geschäftsgovernance. Heute, wenn Ihre IT-Anwendungen in der Cloud oder in ihren eigenen Rechenzentren ausgeführt werden, haben sie eine Reihe von Tools, um sicherzustellen, dass die Anwendungen ordnungsgemäß funktionieren.

Sobald Sie AI-Modelle im Produktionsumfeld einsetzen, benötigen Sie Mechanismen und Tools, um Unternehmen und Datenwissenschaftlern die Sichtbarkeit zu geben, was die Modelle tun.

Besonders in diesem frühen Stadium von AI/ML gibt es keine “set it and forget it”-Option. Zu Beginn müssen Sie überwachen, wie sich Ihr Modell verhält, und entsprechende Anpassungen vornehmen. Es ist wichtig, eine ordnungsgemäße Überwachungsfunktion zu haben, die Sie alarmiert, wenn Ihre Modelle außerhalb der gewünschten Grenzen agieren.

Model-Risikomanagement (MRM) muss auch die verschiedenen Personen berücksichtigen, die an der Modellentwicklung und -bereitstellung beteiligt sind. Welche Zugriffskontrollen haben Sie eingerichtet, um die Integrität der Modelle sicherzustellen? Oder wie stellen Sie sicher, dass Personen aus verschiedenen Gruppen Ihre Modelle nicht versehentlich für Anwendungsfälle verwenden, für die sie nicht vorgesehen sind? All dies sind Fragen, die Teams sich stellen müssen.

Wie hilft Datatron bei der Modell-Risikomanagement?

MLOps ermöglicht schnelle Modell-Updates und -Änderungen. Wenn beispielsweise ein Modell unangemessen Personen auf einem Kreditantrag ablehnt, ermöglicht MLOps es, das Modell zurückzuziehen und ein neues einzuführen, wodurch das Risiko auf einfache Weise gemanagt wird.

Es schützt Modelle vor einer Verzerrungsdrift und erhält wichtige Kennzahlen während der Produktion durch ein einfaches Dashboard, das diese Kennzahlen mithilfe tiefer, detaillierter Daten aus einer hochrangigen Übersicht darstellt, die von Geschäftsentscheidungsträgern leicht verstanden werden kann.

Die Datatron-Plattform für AI-Governance bietet eine Ebene über eine generische Überwachungsfunktion hinaus – sie bietet zusätzlichen Kontext und Logik, der eine klare Sichtbarkeit der Modelle bietet, die für die Anwendungsfälle der Kunden relevant sind.

In einem Blog-Beitrag auf Datatron haben Sie beschrieben, wie Datatron das Mantra von Reliable AI™ aufgreift. Können Sie bitte erklären, was das in Ihren Augen bedeutet?

Als wir dies entwickelten, dachten wir darüber nach, wie wir so komfortabel in kommerziellen Flugzeugen fliegen können, weil sie sehr zuverlässig sind.

Trotz all der Diskussionen über ethische AI, verantwortungsvolle AI usw. ist der Schlüsselbedarf für Unternehmen, AI/ML zuverlässig nutzen zu können – genauso, als ob ihre Mitarbeiter ein kommerzielles Flugzeug besteigen würden.

Die Verwendung von Begriffen wie ethische AI, verantwortungsvolle AI hat sich aus dem Problem ergeben, dass aktuelle AI-Modelle nicht das tun, was sie tun sollen, und daher als unzuverlässig gelten. Unternehmen sind nicht bereit, AI zu verwenden, weil sie nicht das Vertrauen haben, dass ihre Modelle nicht voreingenommen sind. Das bedeutet, dass ihre Modelle unzuverlässig sind, und Datatron will dies ändern.

Gibt es noch etwas, das Sie über Datatron teilen möchten?

Wir sind einer der wenigen MLOps-Anbieter, die Super-Bowl-erprobt sind – wir haben erfolgreich in einem hochstressigen Szenario gearbeitet, was für ein Startup oder ein Open-Source-Tool nicht typisch ist. Der Kunde, Domino’s Pizza , arbeitet mit Datatron zusammen, um AI-Modelle leicht und schnell in die Produktion zu überführen, die dann während des Super Bowls auf die ultimative Probe gestellt wurden.

MLOps ist wirklich der Weg, um AI/ML-Modelle in die Produktion zu bringen, während Ressourcen geschont und Kosten gesenkt werden. Wir sind eine nachhaltige Quelle für erfolgreiche AI/ML-Modelle und dienen als Katalysator für Umsatz. Unternehmen können endlich ihre Rendite aus ihren AI- und ML-Projekten erzielen. Unabhängig von Ihren Margen können Sie mit MLOps Ergebnisse erzielen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Datatron besuchen.