Vier Faktoren für den Erfolg mit ML-Modellen

Von Jason Revelle, CTO, Datatron

Experten, Analysten und Menschen mit Erfahrung in der Implementierung von Machine-Learning-Modellen (ML) loben die Vorteile von ML und führen dazu, dass immer mehr Unternehmen ML für verschiedene Zwecke einsetzen. Der Grund für diese Begeisterung liegt in der Idee, dass ML die menschliche Kognition computerisieren und die digitale Transformation vorantreiben kann. Allerdings gibt es auch eine Kehrseite: für die Teams, die ML-Modelle in der Produktion verwalten müssen, kann die Arbeit zu einer schwierigen Aufgabe werden.

Unternehmen setzen ML für eine Vielzahl von Aufgaben ein, wie z.B. die Klassifizierung von Gesundheitsrisiken, die Verarbeitung von Dokumenten, die Vorhersage von Preisen, die Erkennung von Betrug, die vorbeugende Wartung und vieles mehr. Teams trainieren und bewerten Modelle auf historischen Daten, bis sie die Leistungs- und Genauigkeitsziele zu erreichen scheinen. Unternehmen sind daran interessiert, die hochwertigen Vorteile von ML zu nutzen, indem sie zukünftige Ergebnisse vorhersagen, klassifizieren oder vorschlagen und auf diese Vorhersagen reagieren.

Allerdings kommt dieser Geschäftswert mit hohen operativen Kosten verbunden. Sobald ein Modell “bereit” ist, erzeugt seine Automatisierung durch zuverlässige Liefermechanismen operative Komplexitäten und Risiken, die eine ständige Überwachung erfordern. Um diese Projekte effizient und effektiv zu gestalten, müssen Liefer- und Betriebsteams den gesamten ML-Lebenszyklus verwalten. Die Daten müssen verfügbar und von der erwarteten Qualität sein, verglichen mit denen, die für das Training verwendet wurden.

Es wird bald deutlich, dass dies nicht wie andere Ingenieuraufgaben ist, und dass man auf neue Weise über die Herausforderungen nachdenken muss, um wirklich zu einem AI-gesteuerten Unternehmen zu werden. Hier sind vier Dinge, die man für den Erfolg mit Machine Learning und speziell mit ML-Modellen berücksichtigen sollte:

1. Wie man mehrere Versionen im Hintergrund schnell bereitstellen kann

Machine-Learning-Modelle erfordern einen iterativen Prozess, der auf realen Produktionsdaten basiert. Man sollte gezielte Investitionen tätigen, um Bereitstellungsziele zu haben, die Ergebnisse ausführen und protokollieren können, ohne dass die Produktionssysteme oder Kunden diese Ergebnisse sehen. Man benötigt die Fähigkeit, dies leicht und flüssig zu tun, bis man das gewünschte Modell hat. Langfristig ist es viel effektiver und wirtschaftlicher, anzunehmen, dass es viele Anpassungen der Modelle geben wird, sowie die Notwendigkeit, aktuelle Versionen mit neuen Kandidaten zu vergleichen, die bessere Ergebnisse versprechen.

2. Verstehen, dass das, was Ihr Team verspricht, typischerweise nicht in traditionelle, anwendungszentrierte “genehmigte Software”-Richtlinien passt.

ML wächst schnell und diversifiziert sich, und es gibt eine immer längere Liste von Technologieanbietern, sowohl groß als auch klein. Es ist selbstverständlich, dass IT eine ordnungsgemäße Unterstützung, Sicherheitsprüfungen und Kontrollen für die Betriebsumgebungen aufrechterhalten muss. Aber Vorsicht: die Anwendung der gleichen Kontrollen und Prozesse, die für die Verwaltung von Betriebs- oder Produktions-Technologie verwendet werden, auf die ML-Praxis, kann wahrscheinlich die potenziellen Erträge erheblich verringern, bevor man überhaupt die Startlinie überquert hat.

Es ist auch wichtig zu beachten, dass Data Scientists sehr gefragt sind. Es ist nicht schwierig für sie, einen anderen Job zu finden, wenn sie sich unter Druck gesetzt fühlen, bessere und bessere Ergebnisse zu liefern, ohne die Technologie zu ändern, die sie verwenden, oder wie sie sie verwenden können.

3. Verstehen, dass der ML-Modell-Entwicklungslebenszyklus nicht dem Software-Entwicklungslebenszyklus entspricht

Die Software-Entwicklung und die Erstellung von ML-Modellen sind sehr unterschiedliche Prozesse; es ist ein Rezept für eine Katastrophe, wenn man den letzteren wie den ersteren behandelt. Unternehmen, die die Modelllieferung als eine weitere Software-Veröffentlichung behandeln, enden mit Lücken in querlaufenden Fähigkeiten wie Überwachung und Analyse und hohen Overhead-Kosten für den Wissens-transfer zwischen Erstellern und Betreibern, mit sequenziellen, verlängerten Zeitplänen. Spezialisten, die die Modelle bereitstellen und unterstützen, müssen verstehen, wie das Modell und die Daten funktionieren, und nicht nur die Service-Zuverlässigkeit und Fehlercodes triagieren. Die richtigen Talente, hybride Teams, bestehend aus Daten- und Betriebsspezialisten, sowie die richtigen Tools ermöglichen es, zu testen und zu interpretieren, ob die Software nicht nur ausgeführt wird, sondern auch, wie genau und erklärbar die Antworten sind.

Es ist auch wichtig, einen erfolgsbasierten Ansatz für die Prüfung von Machine-Learning-Modellen zu verwenden, da sie fehlerhaft sind. Wenn Sie wollen, dass die Data Scientists Ihres Unternehmens den Vorhersagen der Machine-Learning-Modelle vertrauen, auch wenn etwas schiefgeht (wobei man sich bewusst ist, dass dies passieren wird), sollte der Prüfprozess für Machine-Learning-Modelle so gestaltet werden, dass die Modelle iterativ verbessert werden können.

4. Planen für die Skalierung.

Sie benötigen die Bereitstellung von Machine-Intelligence-Tools, die ein automatisiertes Bereitstellungssystem wie Kubernetes oder Docker Swarm haben. Dies hilft, mehrere Ziele zu erreichen. Sie können Machine-Learning-Workloads dynamisch starten und Aufgaben automatisch über Cluster für Fehler mit AI-Algorithmen überwachen – und Betreibern potenzielle Probleme melden, bevor sie auftreten. Sie können auch Analyseberichte aus mehreren Quellen in einem zentralen Dashboard konsolidieren, um sicherzustellen, dass die Machine-Learning-Modelle wie erwartet funktionieren.

Die Lernkurve meistern

Bevor Sie ein ML-Projekt beginnen, ist es wichtig zu verstehen, dass ML-Modelle, obwohl sie enorme Vorteile und Effizienzen für Ihr Unternehmen bieten können, ein Eigenleben entwickeln können, wenn sie nicht ordnungsgemäß verwaltet werden. Sie sollten die Risiken und operativen Komplexitäten von Anfang an kennen und die oben genannten vier Tipps berücksichtigen. Mit einer soliden Grundlage können Sie ML-Modelle erstellen und leicht ändern, damit sie Ihren Geschäftszielen dienen.