Erfolgreiche Machine-Learning-Entwicklung erfordert ein neues Paradigma – Thought Leaders

Von Victor Thu, Präsident, Datatron

Initiativen, die Machine Learning verwenden, können nicht auf die gleiche Weise behandelt werden wie Projekte, die konventionelle Software verwenden. Es ist wichtig, schnell zu handeln, um Dinge zu testen, Probleme zu beheben und sie erneut zu testen. Mit anderen Worten, Sie müssen in der Lage sein, schnell zu scheitern – und das frühzeitig im Prozess. Wenn Sie bis später im Prozess warten, um Probleme zu finden, kann dies sehr teuer und zeitaufwändig werden.

KI erfordert einen neuen Ansatz

Wenn Sie Software mit der traditionellen Methode entwickeln, verwenden Sie Entscheidungslogik. Um so präzise wie möglich zu sein, integrieren Sie Logik, die es der Software ermöglicht, ordnungsgemäß zu funktionieren. Es gibt (typischerweise) keinen Bedarf an Änderungen nachdem die Logik der Anwendung entwickelt wurde, außer bei Fehlern. Es ist ein sehr methodischer Entwicklungsprozess; Sie schreiten allmählich voran, indem Sie sicherstellen, dass jeder Schritt im Prozess genau ist, bevor Sie zum nächsten Schritt übergehen. Es ist eine bewährte Strategie, die ihre Wirksamkeit für die Softwareentwicklung immer wieder unter Beweis gestellt hat.

Sie können jedoch nicht die gleiche Strategie für KI/ML-Projekte verwenden, da sie einfach nicht funktioniert. Stattdessen müssen Sie die Fähigkeit haben, schnell und häufig zu iterieren, um Erfolg mit einem ML-Projekt zu erzielen. Da ML eine anfängliche Schulung erfordert und ein Prozess ist, sollten Sie ihn mit dem Wissen angehen, dass er nicht genau sein wird, wenn er zum ersten Mal bereitgestellt wird.

Dieser Prozess erfordert mehrere Iterationen. Die Realität ist, dass Ihr erstes Modell 99 % der Zeit unerwartete Ergebnisse liefert. Selbst wenn Sie Monate damit verbringen, Ihr Modell im Labor zu trainieren, wird es sich zweifellos ändern, sobald es auf reale Daten und Verkehr trifft.

Streben Sie nicht nach sofortiger Perfektion

Um also ein Modell zu testen und zu bestimmen, welche Änderungen erforderlich sind, müssen Sie es schnell in die Produktion überführen können. Sie können dann Anpassungen vornehmen, es erneut veröffentlichen und verfeinern. Deshalb sollten Sie nicht zu viel Mühe in den Versuch investieren, Ihr Modell vor dem Testen in der Produktion perfekt zu machen; der erste Versuch wird nicht perfekt sein, und niemand sollte erwarten, dass er es ist.

Während das Modell im Labor entwickelt wird, können die zusätzlichen Verbesserungen von 92 % auf 95 % Genauigkeit für einige Anwendungsfälle nicht signifikant sein. Warum nicht? Nur ein kleiner Teil der Trainingsdaten wurde verwendet, um Ihr KI-Modell zu trainieren. Sie können viel Zeit und Geld investieren, um den zusätzlichen Teil der Genauigkeit zu erhalten, während Sie die Vorteile, die Ihr Modell Ihnen bieten könnte, vorerst aufgeben.

Effektive Schritte bei der ML-Bereitstellung

Da es möglich ist, dass ein Modell fehlschlägt oder falsche Vorhersagen liefert, sind ML-Wissenschaftler manchmal zögerlich, ein Modell in die Produktion zu überführen. Es ist verständlich, bis zu einem bestimmten Grad. Sie benötigen ein System, das es Ihnen ermöglicht, Ereignisse in Echtzeit zu verfolgen. Mit diesem Ansatz können Sie Ihr Modell sofort zurückziehen und aktualisieren und dann schnell ein neues Modell veröffentlichen. Anstatt in “Analyseparalyse” zu verfallen, ist dies die effizienteste Methode, um Machine-Learning-Modelle in die Produktion zu überführen.

Es ist viel besser, das Modell einfach zu starten und es Erfahrungen sammeln zu lassen. Dies hebt nicht die Notwendigkeit auf, dass die Datenwissenschaftler das Modell von Anfang an so genau wie möglich erstellen. Aber sobald Sie die erste Version fertiggestellt haben, sollten Sie sofort damit beginnen, diese wichtigen Daten zu sammeln.

Sie können Ihre Modelle als Teil dieses Prozesses im A/B-Test-Modus oder Schattenmodus gegen reale Daten ausführen. Auf diese Weise können Sie im Wesentlichen die Leistung der verschiedenen Modelle vergleichen und viele Daten und Beweise haben, bevor Sie entscheiden, welches Modell zu fördern oder herabzustufen.

Ein weiteres Best Practice ist, anstelle eines einzigen globalen Modells zur Vorhersage des Verhaltens in der Makroumgebung ein lokales Modell zu erstellen. Mit einem lokalen Modell können Sie Daten aus bestimmten Situationen verwenden, sodass das Modell in diesen Szenarien wie erforderlich funktioniert. Dies spart Zeit, Daten und Aufwand im Vergleich zu einem umfassenden Modell, das eine erhebliche Menge dieser Ressourcen erfordern würde, um sicherzustellen, dass es funktioniert.

Die Bestimmung der Nachfrage nach maßgeschneiderten Sneakern kann als Beispiel dienen. Das globale Modell könnte auf die restlichen Teile Nordamerikas anwendbar sein, wenn es auf der Bevölkerung von New York City basiert. Es würde jedoch wahrscheinlich nicht die Nachfrage in anderen Teilen des Landes genau darstellen. Ein lokales Modellansatz hätte es Ihnen ermöglicht, höhere Gewinnmargen zu erzielen, die Sie jetzt verpassen.

Modelle erfordern natürlich regelmäßige Updates. Modelle erfordern laufende Updates, da die Daten der Umgebung ständig ändern. Im Gegensatz zu herkömmlicher Software, die einmal eingerichtet und dann stehen gelassen werden kann, veralten ML-Modelle mit der Zeit, wenn sie nicht regelmäßig iteriert werden. Dies muss während der gesamten Lebensdauer des Modells erfolgen und sorgfältig überwacht werden.

Das neue Paradigma des Machine Learning

Es ist unklug, Machine-Learning-Modelle mit herkömmlicher Software zu vergleichen. ML-Experten profitieren jedoch von einer schnellen Bereitstellungstechnik für KI/ML-Modelle, ähnlich wie Softwareingenieure mit DevOps. Für ML-Projekte benötigen Sie ein System, das es ermöglicht, Modelle schnell zu starten. Sie müssen in der Lage sein, verschiedene Modelle zu vergleichen, indem Sie effektiv ein Modell, das live ist, mit einem vergleichen, das nicht live ist. Diese und die anderen oben genannten Best Practices werden Ihnen helfen, die Analyseparalyse zu umgehen und schnell und frühzeitig zu scheitern, damit Sie Ihr Machine Learning skalieren können.