Widerstandsfähigkeit > Genauigkeit: Warum “Modellwiderstandsfähigkeit” das wahre Maß für die Operationalisierung von Modellen sein sollte

Von Ingo Mierswa, Gründer, Präsident und Chief Data Scientist bei RapidMiner.

Die Datenwissenschaft hat in den letzten paar Jahren große Fortschritte gemacht und viele Organisationen verwenden fortgeschrittene Analysen oder Machine-Learning-Modelle, um tiefergehende Erkenntnisse über Prozesse und in einigen Fällen sogar vorherzusagen, welche Ergebnisse in der Zukunft wahrscheinlich sein werden. Für andere “Wissenschaften” ist es oft nicht klar, ob ein Projekt erfolgreich sein wird oder nicht, und es gibt Berichte, dass bis zu 87% der Datenwissenschaftsprojekte nie in die Produktion gelangen. Während eine 100%-Erfolgsrate nicht erwartet werden kann, gibt es einige Muster in Datenwissenschaftsprojekten, die zu höheren Erfolgsraten führen als in dem Bereich als angemessen angesehen werden sollte. Diese problematischen Muster scheinen unabhängig von einer bestimmten Branche oder Verwendungszweck zu existieren, was darauf hindeutet, dass es ein universelles Problem in der Datenwissenschaft gibt, das angegangen werden muss.

Die Erfolgsmessung von Machine Learning

Datenwissenschaftler, die Machine-Learning-Modelle (ML) erstellen, verlassen sich auf gut definierte mathematische Kriterien, um zu messen, wie gut diese Modelle funktionieren. Welche dieser Kriterien angewendet werden, hängt hauptsächlich von der Art des Modells ab. Nehmen wir an, ein Modell soll Klassen oder Kategorien für neue Situationen vorhersagen – zum Beispiel, ob ein Kunde abwandern wird oder nicht. In solchen Situationen würden Datenwissenschaftler Messungen wie Genauigkeit (wie oft das Modell richtig ist) oder Präzision (wie oft Kunden tatsächlich abwandern, wenn wir Abwanderung vorhersagen) verwenden.

Datenwissenschaftler benötigen objektive Kriterien wie diese, weil ein Teil ihrer Arbeit darin besteht, diese Bewertungskriterien zu optimieren, um das beste Modell zu produzieren. Tatsächlich verbringen Datenwissenschaftler neben der Vorbereitung der Daten für die Modellierung die meiste Zeit mit dem Aufbau und der Feinabstimmung dieser Modelle, wie in diesem Artikel beschrieben.

Der Nachteil davon ist, dass Datenwissenschaftler sich nicht viel auf die Implementierung dieser Modelle in die Produktion konzentrieren, was ein Problem aus mehreren Gründen ist. Erstens und wichtigsten können Modelle, die keine erfolgreichen Ergebnisse liefern, nicht dazu beitragen, Geschäftserfolg für die Organisationen zu erzielen, die sie einsetzen. Zweitens neigen diese Organisationen, nachdem sie Zeit und Geld in die Entwicklung, Schulung und Operationalisierung von Modellen investiert haben, die keine erfolgreichen Ergebnisse lieferten, als nutzlos für ihre Organisation zu betrachten und zukünftige Datenwissenschaftsinitiativen abzulehnen.

Die Wahrheit ist, dass Datenwissenschaftler einfach das Feinabstimmen von Modellen genießen und viel Zeit damit verbringen. Aber ohne Geschäftserfolg wird diese Zeit nicht sinnvoll investiert, was besonders schmerzhaft ist, wenn man bedenkt, wie knapp die Ressource Datenwissenschaftler in der heutigen Welt ist.

Der Netflix-Preis und Produktionsfehlschlag

Wir haben dieses Phänomen des Überinvestierens in die Modellbildung und nicht in die Operationalisierung von Modellen in den letzten Jahren beobachtet. Der Netflix-Preis (NFLX ) war ein offener Wettbewerb für den besten Algorithmus zur Vorhersage von Benutzerbewertungen für Filme. Wenn Sie einem neuen Film eine hohe Bewertung geben, haben Sie diesen Film wahrscheinlich genossen – also wird Netflix, wenn Sie diese Bewertung verwenden, bestimmte Titel empfehlen, und wenn Sie den empfohlenen Inhalt genießen, bleiben Sie wahrscheinlich länger als Kunde bei Netflix. Der Grand Prix war die Summe von 1 Mio. USD, die dem Team verliehen wurde, das es schaffte, den Algorithmus von Netflix um mindestens 10% zu verbessern.

Der Wettbewerb begann 2006 und über die folgenden drei Jahre führten die Beiträge von über 40.000 Datenwissenschaftlerteams weltweit zu einer beeindruckenden Verbesserung von mehr als 10% bei der Empfehlung von Titeln. Allerdings wurden die Modelle des Gewinnerteams nie operationalisiert. Netflix sagte, dass “die Verbesserung der Genauigkeit nicht den Aufwand gerechtfertigt hat, der erforderlich war, um diese Modelle in die Produktion zu bringen.”

Warum optimal nicht immer optimal ist

Modellgenauigkeit und andere Datenwissenschaftskriterien wurden lange als Maßstab für die Messung des Erfolgs eines Modells verwendet, bevor es in die Produktion gebracht wird. Wie wir gesehen haben, kommen viele Modelle nie even in diese Phase – was eine Verschwendung von Ressourcen ist, sowohl in Bezug auf Energie als auch auf die Zeit, die für die Modellierung aufgewendet wird.

Es gibt jedoch noch mehr Probleme mit dieser Kultur des Überinvestierens in die Modellfeinabstimmung. Das erste ist ein ungewolltes Überanpassen an die Testdaten, was zu Modellen führt, die für den verantwortlichen Datenwissenschaftler gut aussehen, aber tatsächlich unterperformen, wenn sie in die Produktion gebracht werden – manchmal sogar schaden. Dies geschieht aus zwei Gründen:

1. Es gibt eine bekannte Diskrepanz zwischen Testfehler und dem, was in der Produktion zu sehen ist
2. Geschäftserfolg und Datenwissenschaftskriterien sind oft korreliert, aber “optimale” Modelle liefern nicht immer den größten Erfolg

Der erste Punkt oben wird auch als “Überanpassung an die Testmenge” bezeichnet. Es ist ein bekanntes Phänomen, insbesondere unter Teilnehmern von Datenwissenschaftswettbewerben wie denen von Kaggle. Für diese Wettbewerbe kann man bereits zwischen den öffentlichen und privaten Leaderboards eine stärkere Version dieses Phänomens sehen. Tatsächlich kann ein Teilnehmer den öffentlichen Leaderboard in einem Kaggle-Wettbewerb gewinnen, ohne jeden Daten zu lesen. Ebenso kann der Gewinner des privaten Leaderboards und des gesamten Wettbewerbs möglicherweise kein Modell produzieren, das seine Leistung auf anderen Datensätzen als denen, auf denen es ausgewertet wurde, beibehalten kann.

Genauigkeit entspricht nicht immer Geschäftserfolg

Wir haben dieses Verfahren, das zu einer langsamen Anpassung von Modellen an Testdatensätze führt, viel zu lange akzeptiert. Als Ergebnis sieht das, was wie das beste Modell aussieht, tatsächlich mittelmäßig aus:

• Messungen wie Vorhersagegenauigkeit entsprechen oft nicht dem Geschäftserfolg
• Eine Verbesserung der Genauigkeit um 1% kann nicht in 1% besseren Geschäftsergebnissen übersetzt werden
• Es gibt Fälle, in denen ein Modell mit schlechter Leistung andere Modelle in Bezug auf Geschäftserfolg übertrifft
• Andere Faktoren wie Wartung, Bewertungsgeschwindigkeit oder Widerstandsfähigkeit gegenüber Änderungen über die Zeit (genannt “Widerstandsfähigkeit”) müssen ebenfalls berücksichtigt werden.

Dieser letzte Punkt ist besonders wichtig. Die besten Modelle werden nicht nur Wettbewerbe gewinnen oder im Datenwissenschaftslabor gut aussehen, sondern auch in der Produktion gut funktionieren und auf verschiedenen Testsets gut performen. Diese Modelle bezeichnen wir als widerstandsfähige Modelle.

Drift und die Bedeutung von Widerstandsfähigkeit

Alle Modelle verschlechtern sich über die Zeit. Die einzige Frage ist, wie schnell dies geschieht und wie gut das Modell unter den geänderten Umständen noch funktioniert. Der Grund für diese Verschlechterung ist die Tatsache, dass die Welt nicht statisch ist. Daher ändern sich auch die Daten, auf die das Modell angewendet wird, über die Zeit. Wenn diese Änderungen langsam geschehen, nennen wir dies “Konzeptdrift”. Wenn die Änderungen abrupt geschehen, nennen wir dies “Konzeptwechsel”. Zum Beispiel können Kunden ihr Konsumverhalten über die Zeit langsam ändern, beeinflusst von Trends und/oder Marketing. Propensity-Modelle können an einem bestimmten Punkt nicht mehr funktionieren. Diese Änderungen können in bestimmten Situationen dramatisch beschleunigt werden. COVID-19 hat beispielsweise den Verkauf von Artikeln wie Toilettenpapier und Desinfektionsmitteln – eine unerwartete scharfe Zunahme bei bestimmten Produkten – vorangetrieben, was ein solches Modell völlig aus dem Gleichgewicht bringen kann.

Ein widerstandsfähiges Modell muss nicht das beste Modell basierend auf Messungen wie Genauigkeit oder Präzision sein, aber es wird auf einer breiteren Palette von Datensätzen gut funktionieren. Aus diesem Grund wird es auch über einen längeren Zeitraum gut performen und somit besser in der Lage sein, nachhaltigen Geschäftserfolg zu liefern.

Lineare und andere Arten von einfachen Modellen sind oft widerstandsfähiger, da es schwieriger ist, sie an eine bestimmte Testmenge oder einen bestimmten Zeitpunkt anzupassen. Leistungsstärkere Modelle können und sollten als “Herausforderer” für ein einfacheres Modell verwendet werden, um zu sehen, ob sie auch über die Zeit hinweg bestehen können. Dies sollte jedoch am Ende der Modellierungsreise und nicht am Anfang erfolgen.

Obwohl es noch kein formales KPI für die Messung von Widerstandsfähigkeit in der Datenwissenschaft gibt, gibt es mehrere Möglichkeiten, wie Datenwissenschaftler die Widerstandsfähigkeit ihrer Modelle bewerten können:

• Kleinere Standardabweichungen in einer Kreuzvalidierung bedeuten, dass die Modellleistung weniger von den Spezifika der verschiedenen Testsets abhängt
• Sogar wenn Datenwissenschaftler keine vollständigen Kreuzvalidierungen durchführen, können sie zwei verschiedene Datensätze für Tests und Validierung verwenden. Eine geringere Diskrepanz zwischen Fehlerquoten für die Test- und Validierungsdatensätze weist auf eine höhere Widerstandsfähigkeit hin
• Wenn das Modell in der Produktion ordnungsgemäß überwacht wird, können Fehlerquoten über die Zeit hinweg beobachtet werden. Die Konsistenz der Fehlerquoten über die Zeit ist ein gutes Zeichen für die Widerstandsfähigkeit des Modells.
• Wenn die Modellüberwachungslösung der Wahl Änderungen berücksichtigt, sollten Datenwissenschaftler auch darauf achten, wie gut das Modell von dieser Eingabe betroffen ist.

Die Kultur der Datenwissenschaft ändern

Nachdem ein Modell in der Operationalisierungsphase bereitgestellt wurde, gibt es noch Bedrohungen für die Genauigkeit des Modells. Die letzten beiden Punkte oben bezüglich der Widerstandsfähigkeit des Modells erfordern bereits eine ordnungsgemäße Überwachung von Modellen in der Produktion. Als Ausgangspunkt für eine Änderung der Kultur in der Datenwissenschaft sind Unternehmen gut beraten, in eine ordnungsgemäße Modellüberwachung zu investieren und Datenwissenschaftler für den Mangel an Leistung nach der Implementierung von Modellen in die Produktion verantwortlich zu machen. Dies wird sofort die Kultur von einer Modellbaukultur zu einer Wert-schaffenden-und-aufrechterhaltenden-Kultur für die Datenwissenschaft ändern.

Wie jüngste Weltveranstaltungen gezeigt haben, ändert sich die Welt schnell. Jetzt mehr als je zuvor müssen wir widerstandsfähige Modelle aufbauen – nicht nur genaue. Um einen bedeutungsvollen Geschäftserfolg über die Zeit zu erzielen. Zum Beispiel veranstaltet Kaggle eine Herausforderung, um Datenwissenschaftler auf der ganzen Welt zu mobilisieren, um Modelllösungen für den globalen Kampf gegen COVID-19 zu entwickeln. Ich erwarte, dass die erfolgreichsten Modelle, die als Ergebnis dieser Herausforderung entwickelt werden, die widerstandsfähigsten und nicht die genauesten sein werden, wie wir gesehen haben, wie schnell sich COVID-19-Daten an einem einzigen Tag ändern können.

Die Datenwissenschaft sollte darin bestehen, die Wahrheit zu finden und nicht das “beste” Modell zu produzieren. Indem wir uns selbst einem höheren Standard von Widerstandsfähigkeit gegenüber Genauigkeit verpflichten, können Datenwissenschaftler mehr Geschäftserfolg für unsere Organisationen liefern und dazu beitragen, die Zukunft positiv zu gestalten.