Andrew Ng kritisiert die Kultur des Overfitting in der maschinellen Lerntheorie

Andrew Ng, einer der einflussreichsten Stimmen in der maschinellen Lerntheorie der letzten zehn Jahre, äußert Bedenken hinsichtlich des Ausmaßes, in dem die Branche Innovationen in der Modellarchitektur über die Daten und insbesondere die Art und Weise betont, wie “overfitted” Ergebnisse als verallgemeinerte Lösungen oder Fortschritte dargestellt werden.

Das sind umfassende Kritik an der aktuellen Kultur der maschinellen Lerntheorie, die von einer ihrer höchsten Autoritäten stammen, und haben Auswirkungen auf das Vertrauen in eine Branche, die von Ängsten über einen dritten Zusammenbruch des Geschäftsvertrauens in die Entwicklung von künstlicher Intelligenz in einem Zeitraum von sechzig Jahren geplagt wird.

Ng, ein Professor an der Stanford-Universität, ist auch einer der Gründer von deeplearning.ai und veröffentlichte im März eine Mitteilung auf der Website der Organisation, die eine jüngste Rede von ihm auf ein paar Kernempfehlungen verdichtete:

Zunächst, dass die Forschungsgemeinschaft aufhören sollte, sich über die Tatsache zu beschweren, dass die Datenreinigung 80 % der Herausforderungen in der maschinellen Lerntheorie ausmacht, und sich stattdessen mit der Entwicklung robuster MLOps-Methoden und -Praktiken befassen sollte.

Zweitens, dass sie sich von den “leichten Erfolgen” abwenden sollte, die durch das Overfitting von Daten auf ein maschinelles Lernmodell erzielt werden können, damit es auf diesem Modell gut abschneidet, aber nicht verallgemeinert oder ein weit verbreitetes Modell produziert.

Aufnahme der Herausforderung der Datenarchitektur und -kuratie

“‘Meine Meinung'”, schrieb Ng, “‘ist, dass wenn 80 Prozent unserer Arbeit die Datenvorbereitung ist, dann ist die Gewährleistung der Datenqualität die wichtige Arbeit eines maschinellen Lernteams.'”

Er fuhr fort:

‘Anstatt darauf zu warten, dass Ingenieure zufällig auf die beste Möglichkeit stoßen, ein Dataset zu verbessern, hoffe ich, dass wir MLOps-Tools entwickeln können, die uns helfen, die Erstellung von künstlichen Intelligenzsystemen, einschließlich der Erstellung hochwertiger Datensätze, wiederholbarer und systematischer zu machen.

‘MLOps ist ein junges Feld, und verschiedene Menschen definieren es unterschiedlich. Aber ich denke, dass das wichtigste Organisationsprinzip von MLOps-Teams und -Tools darin bestehen sollte, den konsistenten und hochwertigen Fluss von Daten während aller Phasen eines Projekts zu gewährleisten. Dies wird vielen Projekten helfen, reibungsloser zu verlaufen.’

Bei einer Live-Übertragung auf Zoom bei einer Frage-und-Antwort-Sitzung Ende April sprach Ng über den Anwendungsfehler in der maschinellen Lernanalyse für die Radiologie:

“Es stellt sich heraus, dass wenn wir Daten aus dem Stanford-Krankenhaus sammeln, dann trainieren und testen wir auf Daten aus dem gleichen Krankenhaus, tatsächlich können wir Papier veröffentlichen, die zeigen, dass [die Algorithmen] mit menschlichen Radiologen in der Erkennung bestimmter Zustände vergleichbar sind.

“…[Wenn] man das gleiche Modell, das gleiche künstliche Intelligenzsystem, in ein älteres Krankenhaus auf der Straße bringt, mit einer älteren Maschine, und der Techniker ein slightly anderes Bildgebungsprotokoll verwendet, dann verursacht diese Datenverschiebung eine signifikante Verschlechterung der Leistung des künstlichen Intelligenzsystems. Im Gegensatz dazu kann jeder menschliche Radiologe auf die Straße zum älteren Krankenhaus gehen und gut abschneiden.”

Unterspezifikation ist keine Lösung

Overfitting tritt auf, wenn ein maschinelles Lernmodell speziell dafür ausgelegt ist, die Eigenheiten eines bestimmten Datensatzes (oder der Art und Weise, wie die Daten formatiert sind) zu berücksichtigen. Dies kann beispielsweise die Festlegung von Gewichten umfassen, die gute Ergebnisse aus diesem Datensatz erzeugen, aber nicht verallgemeinert werden können.

In vielen Fällen werden solche Parameter auf “nicht-Daten”-Aspekte des Trainingssets definiert, wie beispielsweise die spezifische Auflösung der gesammelten Informationen oder andere Eigenheiten, die nicht garantiert sind, in anderen nachfolgenden Datensätzen wiederzukehren.

Obwohl es schön wäre, ist Overfitting kein Problem, das durch die blinde Erweiterung des Umfangs oder der Flexibilität der Datenarchitektur oder des Modellentwurfs gelöst werden kann, wenn tatsächlich weit anwendbare und hochwertige Merkmale benötigt werden, die in verschiedenen Datenumgebungen gut abschneiden – eine schwierigere Herausforderung.

Im Allgemeinen führt diese Art von “Unterspezifikation” nur zu den Problemen, die Ng kürzlich skizziert hat, bei denen ein maschinelles Lernmodell bei nicht gesehenen Daten fehlschlägt. Der Unterschied in diesem Fall besteht darin, dass das Modell nicht wegen der Unterschiede in den Daten oder der Datenformatierung des ursprünglichen Trainingssets fehlschlägt, sondern weil das Modell zu flexibel anstatt zu brüchig ist.

Spät im Jahr 2020 veröffentlichte die Studie Unterspezifikation stellt Herausforderungen für die Glaubwürdigkeit in der modernen maschinellen Lerntheorie dar heftige Kritik an dieser Praxis und trug die Namen von nicht weniger als vierzig maschinellen Lernforschern und Wissenschaftlern von Google und MIT, unter anderem.

Die Studie kritisiert “Abkürzungen beim Lernen” und beobachtet die Art und Weise, wie unterspezifizierte Modelle aufgrund des zufälligen Startpunkts, an dem die Modelltraining beginnt, in wilde Richtungen abdriften können. Die Mitwirkenden bemerken:

‘Wir haben gesehen, dass Unterspezifikation in praktischen maschinellen Lernpipelines in vielen Bereichen allgegenwärtig ist. Tatsächlich ist es aufgrund der Unterspezifikation, dass substantiell wichtige Aspekte der Entscheidungen durch willkürliche Entscheidungen wie den zufälligen Seed-Punkt bestimmt werden, der für die Parameterinitialisierung verwendet wird.’

Wirtschaftliche Auswirkungen der Kulturveränderung

Trotz seiner akademischen Qualifikationen ist Ng kein abgehobener Akademiker, sondern hat tiefere und höhere Branchenerfahrung als Mitgründer von Google Brain und Coursera, als ehemaliger Chief Scientist für Big Data und künstliche Intelligenz bei Baidu und als Gründer von Landing AI, das 175 Millionen US-Dollar für neue Start-ups in der Branche verwaltet.

Wenn er sagt “Alle künstliche Intelligenz, nicht nur im Gesundheitswesen, hat eine Lücke zwischen dem Beweis des Konzepts und der Produktion”, ist dies als Weckruf für eine Branche gedacht, deren aktuelles Niveau an Hype und gesprenkelter Geschichte sie zunehmend als unsichere langfristige Geschäftsinvestition charakterisiert, geplagt von Problemen der Definition und des Umfangs.

Trotzdem können proprietäre maschinelle Lernsysteme, die in situ gut funktionieren und in anderen Umgebungen fehlschlagen, die Art von Markteroberung darstellen, die die Industrieinvestitionen belohnen könnte. Die Darstellung des “Overfitting-Problems” im Kontext einer beruflichen Gefahr bietet eine unaufrichtige Möglichkeit, korporative Investitionen in Open-Source-Forschung zu monetarisieren und (effektiv) proprietäre Systeme zu produzieren, bei denen die Replikation durch Wettbewerber möglich, aber problematisch ist.

Ob dieser Ansatz langfristig funktionieren würde, hängt davon ab, inwieweit echte Durchbrüche in der maschinellen Lerntheorie weiterhin immer größere Investitionen erfordern und ob alle produktiven Initiativen unweigerlich zu FAANG migrieren werden, weil die kolossalen Ressourcen für Hosting und Betrieb notwendig sind.