Andrew Ng krytykuje kulturę nadmiernego dopasowania w uczeniu maszynowym

Andrew Ng, jeden z najbardziej wpływowych głosów w uczeniu maszynowym w ciągu ostatniej dekady, obecnie wyraża obawy co do stopnia, w jakim sektor ten kładzie nacisk na innowacje w architekturze modeli nad danymi – a konkretnie, w jakim stopniu pozwala na przedstawianie wyników “nadmiernie dopasowanych” jako uogólnionych rozwiązań lub postępów.

Są to daleko idące krytyki obecnej kultury uczenia maszynowego, pochodzące od jednego z jego najwyższych autorytetów, i mają implikacje dla zaufania do sektora, który jest naznaczony obawami dotyczącymi trzeciego załamania zaufania biznesowego w rozwój sztucznej inteligencji w ciągu sześćdziesięciu lat.

Ng, profesor Uniwersytetu Stanforda, jest również jednym z założycieli deeplearning.ai, i w marcu opublikował list na stronie organizacji, który zawierał niedawne przemówienie Ng, które zostało skondensowane do kilku podstawowych zaleceń:

Po pierwsze, że społeczność badawcza powinna przestać narzekać, że czyszczenie danych stanowi 80% wyzwań w uczeniu maszynowym, i zająć się rozwojem solidnych metodologii i praktyk MLOps.

Po drugie, że powinna odejść od “łatwych zwycięstw”, które można osiągnąć przez nadmierne dopasowanie danych do modelu uczenia maszynowego, tak aby model ten działał dobrze na tym modelu, ale nie był w stanie uogólnić lub wytworzyć modelu, który mógłby być szeroko wdrożony.

Przyjmowanie wyzwania architektury i kuracji danych

“Mój pogląd” – napisał Ng – “jest taki, że jeśli 80 procent naszej pracy to przygotowanie danych, to zapewnienie jakości danych jest ważną pracą zespołu uczenia maszynowego.”

Ng kontynuował:

“Zamiast liczyć na to, że inżynierowie przypadkowo znajdą najlepszy sposób poprawy zbioru danych, mam nadzieję, że możemy opracować narzędzia MLOps, które pomogą uczynić budowanie systemów AI, w tym budowanie wysokiej jakości zbiorów danych, bardziej powtarzalnymi i systematycznymi.

“MLOps to młoda dziedzina, a różni ludzie definiują ją inaczej. Ale uważam, że najważniejszym punktem organizacyjnym zespołów i narzędzi MLOps powinno być zapewnienie stałego i wysokiej jakości przepływu danych we wszystkich etapach projektu. To pomoże wielu projektom przebiec gładziej.”

Mówiąc na żywo na platformie Zoom podczas sesji Q&A na koniec kwietnia, Ng omówił brak zastosowania w systemach analizy radiologicznej:

“Okazuje się, że kiedy zbieramy dane ze szpitala Stanford, a następnie trenujemy i testujemy dane ze tego samego szpitala, rzeczywiście możemy opublikować prace pokazujące, że [algorytmy] są porównywalne z radiologami w wykrywaniu pewnych schorzeń.

“…[Kiedy] bierzemy ten sam model, ten sam system AI, do starszego szpitala na ulicy, ze starszym urządzeniem, a technik używa nieco innego protokołu obrazowania, to przepływ danych powoduje, że wydajność systemu AI ulega znacznemu pogorszeniu. W przeciwieństwie do tego, każdy radiolog może iść na ulicę do starszego szpitala i wszystko będzie w porządku.”

Niedoszacowanie nie jest rozwiązaniem

Nadmierne dopasowanie występuje, gdy model uczenia maszynowego jest specjalnie zaprojektowany, aby dostosować się do cech konkretnego zbioru danych (lub do sposobu, w jaki dane są sformatowane). Może to obejmować na przykład określanie wag, które dadzą dobre wyniki z tego zbioru danych, ale nie “uogólnią” na innych danych.

W wielu przypadkach takie parametry są definiowane na “nie-danych” aspektach zestawu treningowego, takich jak konkretna rozdzielczość zebranych informacji lub inne cechy, które nie są gwarantowane, aby powtarzać się w innych zbiorach danych.

Chociaż byłoby miło, nadmierne dopasowanie nie jest problemem, który można rozwiązać, po prostu rozszerzając zakres lub elastyczność architektury danych lub projektu modelu, kiedy to, co jest naprawdę potrzebne, to powszechnie stosowane i bardzo istotne cechy, które będą działać dobrze w różnych środowiskach danych – to trudniejsze wyzwanie.

W ogóle, ten rodzaj “niedoszacowania” prowadzi tylko do tych samych problemów, które Ng ostatnio opisał, gdzie model uczenia maszynowego nie działa na niewidocznych danych. Różnica w tym przypadku polega na tym, że model nie działa nie dlatego, że dane lub formatowanie danych są różne od oryginalnego zestawu treningowego, ale dlatego, że model jest zbyt elastyczny, a nie zbyt kruchy.

Późno w 2020 roku artykuł Underspecification Presents Challenges for Credibility in Modern Machine Learning skrytykował tę praktykę i zawierał nazwiska aż czterdziestu badaczy i naukowców z Google i MIT, wśród innych instytucji.

Artykuł krytykuje “szybkie uczenie”, i obserwuje, w jaki sposób niedoszacowane modele mogą odejść w dzikie tangenty na podstawie punktu losowego, w którym rozpoczyna się trening modelu. Współautorzy obserwują:

“Zobaczyliśmy, że niedoszacowanie jest wszechobecne w praktycznych potokach uczenia maszynowego w wielu dziedzinach. Rzeczywiście, dzięki niedoszacowaniu, istotne aspekty decyzji są determinowane przez arbitralne wybory, takie jak losowy punkt startowy użyty do inicjacji parametrów.”

Ekonomiczne implikacje zmiany kultury

Pomimo swoich akademickich kwalifikacji, Ng nie jest żadnym teoretycznym uczonym, ale ma głębokie i wysokiej jakości doświadczenie w branży jako współzałożyciel Google Brain i Coursera, jako były główny naukowiec ds. Big Data i AI w Baidu, oraz jako założyciel Landing AI, który administruje 175 milionów dolarów na nowe startupy w sektorze.

Kiedy mówi “Cały AI, a nie tylko opieka zdrowotna, ma lukę między dowodem pochodzenia a produkcją”, jest to mające na celu obudzenie sektora, którego obecny poziom hossy i plamistej historii coraz częściej charakteryzuje się jako niepewne, długoterminowe inwestycje biznesowe, zmagające się z problemami definicji i zakresu.

Niemniej jednak, własne systemy uczenia maszynowego, które działają dobrze w miejscu i nie działają w innych środowiskach, reprezentują rodzaj przechwycenia rynku, który mógłby nagrodzić inwestycje przemysłowe. Przedstawienie “problemu nadmiernego dopasowania” w kontekście zawodowego niebezpieczeństwa oferuje sposób na monetyzację inwestycji korporacyjnych w badania otwartoźródłowe, oraz wytwarzanie (skutecznie) własnych systemów, gdzie replikacja przez konkurentów jest możliwa, ale problematyczna.

Czy ten podejście będzie działać w długiej perspektywie, zależy od stopnia, w jakim prawdziwe przełomy w uczeniu maszynowym będą nadal wymagać coraz większych nakładów inwestycyjnych, oraz od tego, czy wszystkie produktywne inicjatywy w końcu migrują do FAANG w jakimś stopniu, ze względu na ogromne zasoby niezbędne do hostowania i operacji.