Wytrzymałość > Dokładność: Dlaczego „wytrzymałość modelu” powinna być prawdziwym miernikiem operacjonalizacji modeli

Przez Ingo Mierswa, Założyciel, Prezes i Chief Data Scientist w RapidMiner.

Nauka o danych poczyniła w ostatnich latach duże postępy i wiele organizacji wykorzystuje zaawansowaną analizę lub modele uczenia maszynowego, aby uzyskać głębsze spojrzenie na procesy i, w niektórych przypadkach, nawet przewidzieć prawdopodobne wyniki przyszłości. Dla innych „nauk” często nie jest jasne, czy projekt będzie udany, czy nie, i były raporty, że aż 87% projektów nauki o danych nigdy nie dociera do produkcji. Chociaż nie można oczekiwać 100% wskaźnika powodzenia, istnieją pewne wzorce w projektach nauki o danych, które prowadzą do wyższych wskaźników powodzenia niż powinno być akceptowalne w tej dziedzinie. Te problematyczne wzorce wydają się istnieć niezależnie od konkretnego przemysłu lub przypadku użycia, co sugeruje, że istnieje powszechny problem w nauce o danych, który musi być rozwiązany.

Mierzenie sukcesu uczenia maszynowego

Naukowcy danych, którzy tworzą modele uczenia maszynowego, polegają na dobrze zdefiniowanych kryteriach matematycznych, aby zmierzyć, jak dobrze takie modele działają. Które z tych kryteriów są stosowane, zależy głównie od rodzaju modelu. Załóżmy, że model powinien przewidywać klasy lub kategorie dla nowych sytuacji – na przykład, czy klient zamierza zrezygnować, czy nie. W sytuacjach takich jak te naukowcy danych użyliby miar takich jak dokładność (jak często model jest poprawny) lub precyzja (jak często klienci są naprawdę zrezygnowani, jeśli przewidujemy rezygnację).

Naukowcy danych potrzebują obiektywnych kryteriów, takich jak te, ponieważ część ich pracy polega na optymalizacji tych kryteriów, aby wyprodukować najlepszy model. W rzeczywistości, obok przygotowania danych do modelowania, budowanie i dostosowywanie tych modeli to to, gdzie naukowcy danych spędzają większość swojego czasu.

Wadą tego jest to, że naukowcy danych nie koncentrują się tak naprawdę na wprowadzaniu tych modeli do produkcji, co jest problemem z więcej niż jednego powodu. Po pierwsze, modele, które nie dają pożądanych wyników, nie mogą być wykorzystywane do generowania wpływu biznesowego dla organizacji, które je wdrożą. Po drugie, ponieważ te organizacje spędziły czas i pieniądze na tworzeniu, szkoleniu i wdrażaniu modeli, które nie dały pożądanych wyników, gdy zostały uruchomione na „rzeczywistych” danych, są one bardziej skłonne uznać, że uczenie maszynowe i inne narzędzia nauki o danych są bezużyteczne dla ich organizacji i odmówić kontynuowania przyszłych inicjatyw nauki o danych.

Prawdą jest, że naukowcy danych po prostu lubią dostosowywać modele i spędzają na tym dużo czasu. Ale bez wpływu biznesowego ten czas nie jest spędzany mądrze, co jest szczególnie bolesne, biorąc pod uwagę, jak rzadkim zasobem są naukowcy danych we współczesnym świecie.

Nagroda Netflix i awaria produkcji

Widzieliśmy to zjawisko nadmiernych inwestycji w budowanie modeli i nie w operacjonalizacji modeli w ostatnich latach. Nagroda Netflix (NFLX ) była otwartym konkursem na najlepszy algorytm współfiltracji, aby przewidzieć oceny użytkowników filmów. Jeśli dajesz nowemu filmowi wysoką ocenę, prawdopodobnie podoba ci się ten film – więc używając tego systemu ocen, Netflix polecane są ci określone tytuły, a jeśli lubisz polecane treści, prawdopodobnie zostaniesz dłużej klientem Netflix. Nagroda główna była kwotą 1 mln USD, przyznana zespołowi, który był w stanie poprawić algorytm Netflix o co najmniej 10%.

Wyzywanie rozpoczęło się w 2006 roku, a w ciągu następnych trzech lat, wkład ponad 40 000 zespołów naukowców danych na całym świecie doprowadził do imponującej poprawy o ponad 10% sukcesu rekomendacji tytułów. Jednak modele zwycięskiego zespołu nigdy nie zostały wdrożone. Netflix powiedział, że „poprawa dokładności nie wydawała się uzasadniać wysiłku potrzebnego do wprowadzenia tych modeli do produkcji”.

Dlaczego optymalne nie zawsze jest optymalne

Dokładność modelu i inne kryteria nauki o danych były długo używane jako miara sukcesu modelu przed wprowadzeniem go do produkcji. Jak widzieliśmy, wiele modeli nigdy nie dociera do tego etapu – co jest marnowaniem zasobów, zarówno pod względem energii, jak i czasu spędzonego.

Jest jednak więcej problemów z tą kulturą nadmiernych inwestycji w dostosowywanie modeli. Pierwszym z nich jest niezamierzone dopasowanie do danych testowych, co skutkuje modelami, które wyglądają dobrze dla zarządzającego nimi naukowca danych, ale w rzeczywistości nie spełniają oczekiwań, a czasem nawet powodują szkody. Dzieje się to z dwóch powodów:

1. Istnieje znana dyskrepancja między błędem testowym a tym, który zostanie zaobserwowany w produkcji
2. Wpływ biznesowy i kryteria wydajności nauki o danych są często skorelowane, ale „optymalne” modele nie zawsze dostarczają największego wpływu

Pierwszy punkt powyżej nazywany jest również „dopasowaniem do zestawu testowego”. Jest to dobrze znane zjawisko, szczególnie wśród uczestników konkursów nauki o danych, takich jak te z Kaggle. Dla tych konkursów można zobaczyć silniejszą wersję tego zjawiska już między publicznym a prywatnym leaderboardem. W rzeczywistości, uczestnik mógł wygrać publiczny leaderboard w konkursie Kaggle bez nigdy nawet czytania danych. Podobnie, zwycięzca prywatnego leaderboardu i całego konkursu może nie wyprodukował modelu, który mógłby utrzymać swoją wydajność na dowolnym innym zestawie danych niż ten, na którym został oceniony.

Dokładność nie równa się wpływowi biznesowemu

Zbyt długo akceptowaliśmy tę praktykę, która prowadzi do powolnej adaptacji modeli do zestawów danych testowych. W efekcie, to, co wygląda na najlepszy model, okazuje się być przeciętnym w najlepszym przypadku:

• Pomiary takie jak dokładność przewidywania często nie są równe wpływowi biznesowemu
• Poprawa dokładności o 1% nie może być przetłumaczona na 1% lepszy wynik biznesowy
• Istnieją przypadki, w których model o niskiej wydajności przewyższa inne pod względem wpływu biznesowego
• Inne czynniki, takie jak konserwacja, szybkość oceniania lub wytrzymałość na zmiany w czasie (nazywane „wytrzymałością”), muszą być również brane pod uwagę.

Ten ostatni punkt jest szczególnie ważny. Najlepsze modele nie tylko wygrają konkursy lub będą wyglądać dobrze w laboratorium nauki o danych, ale również będą się sprawdzać w produkcji i dobrze radzić sobie z różnymi zestawami danych. Modele te nazywamy modelami wytrzymałymi.

Dryf i znaczenie wytrzymałości

Wszystkie modele pogarszają się z czasem. Jedynym pytaniem jest, jak szybko to się dzieje i jak dobrze model nadal działa w zmienionych okolicznościach. Powodem tego pogorszenia jest fakt, że świat nie jest statyczny. Dlatego też dane, do których model jest stosowany, również zmieniają się z czasem. Jeśli te zmiany zachodzą powoli, nazywamy to „dryfem pojęciowym”. Jeśli zmiany zachodzą gwałtownie, nazywamy to „przesunięciem pojęciowym”. Na przykład, klienci mogą zmieniać swoje zachowania konsumenckie powoli z czasem, pod wpływem trendów i/lub marketingu. Modele skłonności mogą przestać działać w pewnym momencie. Te zmiany mogą być dramatycznie przyspieszone w pewnych sytuacjach. COVID-19, na przykład, spowodował wzrost sprzedaży artykułów takich jak papier toaletowy i środki dezynfekujące – nieoczekiwany gwałtowny wzrost w określonych produktach, co może całkowicie wywrócić taki model.

Model wytrzymały może nie być najlepszym modelem na podstawie miar takich jak dokładność lub precyzja, ale będzie się dobrze sprawdzał na szerszym zakresie zestawów danych. Z tego powodu również będzie się lepiej sprawdzał przez dłuższy czas i będzie w stanie dostarczyć trwały wpływ biznesowy.

Modele liniowe i inne proste modele są często bardziej wytrzymałe, ponieważ trudniej je dopasować do konkretnego zestawu testowego lub momentu w czasie. Bardziej potężne modele mogą i powinny być używane jako „wyzwania” dla prostszego modelu, pozwalając naukowcom danych zobaczyć, czy mogą one również się sprawdzać z czasem. Ale powinno to być zastosowane na końcu, a nie na początku podróży modelowania.

Chociaż formalny wskaźnik KPI do mierzenia wytrzymałości nie został jeszcze wprowadzony w dziedzinie nauki o danych, istnieją kilka sposobów, w jakie naukowcy danych mogą ocenić, jak wytrzymałe są ich modele:

• Mniejsze odchylenia standardowe w przebiegu krzyżowego oznaczają, że wydajność modelu zależała mniej od szczegółów różnych zestawów testowych
• Even if data scientists are not performing full cross validations, they may use two different data sets for tests and validation. Less discrepancy between error rates for the test and validation data sets indicate higher resilience
• Jeśli model jest odpowiednio monitorowany w produkcji, wskaźniki błędów mogą być widoczne z czasem. Spójność wskaźników błędów w czasie jest dobrym znakiem dla wytrzymałości modelu.
• Jeśli rozwiązanie monitorowania modelu uwzględnia dryf, naukowcy danych powinni również zwrócić uwagę na to, jak dobrze model jest dotknięty przez ten dryf wejściowy.

Zmiana kultury nauki o danych

Po wdrożeniu modelu w fazie operacyjnej nadal istnieją zagrożenia dla dokładności modelu. Dwa ostatnie punkty powyżej dotyczące wytrzymałości modelu już wymagają odpowiedniego monitorowania modeli w produkcji. Jako punkt wyjścia do zmiany kultury w nauce o danych, firmy są dobrze radzą, aby zainwestować w odpowiednie monitorowanie modeli i zacząć traktować naukowców danych jako odpowiedzialnych za brak wydajności po wdrożeniu modeli. To natychmiast zmieni kulturę z kultury budowania modeli na kulturę tworzenia i utrzymywania wartości w dziedzinie nauki o danych.

Wydaje się, że ostatnie wydarzenia na świecie pokazały nam, że świat zmienia się szybko. Teraz, bardziej niż kiedykolwiek, musimy budować wytrzymałe modele – nie tylko dokładne – aby osiągnąć znaczący wpływ biznesowy w czasie. Na przykład, Kaggle organizuje wyzwanie, aby zmobilizować naukowców danych na całym świecie do pomocy w budowaniu rozwiązań modelowych do walki z COVID-19 na całym świecie. Przewiduję, że najbardziej udane modele wytworzone w wyniku tego wyzwania będą najbardziej wytrzymałe, a nie najdokładniejsze, jak widzieliśmy, jak szybko dane COVID-19 mogą się zmieniać w ciągu jednego dnia.

Nauka o danych powinna być o znajdowaniu prawdy, a nie o produkcji „najlepszego” modelu. Przez przyjęcie wyższego standardu wytrzymałości nad dokładnością, naukowcy danych będą w stanie dostarczyć większy wpływ biznesowy dla naszych organizacji i pomóc w kształtowaniu przyszłości w pozytywny sposób.