Czym jest nauka zespołowa?

Jedną z najpotężniejszych technik uczenia maszynowego jest uczenie zespołowe. Razem nauka to wykorzystanie wielu modeli uczenia maszynowego w celu poprawy wiarygodności i dokładności przewidywań. Jak jednak zastosowanie wielu modeli uczenia maszynowego prowadzi do dokładniejszych przewidywań? Jakiego rodzaju techniki stosuje się do tworzenia modeli uczenia się zespołowego? Przeanalizujemy odpowiedź na te pytania, przyglądając się przesłankom używania modeli zespołowych i podstawowym sposobom tworzenia modeli zespołowych.

Czym jest nauka zespołowa?

Mówiąc prościej, uczenie zespołowe to proces uczenia wielu modeli uczenia maszynowego i łączenia ich wyników. Różne modele stanowią podstawę do stworzenia jednego optymalnego modelu predykcyjnego. Połączenie zróżnicowanego zestawu indywidualnych modeli uczenia maszynowego może poprawić stabilność całego modelu, co prowadzi do dokładniejszych przewidywań. Modele uczenia się zespołowego są często bardziej niezawodne niż modele indywidualne, w wyniku czego często zajmują pierwsze miejsca w wielu konkursach uczenia maszynowego.

Inżynier może zastosować różne techniki tworzenia modelu uczenia się zespołowego. Proste techniki uczenia się zespołowego obejmują na przykład uśrednianie wyników różnych modeli, choć istnieją również bardziej złożone metody i algorytmy opracowane specjalnie w celu łączenia przewidywań wielu podstawowych uczniów/modeli.

Dlaczego warto stosować metody szkolenia zespołowego?

Modele uczenia maszynowego mogą różnić się od siebie z różnych powodów. Różne modele uczenia maszynowego mogą działać na różnych próbkach danych populacji, można zastosować różne techniki modelowania i można zastosować inną hipotezę.

Wyobraź sobie, że grasz w grę polegającą na ciekawostkach z dużą grupą ludzi. Jeśli jesteś sam w zespole, z pewnością są tematy, o których masz wiedzę, i wiele tematów, o których nie masz pojęcia. Załóżmy teraz, że grasz w drużynie z innymi osobami. Podobnie jak Ty, będą mieli pewną wiedzę dotyczącą własnych specjalności i żadnej wiedzy na inne tematy. Jednak gdy połączysz swoją wiedzę, będziesz mieć dokładniejsze przypuszczenia w większej liczbie dziedzin, a liczba tematów, o których Twój zespół nie ma pojęcia, maleje. Jest to ta sama zasada, która leży u podstaw uczenia się zespołowego, polegającego na łączeniu przewidywań różnych członków zespołu (modele indywidualne) w celu poprawy dokładności i zminimalizowania błędów.

Statystycy udowodnili że kiedy tłum ludzi zostaje poproszony o odgadnięcie właściwej odpowiedzi na dane pytanie, mając do dyspozycji szereg możliwych odpowiedzi, wszystkie ich odpowiedzi tworzą rozkład prawdopodobieństwa. Osoby, które naprawdę znają poprawną odpowiedź, z pewnością wybiorą właściwą odpowiedź, natomiast osoby, które wybiorą błędne odpowiedzi, podzielą swoje domysły na zakres możliwych błędnych odpowiedzi. Wracając do przykładu gry z ciekawostkami: jeśli ty i twoi dwaj przyjaciele znacie właściwą odpowiedź to A, cała trójka zagłosuje na A, podczas gdy trzy pozostałe osoby w twoim zespole, które nie znają odpowiedzi, prawdopodobnie będą błędne zgadnij B, C, D lub E. W rezultacie A ma trzy głosy, a na pozostałe odpowiedzi prawdopodobnie przypada maksymalnie jeden lub dwa głosy.

Wszystkie modele mają pewną ilość błędów. Błędy jednego modelu będą się różnić od błędów wytwarzanych przez inny model, ponieważ same modele są różne z powodów opisanych powyżej. Kiedy wszystkie błędy zostaną sprawdzone, nie będą one skupione wokół tej czy innej odpowiedzi, ale raczej będą rozproszone. Błędne domysły rozkładają się zasadniczo na wszystkie możliwe błędne odpowiedzi, znosząc się nawzajem. Tymczasem prawidłowe domysły z różnych modeli zostaną skupione wokół prawdziwej, poprawnej odpowiedzi. Kiedy stosowane są metody treningu zespołowego, poprawną odpowiedź można znaleźć z większą wiarygodnością.

Proste metody treningu zespołowego

Proste metody treningu zespołowego zazwyczaj obejmują jedynie zastosowanie technika podsumowania statystycznegos, takie jak określenie trybu, średniej lub średniej ważonej zestawu prognoz.

Tryb odnosi się do najczęściej występującego elementu w zestawie liczb. Aby uzyskać ten tryb, poszczególne modele uczenia się zwracają swoje przewidywania, a te przewidywania są uznawane za głosy w kierunku ostatecznej prognozy. Wyznaczanie średniej przewidywań odbywa się po prostu poprzez obliczenie średniej arytmetycznej przewidywań, zaokrąglonej do najbliższej liczby całkowitej. Wreszcie, średnią ważoną można obliczyć, przypisując różne wagi modelom używanym do tworzenia prognoz, przy czym wagi reprezentują postrzegane znaczenie tego modelu. Numeryczna reprezentacja przewidywania klasy jest mnożona przez wagę od 0 do 1.0, następnie poszczególne ważone przewidywania są sumowane, a wynik zaokrąglany do najbliższej liczby całkowitej.

Zaawansowane metody treningu zespołowego

Istnieją trzy podstawowe zaawansowane techniki szkolenia zespołowego, z których każda jest zaprojektowana tak, aby radzić sobie z określonym typem problemu uczenia maszynowego. Techniki „workowania”. służą do zmniejszania wariancji przewidywań modelu, przy czym wariancja odnosi się do tego, jak bardzo wyniki przewidywań różnią się w oparciu o tę samą obserwację. Techniki „wzmacniania”. służą do zwalczania stronniczości modeli. Wreszcie, „układanie” służy ogólnie do poprawy prognoz.

Same metody uczenia się zespołowego można ogólnie podzielić na jedną z dwóch grup: metody sekwencyjne i metody zespołowe równoległe.

Metody zespołowe sekwencyjne nazywane są „sekwencyjnymi”, ponieważ podstawowe elementy uczące/modele są generowane sekwencyjnie. W przypadku metod sekwencyjnych zasadniczą ideą jest wykorzystanie zależności pomiędzy bazowymi elementami uczącymi w celu uzyskania dokładniejszych przewidywań. Błędnie oznakowane przykłady mają dostosowane wagi, podczas gdy prawidłowo oznakowane przykłady zachowują te same wagi. Za każdym razem, gdy generowany jest nowy uczeń, wagi się zmieniają, a dokładność (miejmy nadzieję) poprawia się.

W przeciwieństwie do sekwencyjnych modeli zespołowych, metody zespołowe równoległe generują uczniów bazowych równolegle. W przypadku równoległego uczenia się zespołowego pomysł polega na wykorzystaniu faktu, że podstawowi uczniowie są niezależni, ponieważ ogólny poziom błędu można zmniejszyć poprzez uśrednienie przewidywań poszczególnych uczniów.

Metody szkolenia zespołowego mogą mieć charakter jednorodny lub heterogeniczny. Większość metod uczenia się zespołowego jest jednorodna, co oznacza, że ​​wykorzystują jeden typ podstawowego modelu/algorytmu uczenia się. W przeciwieństwie do tego, heterogeniczne zespoły wykorzystują różne algorytmy uczenia się, różnicując i różnicując uczniów, aby zapewnić możliwie najwyższą dokładność.

Przykłady algorytmów uczenia się zespołowego

Wizualizacja wzmocnienia zespołu. Zdjęcie: Sirakorn przez Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Przykłady metod zespołowych sekwencyjnych obejmują AdaBoost, XGBoost, Wzmocnienie drzewa gradientowego. To wszystko są modele wzmacniające. W przypadku tych modeli wspomagania celem jest przekształcenie słabych, osiągających słabe wyniki uczniów w skuteczniejszych uczniów. Modele takie jak AdaBoost i XGBoost zaczynają od wielu słabych uczniów, którzy radzą sobie nieco lepiej niż losowe zgadywanie. W miarę kontynuacji uczenia do danych przypisywane są wagi i dostosowywane. Przypadkom, które zostały błędnie zaklasyfikowane przez uczniów we wcześniejszych rundach szkolenia, przypisuje się większą wagę. Po powtórzeniu tego procesu dla żądanej liczby rund szkoleniowych, przewidywania są łączone albo za pomocą sumy ważonej (w przypadku zadań regresyjnych), albo głosowania ważonego (w przypadku zadań klasyfikacyjnych).

Proces uczenia się pakowania. Zdjęcie: SeattleDataGuy przez Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Przykładem modelu zespołu równoległego jest a Losowy las klasyfikator, a Random Forests jest również przykładem techniki pakowania. Termin „bagging” pochodzi od „agregacji bootstrap”. Próbki są pobierane z całego zbioru danych przy użyciu techniki próbkowania znanej jako „próbkowanie bootstrap”, która jest wykorzystywana przez uczniów podstawowych do dokonywania prognoz. W przypadku zadań klasyfikacyjnych wyniki modeli podstawowych są agregowane za pomocą głosowania, natomiast w przypadku zadań regresji są one uśredniane. Random Forests wykorzystuje indywidualne drzewa decyzyjne jako podstawowe elementy uczące się, a każde drzewo w zestawie jest budowane przy użyciu innej próbki ze zbioru danych. Do wygenerowania drzewa używany jest także losowy podzbiór cech. Prowadzi to do wysoce losowych indywidualnych drzew decyzyjnych, które są łączone w celu zapewnienia wiarygodnych przewidywań.

Wizualizacja ułożenia zestawu. Zdjęcie: Supun Setunga za pośrednictwem Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Jeśli chodzi o techniki zestawiania zespołowego, modele regresji wielokrotnej lub klasyfikacji są łączone w ramach metamodelu wyższego poziomu. Modele podstawowe niższego poziomu szkolą się, karmiąc cały zestaw danych. Wyniki modeli podstawowych są następnie wykorzystywane jako funkcje do uczenia metamodelu. Modele zespołowe układające się w stosy mają często charakter heterogeniczny.