Co to jest Gradient Boosting?

Powszechny typ modelu uczenia maszynowego, który okazał się niezwykle przydatny w konkursach nauki o danych, to model gradient boosting. Gradient boosting jest podstawowo procesem przekształcania słabych modeli uczenia w silne modele uczenia. Ale jak dokładnie jest to osiągane? Przyjrzyjmy się bliżej algorytmom gradient boosting i lepiej zrozumiemy, jak model gradient boosting przekształca słabe uczące się w silne uczące się.

Definiowanie Gradient Boosting

Ten artykuł ma na celu dać Ci dobrą intuicję, co to jest gradient boosting, bez wielu wyjaśnień matematycznych, które leżą u podstaw algorytmów. Gdy tylko masz poczucie, jak gradient boosting działa na wysokim poziomie, zachęcamy Cię do głębszego zanurzenia się w matematykę, która to umożliwia.

Zacznijmy od definicji tego, co oznacza “boostowanie” uczącego się. Słabi uczący się są przekształceni w silne uczące się przez dostosowanie właściwości modelu uczenia. Jakiego dokładnie algorytmu uczenia jest używany?

Modele boostowania działają przez uzupełnienie innego powszechnego modelu uczenia maszynowego, drzewa decyzyjnego.

Model drzewa decyzyjnego działa przez podział zbioru danych na mniejsze i mniejsze części, a gdy podzbiory nie mogą być już dalej dzielone, wynikiem jest drzewo z węzłami i liśćmi. Węzły w drzewie decyzyjnym są miejscami, w których podejmowane są decyzje dotyczące punktów danych przy użyciu różnych kryteriów filtrowania. Liście w drzewie decyzyjnym są punktami danych, które zostały sklasyfikowane. Algorytmy drzew decyzyjnych mogą obsługiwać zarówno dane numeryczne, jak i kategorialne, a rozdzielenia w drzewie opierają się na określonych zmiennych/cechach.

Ilustracja sposobu, w jaki modele boostowania są szkolone.
Photo: SeattleDataBuy via Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

Jednym z typów algorytmów boostowania jest algorytm AdaBoost. Algorytmy AdaBoost zaczynają od trenowania modelu drzewa decyzyjnego i przypisania równego ciężaru do każdej obserwacji. Po tym, jak pierwsze drzewo zostało ocenione pod względem dokładności, ciężary dla różnych obserwacji są dostosowywane. Obserwacje, które były łatwe do sklasyfikowania, mają swoje ciężary obniżone, podczas gdy obserwacje, które były trudne do sklasyfikowania, mają swoje ciężary zwiększone. Drugie drzewo jest tworzone przy użyciu tych dostosowanych ciężarów, z celem, że przewidywania drugiego drzewa będą bardziej dokładne niż przewidywania pierwszego drzewa.

Model składa się teraz z przewidywań oryginalnego drzewa i nowego drzewa (lub Drzewo 1 + Drzewo 2). Dokładność klasyfikacji jest oceniana ponownie na podstawie nowego modelu. Trzecie drzewo jest tworzone na podstawie obliczonego błędu modelu, a ciężary są ponownie dostosowywane. Ten proces jest kontynuowany przez określoną liczbę iteracji, a ostateczny model jest modelem ensemble, który używa ważonej sumy przewidywań dokonanych przez wszystkie uprzednio zbudowane drzewa.

Opisany powyżej proces używa Drzew Decyzyjnych i podstawowych predyktorów/modeli, ale podejście boostowania może być realizowane z szerokim zakresem modeli, takich jak standardowe modele klasyfikacji i regresji. Kluczowe pojęcia do zrozumienia są takie, że następni predyktorzy uczą się z błędów popełnionych przez poprzednich i że predyktorzy są tworzeni sekwencyjnie.

Główną zaletą algorytmów boostowania jest to, że zajmują mniej czasu na znalezienie bieżących przewidywań w porównaniu z innymi modelami uczenia maszynowego. Należy jednak zachować ostrożność przy używaniu algorytmów boostowania, ponieważ są one podatne na overfitting.

Gradient Boosting

Teraz przyjrzymy się jednej z najczęstszych algorytmów boostowania. Modele Gradient Boosting (GBM) są znane ze swojej wysokiej dokładności i rozszerzają ogólne zasady używane w AdaBoost.

Główna różnica między Modelem Gradient Boosting a AdaBoost polega na tym, że GBM używa innego sposobu obliczania, które uczące się są niepoprawne. AdaBoost oblicza, gdzie model jest niedopasowany, badając punkty danych, które są silnie ważone. Tymczasem GBM używa gradientów, aby określić dokładność uczących się, stosując funkcję straty do modelu. Funkcje straty są sposobem pomiaru dokładności dopasowania modelu do zbioru danych, obliczania błędu i optymalizacji modelu w celu zmniejszenia tego błędu. GBM pozwalają użytkownikowi zoptymalizować określoną funkcję straty na podstawie jego pożądanego celu.

Biorąc najczęstszą funkcję straty – Błąd Średniokwadratowy (MSE) – jako przykład, gradient descendant jest używany do aktualizacji przewidywań na podstawie określonej stopy uczenia, mając na celu znalezienie wartości, w których strata jest minimalna.

Aby to wyjaśnić:

Nowe przewidywania modelu = zmienne wyjściowe – stare niedoskonałe przewidywania.

W bardziej statystycznym sensie, GBM mają na celu znalezienie istotnych wzorców w resztach modelu, dostosowując model, aby dopasować się do wzorca i zbliżyć reszty do zera. Jeśli przeprowadziłbyś regresję na przewidywaniach modelu, reszty byłyby rozłożone wokół 0 (idealne dopasowanie), a GBM znajdują wzorce w resztach i aktualizują model wokół tych wzorców.

Innymi słowy, przewidywania są aktualizowane tak, aby suma wszystkich reszt była jak najbliżej 0, co oznacza, że przewidywane wartości będą bardzo bliskie rzeczywistym wartościom.

Zwróć uwagę, że szeroki zakres innych funkcji strat (takich jak logarytmiczna strata) może być używany przez GBM. MSE został wybrany powyżej ze względu na prostotę.

Wariacje Modeli Gradient Boosting

Modele Gradient Boosting są chciwymi algorytmami, które są podatne na overfitting do zbioru danych. Można temu przeciwdziałać za pomocą kilku różnych metod, które mogą poprawić wydajność GBM.

GBM mogą być regulowane za pomocą czterech różnych metod: Shrinkage, Tree Constraints, Stochastic Gradient Boosting i Penalized Learning.

Shrinkage

Jak wcześniej wspomniano, w GBM przewidywania są sumowane w sekwencyjny sposób. W “Shrinkage” dodatki każdego drzewa do ogólnej sumy są dostosowywane. Stosowane są wagi, które spowalniają szybkość uczenia się algorytmu, wymagając, aby więcej drzew zostało dodanych do modelu, co zwykle poprawia wytrzymałość i wydajność modelu. Wymianą jest to, że model potrzebuje więcej czasu na trening.

Tree Constraints

Ograniczanie drzewa różnymi sztuczkami, takimi jak dodanie większej głębokości do drzewa lub zwiększenie liczby węzłów lub liści w drzewie, może utrudnić modelowi overfitting. Nakładanie ograniczenia na minimalną liczbę obserwacji na rozdzielenie ma podobny efekt. Ponownie, wymianą jest to, że model potrzebuje więcej czasu na trening.

Losowy Przykład

Poszczególne uczące się mogą być tworzone za pomocą losowego procesu, opartego na losowo wybranych podzbiorach zbioru treningowego. Ma to efekt zmniejszania korelacji między drzewami, co chroni przed overfittingiem. Zbiór danych może być podpróbkowany przed utworzeniem drzew lub przed rozważeniem rozdzielenia w drzewie.

Penalized Learning

Poza ograniczaniem modelu przez ograniczenie struktury drzewa, można użyć drzewa regresji. Drzewa regresji mają numeryczne wartości dołączone do każdego z liści, a te funkcjonują jako wagi i mogą być dostosowane z powszechnymi funkcjami regularizacji, takimi jak L1 i L2 regularizacja.