Ce este Gradient Boosting?

Un tip comun de model de învățare automată, care s-a dovedit a fi extrem de util în competițiile de știință a datelor, este un model de gradient boosting. Gradient boosting este, în esență, procesul de conversie a modelelor de învățare slabe în modele de învățare puternice. Dar cum se realizează exact acest lucru? Să aruncăm o privire mai atentă asupra algoritmilor de gradient boosting și să înțelegem mai bine cum un model de gradient boosting transformă învățătorii slabi în învățători puternici.

Definirea Gradient Boosting

Acest articol își propune să vă ofere o bună intuiție despre ce este gradient boosting, fără prea multe detalii despre matematica care stă la baza algoritmilor. Odată ce veți avea o apreciere pentru modul în care funcționează gradient boosting la nivel înalt, vă încurajăm să mergeți mai departe și să explorați matematica care face posibilă această tehnologie.

Să începem prin a defini ce înseamnă “a îmbunătăți” un învățător. Învățătorii slabi sunt transformați în învățători puternici prin ajustarea proprietăților modelului de învățare. Dar care este algoritmul de învățare care este îmbunătățit?

Modelele de îmbunătățire funcționează prin îmbunătățirea unui alt model de învățare automată comun, un arbore de decizie.

Un model de arbore de decizie funcționează prin împărțirea unui set de date în porțiuni mai mici și mai mici, și odată ce subseturile nu pot fi împărțite mai departe, rezultatul este un arbore cu noduri și frunze. Nodurile dintr-un arbore de decizie sunt locurile în care se iau decizii despre punctele de date utilizând diferite criterii de filtrare. Frunzele dintr-un arbore de decizie sunt punctele de date care au fost clasificate. Algoritmii de arbori de decizie pot gestiona atât date numerice, cât și categorice, și împărțirile în arbore se bazează pe variabile/caracteristici specifice.

Ilustrarea modului în care se antrenează modelele de îmbunătățire.
Foto: SeattleDataBuy via Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

Un tip de algoritm de îmbunătățire este algoritmul AdaBoost. Algoritmii AdaBoost încep prin antrenarea unui model de arbore de decizie și atribuirea unui punctaj egal pentru fiecare observație. După ce primul arbore a fost evaluat pentru acuratețe, punctajele pentru diferitele observații sunt ajustate. Observațiile care au fost ușor de clasificat au punctajele lor reduse, în timp ce observațiile care au fost greu de clasificat au punctajele lor crescute. Un al doilea arbore este creat utilizând aceste punctaje ajustate, cu scopul de a face ca predicțiile celui de-al doilea arbore să fie mai precise decât cele ale primului arbore.

Modelul acum constă din predicțiile pentru arborele original și noul arbore (sau Arborele 1 + Arborele 2). Acuratețea clasificării este evaluată din nou pe baza noului model. Un al treilea arbore este creat pe baza erorii calculate pentru model, și punctajele sunt ajustate din nou. Acest proces continuă pentru un număr dat de iterații, și modelul final este un model de ansamblu care utilizează suma ponderată a predicțiilor făcute de toți arborii construiți anterior.

Procesul descris mai sus utilizează arbori de decizie și predictorii de bază, dar o abordare de îmbunătățire poate fi realizată cu o gamă largă de modele, cum ar fi multe modele standard de clasificare și regresie. Conceptele cheie de înțeles sunt că predictorii ulterioari învață din greșelile făcute de cei anteriori și că predictorii sunt creați secvențial.

Principalul avantaj al algoritmilor de îmbunătățire este că acestea necesită mai puțin timp pentru a găsi predicțiile actuale în comparație cu alte modele de învățare automată. Cu toate acestea, trebuie să se acorde atenție atunci când se utilizează algoritmii de îmbunătățire, deoarece acestea sunt predispuse la suprainvățare.

Gradient Boosting

Acum vom examina unul dintre cele mai comune algoritme de îmbunătățire. Modelele de Gradient Boosting (GBM) sunt cunoscute pentru acuratețea lor ridicată și extind principiile generale utilizate în AdaBoost.

Principala diferență între un model de Gradient Boosting și AdaBoost este că GBM utilizează o metodă diferită de calculare a învățătorilor care identifică greșit punctele de date. AdaBoost calculează unde un model este subperformant prin examinarea punctelor de date care au un punctaj ridicat. În timp ce GBM utilizează gradientul pentru a determina acuratețea învățătorilor, aplicând o funcție de pierdere la un model. Funcțiile de pierdere sunt o modalitate de a măsura acuratețea unei ajustări a modelului la setul de date, calculând o eroare și optimizând modelul pentru a reduce acea eroare. GBM permite utilizatorului să optimizeze o funcție de pierdere specificată în funcție de obiectivul dorit.

Luând ca exemplu cea mai comună funcție de pierdere – Eroarea Medie Pătratică (MSE) – coborârea gradientului este utilizată pentru a actualiza predicțiile pe baza unei rate de învățare predefinite, scopul fiind de a găsi valorile în care pierderea este minimă.

Pentru a fi mai clar:

Noile predicții ale modelului = variabile de ieșire – vechile predicții imperfecte.

Într-un sens mai statistic, GBM își propun să găsească modele relevante în reziduurile unui model, ajustând modelul pentru a se potrivi modelului și a aduce reziduurile cât mai aproape de zero posibil. Dacă ați efectua o regresie pe predicțiile modelului, reziduurile ar fi distribuite în jurul valorii 0 (potrivire perfectă), și GBM găsesc modele în reziduuri și actualizează modelul în jurul acestor modele.

În alte cuvinte, predicțiile sunt actualizate astfel încât suma tuturor reziduurilor să fie cât mai aproape de 0 posibil, ceea ce înseamnă că valorile prezise vor fi foarte aproape de valorile reale.

Notați că o varietate largă de alte funcții de pierdere (cum ar fi pierderea logaritmică) pot fi utilizate de un GBM. MSE a fost selectat mai sus pentru scopul de a simplifica explicația.

Variante ale Modelelor de Gradient Boosting

Modelele de Gradient Boosting sunt algoritmi lacomi care sunt predispuse la suprainvățare pe un set de date. Acest lucru poate fi prevenit cu mai multe metode diferite care pot îmbunătăți performanța unui GBM.

GBM pot fi reglementate cu patru metode diferite: Shrinkage, Constrângeri de Arbore, Gradient Boosting Stochastic și Învățare Penalizată.

Shrinkage

După cum s-a menționat anterior, în GBM, predicțiile sunt adunate împreună în mod secvențial. În “Shrinkage”, adăugările fiecărui arbore la suma generală sunt ajustate. Se aplică greutăți care încetinesc rata de învățare a algoritmului, necesitând ca mai multe arbori să fie adăugați la model, ceea ce de obicei îmbunătățește robustețea și performanța modelului. Compromisul este că modelul necesită mai mult timp pentru a fi antrenat.

Constrângeri de Arbore

Constrângerea arborelui cu diverse ajustări, cum ar fi adăugarea de adâncime la arbore sau creșterea numărului de noduri sau frunze din arbore, poate face ca modelul să fie mai greu de suprainvățat. Impunerea unei constrângeri asupra numărului minim de observații pe divizare are un efect similar. Din nou, compromisul este că modelul necesită mai mult timp pentru a fi antrenat.

Exemplu Aleator

Învățătorii individuali pot fi creați printr-un proces stocastic, pe baza unor sub-șantioane aleatorii ale setului de date de antrenare. Acest lucru are efectul de a reduce corelațiile dintre arbori, ceea ce protejează împotriva suprainvățării. Setul de date poate fi sub-șantionat înainte de a crea arborii sau înainte de a considera o divizare în arbore.

Învățare Penalizată

Beyond constrângerea modelului prin limitarea structurii arborelui, este posibil să se utilizeze un arbore de regresie. Arborii de regresie au valori numerice atașate de fiecare frunză, și acestea funcționează ca greutăți și pot fi ajustate cu funcții de regularizare comune, cum ar fi L1 și L2 regularizare.