Hva er Gradient Boosting?

En vanlig type maskinlæringsmodell som har vist seg å være ekstremt nyttig i datavitenskapskonkurranser er en gradient boosting-modell. Gradient boosting er i hovedsak prosessen med å konvertere svake læringsmodeller til sterke læringsmodeller. Men hvordan gjøres dette nøyaktig? La oss ta en nærmere titt på gradient boosting-algoritmer og forstå bedre hvordan en gradient boosting-modell konverterer svake lærere til sterke lærere.

Definering av Gradient Boosting

Denne artikkelen har som mål å gi deg en god forståelse for hva gradient boosting er, uten å bryte ned matematikken som ligger til grunn for algoritmene. Når du har en god forståelse for hvordan gradient boosting opererer på et høyt nivå, oppmuntres du til å gå dyptere og utforske matematikken som gjør det mulig.

La oss starte med å definere hva det betyr å “booste” en lærer. Svakke lærere konverteres til sterke lærere ved å justere egenskapene til læringsmodellen. Hva er egentlig læringsalgoritmen som blir boostet?

Boosting-modeller fungerer ved å utvide en annen vanlig maskinlæringsmodell, en beslutningstre.

En beslutningstre-modell fungerer ved å splitte en datasett ned i mindre og mindre deler, og når undergruppene ikke kan splittes lenger, resulterer det i et tre med noder og blader. Noder i en beslutningstre er der hvor beslutninger om datapunkter tas ved hjelp av ulike filterkriterier. Bladene i en beslutningstre er datapunktene som har blitt klassifisert. Beslutningstre-algoritmer kan håndtere både numeriske og kategoriske data, og splitt i treet er basert på bestemte variabler/egenskaper.

Illustrasjon av måten boosting-modeller blir trenet.
Foto: SeattleDataBuy via Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

En type boosting-algoritme er AdaBoost-algoritmen. AdaBoost-algoritmer starter med å trenere en beslutningstre-modell og tildele en lik vekt til hver observasjon. Etter at den første treet har blitt evaluert for nøyaktighet, justeres vektene for de ulike observasjonene. Observasjoner som var lette å klassifisere får vektene sine redusert, mens observasjoner som var vanskelige å klassifisere får vektene sine økt. Et nytt tre blir skapt ved hjelp av disse justerte vektene, med målet at det andre treet sine prediksjoner vil være mer nøyaktige enn det første treet sine prediksjoner.

Modellen består nå av prediksjonene for det opprinnelige treet og det nye treet (eller Tre 1 + Tre 2). Klassifiseringsnøyaktigheten blir vurdert på nytt basert på den nye modellen. Et tredje tre blir skapt basert på den beregnede feilen for modellen, og vektene blir justert på nytt. Denne prosessen fortsetter for et bestemt antall iterasjoner, og den endelige modellen er en ensemble-modell som bruker den vektede summen av prediksjonene gjort av alle de tidligere konstruerte trærne.

Prosessen beskrevet over bruker beslutningstreer og base-prediktorer/modeller, men en boosting-tilnærming kan utføres med en rekke modeller som de mange standard klassifiserings- og regresjonsmodellene. De viktigste konseptene å forstå er at påfølgende prediktorer lærer av feilene gjort av tidligere prediktorer og at prediktorerne blir skapt sekvensielt.

Den primære fordelen med boosting-algoritmer er at de tar mindre tid å finne nåværende prediksjoner sammenlignet med andre maskinlæringsmodeller. Imidlertid må man være forsiktig når man bruker boosting-algoritmer, da de er utsatt for overfitting.

Gradient Boosting

Vi skal nå se på en av de mest vanlige boosting-algoritmer. Gradient Boosting-modeller (GBM) er kjent for sin høye nøyaktighet, og de utvider de generelle prinsippene som brukes i AdaBoost.

Den primære forskjellen mellom en Gradient Boosting-modell og AdaBoost er at GBM bruker en annen metode for å beregne hvilke lærere som misidentifiserer datapunkter. AdaBoost beregner hvor en modell underpresterer ved å se på datapunkter som er tungt vektede. GBM bruker derimot grader til å bestemme nøyaktigheten av lærere, og anvender en tap-funksjon til en modell. Tap-funksjoner er en måte å måle nøyaktigheten av en modells tilpasning til datasett, ved å beregne en feil og optimalisere modellen for å redusere denne feilen. GBM lar brukeren optimalisere en spesifisert tap-funksjon basert på deres ønskede mål.

Med den mest vanlige tap-funksjonen – Gjennomsnittlig kvadratisk feil (MSE) – som eksempel, gradient descent brukes til å oppdatere prediksjoner basert på en forhåndsdefinert læringsrate, med mål om å finne verdiene hvor tap er minimalt.

For å gjøre det mer tydelig:

Nye modellprediksjoner = utgangsvariabler – gamle uperfekte prediksjoner.

I en mer statistisk forstand, GBM søker å finne relevante mønster i en modells rester, og justerer modellen for å tilpasse mønsteret og bringe restene så nære null som mulig. Hvis du skulle utføre en regresjon på modellens prediksjoner, ville restene være fordelt rundt 0 (perfekt tilpasning), og GBM finner mønster innenfor restene og oppdaterer modellen rundt disse mønstrene.

Med andre ord, prediksjonene oppdateres så at summen av alle rester er så nære 0 som mulig, noe som betyr at de prediktede verdiene vil være svært nære de faktiske verdiene.

Merk at en rekke andre tap-funksjoner (slik som logaritmisk tap) kan brukes av en GBM. MSE ble valgt ovenfor for enkelhets skyld.

Variasjoner av Gradient Boosting-modeller

Gradient Boosting-modeller er grådige algoritmer som er utsatt for overfitting på en datasett. Dette kan beskyttes mot med forskjellige metoder som kan forbedre ytelsen av en GBM.

GBM kan regulere med fire forskjellige metoder: Shrinkage, Tre-begrensninger, Stokastisk Gradient Boosting og Penalized Learning.

Shrinkage

Som tidligere nevnt, i GBM prediksjoner summeres sammen i en sekvensiell måte. I “Shrinkage” justeres tilleggene av hvert tre til den totale summen. Vekter brukes som sakter ned algoritmens læringsrate, og det kreves at flere trær må legges til modellen, noe som vanligvis forbedrer modellens robusthet og ytelse. Kompromisset er at modellen tar lengre tid å trene.

Tre-begrensninger

Begrensninger på treet med forskjellige justeringer som å legge til mer dybde til treet eller øke antallet noder eller blader i treet, kan gjøre det vanskeligere for modellen å overfitte. Å pålegge en begrensning på det minste antallet observasjoner per splitt har en lignende effekt. Igjen, kompromisset er at det tar modellen lengre tid å trene.

Tilfeldig utvalg

De enkelte lærerne kan skapes gjennom en stokastisk prosess, basert på tilfeldige underutvalg av treningsdatasettet. Dette har effekten av å redusere korrelasjoner mellom trær, noe som beskytter mot overfitting. Datasettet kan underutvalges før trærne skapes eller før en splitt i treet vurderes.

Penalized Learning

Bortsett fra å begrense modellen gjennom å begrense strukturen til treet, er det mulig å bruke en regresjonstre. Regresjonstrær har numeriske verdier koblet til hver av bladene, og disse fungerer som vekter og kan justeres med vanlige regulariseringsfunksjoner som L1 og L2-regularisering.