Vad är Gradient Boosting?

En vanlig typ av maskinlärningsmodell som har visat sig vara extremt användbar i datavetenskaps-tävlingar är en gradient boosting-modell. Gradient boosting är i princip processen att omvandla svaga läromodeller till starka läromodeller. Men hur exakt åstadkoms detta? Låt oss ta en närmare titt på gradient boosting-algoritmer och förstå bättre hur en gradient boosting-modell omvandlar svaga lärmodeller till starka lärmodeller.

Definiering av Gradient Boosting

Denna artikel syftar till att ge dig en bra intuition för vad gradient boosting är, utan att bryta ner matematiken som ligger till grund för algoritmerna. När du har en uppfattning om hur gradient boosting fungerar på en hög nivå, uppmuntras du att gå djupare och utforska matematiken som gör det möjligt.

Låt oss börja med att definiera vad det innebär att “boosta” en lärmodell. Svaga lärmodeller omvandlas till starka lärmodeller genom att justera egenskaperna hos läromodellen. Vilken läralgoritm är det som boostas?

Boosting-modeller fungerar genom att komplettera en annan vanlig maskinlärningsmodell, ett besluts-träd.

En besluts-träd-modell fungerar genom att dela upp en datamängd i mindre och mindre delar, och när delarna inte kan delas upp längre, resulterar det i ett träd med noder och blad. Noder i ett besluts-träd är där beslut om datapunkter fattas med hjälp av olika filterkriterier. Bladen i ett besluts-träd är de datapunkter som har klassificerats. Besluts-trädsalgoritmer kan hantera både numeriska och kategoriska data, och delningar i trädet baseras på specifika variabler/egenskaper.

Illustration av hur boosting-modeller tränas.
Foto: SeattleDataBuy via Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

En typ av boosting-algoritm är AdaBoost-algoritmen. AdaBoost-algoritmer börjar med att träna ett besluts-träd och tilldela ett lika stort vikt till varje observation. Efter att det första trädet har utvärderats för noggrannhet, justeras vikterna för de olika observationerna. Observationer som var lätta att klassificera får sina vikter sänkta, medan observationer som var svåra att klassificera får sina vikter ökade. Ett andra träd skapas med hjälp av dessa justerade vikter, med målet att det andra trädet ska göra mer exakta förutsägelser än det första trädet.

Modellen består nu av förutsägelserna för det ursprungliga trädet och det nya trädet (eller Träd 1 + Träd 2). Klassificeringsnoggrannheten utvärderas igen baserat på den nya modellen. Ett tredje träd skapas baserat på den beräknade felet för modellen, och vikterna justeras igen. Denna process fortsätter i ett visst antal iterationer, och den slutliga modellen är en ensemble-modell som använder den viktade summan av förutsägelserna gjorda av alla tidigare konstruerade träd.

Processen som beskrivs ovan använder besluts-träd och bas-prediktorer/modeller, men en boosting-ansats kan utföras med en mängd olika modeller som de många standard-klassificerings- och regressions-modellerna. De viktigaste begreppen att förstå är att efterföljande prediktorer lär sig av misstagen som gjorts av tidigare prediktorer och att prediktorerna skapas sekventiellt.

Den primära fördelen med boosting-algoritmer är att de tar mindre tid att hitta de aktuella förutsägelserna jämfört med andra maskinlärningsmodeller. Men man måste vara försiktig när man använder boosting-algoritmer, eftersom de är benägna att överanpassa.

Gradient Boosting

Vi ska nu titta på en av de vanligaste boosting-algoritmerna. Gradient Boosting-modeller (GBM) är kända för sin höga noggrannhet, och de kompletterar de allmänna principerna som används i AdaBoost.

Den primära skillnaden mellan en Gradient Boosting-modell och AdaBoost är att GBM använder en annan metod för att beräkna vilka lärmodeller som identifierar datapunkter felaktigt. AdaBoost beräknar var en modell presterar dåligt genom att undersöka datapunkter som är tungt viktade. GBM använder istället gradienter för att bestämma noggrannheten hos lärmodellerna, genom att applicera en förlustfunktion på en modell. Förlustfunktioner är ett sätt att mäta noggrannheten hos en modells passning på datamängden, genom att beräkna ett fel och optimera modellen för att minska felet. GBM tillåter användaren att optimera en specificerad förlustfunktion baserat på det önskade målet.

Med den vanligaste förlustfunktionen – Medelkvadratfel (MSE) – som exempel, används gradientnedstigning för att uppdatera förutsägelser baserat på en fördefinierad inlärningshastighet, med målet att hitta värdena där förlusten är minimal.

För att göra det tydligare:

Nya modellförutsägelser = utdata-variabler – gamla ofullständiga förutsägelser.

I en mer statistisk mening syftar GBM till att hitta relevanta mönster i en modells rester, genom att justera modellen för att passa mönstret och bringa resterna så nära noll som möjligt. Om du skulle utföra en regression på modellens förutsägelser, skulle resterna fördelas runt 0 (perfekt passning), och GBM hittar mönster inom resterna och uppdaterar modellen runt dessa mönster.

Med andra ord uppdateras förutsägelserna så att summan av alla rester är så nära 0 som möjligt, vilket innebär att de förutsagda värdena kommer att vara mycket nära de faktiska värdena.

Observera att en mängd olika förlustfunktioner (såsom logaritmisk förlust) kan användas av en GBM. MSE valdes ovan för enkelhetens skull.

Variationer på Gradient Boosting-modeller

Gradient Boosting-modeller är giriga algoritmer som är benägna att överanpassa på en datamängd. Detta kan skyddas mot med flera olika metoder som kan förbättra prestandan hos en GBM.

GBM kan regleras med fyra olika metoder: Shrinkage, Trädbegränsningar, Stokastisk Gradient Boosting och Straffande inlärning.

Shrinkage

Som tidigare nämnts, i GBM adderas förutsägelserna från varje träd sekventiellt. I “Shrinkage” justeras tilläggen av varje träd till den totala summan. Vikter appliceras som saktar ner algoritmens inlärningshastighet, vilket kräver att fler träd läggs till modellen, vilket vanligtvis förbättrar modellens robusthet och prestanda. Kompromissen är att modellen tar längre tid att träna.

Trädbegränsningar

Att begränsa trädet med olika justeringar som att lägga till mer djup i trädet eller öka antalet noder eller blad i trädet kan göra det svårare för modellen att överanpassa. Att införa en begränsning för det minsta antalet observationer per delning har en liknande effekt. Återigen är kompromissen att det tar modellen längre tid att träna.

Slumpmässig urval

De enskilda lärmodellerna kan skapas genom en stokastisk process, baserad på slumpmässigt valda delmängder av träningsdatamängden. Detta har effekten att reducera korrelationer mellan träd, vilket skyddar mot överanpassning. Datamängden kan delas innan träd skapas eller innan en delning i trädet övervägs.

Straffande inlärning

Förutom att begränsa modellen genom att begränsa trädet, är det möjligt att använda en regressions-träd. Regressions-träd har numeriska värden kopplade till varje blad, och dessa fungerar som vikter och kan justeras med vanliga regleringsfunktioner som L1 och L2-reglering.