Mikä on Gradient Boosting?

Yleinen koneoppimisen mallityyppi, joka on osoittautunut erittäin hyödylliseksi data-tieteen kilpailuissa, on gradient-boosting-malli. Gradient boosting on perustuu heikkojen oppimismallien muuttamiseen vahvoiksi oppimismalleiksi. Mutta miten tämä toteutetaan? Otetaan lähempi katsaus gradient-boosting-algoritmeihin ja ymmärretään, miten gradient-boosting-malli muuttaa heikot oppijat vahvoiksi oppijoiksi.

Gradient Boostingin määrittely

Tämä artikkeli pyrkii antamaan hyvän intuition siitä, mitä gradient boosting on, ilman monia matemaattisten algoritmien purkuja. Kun olet saanut ymmärryksen siitä, miten gradient boosting toimii korkealla tasolla, rohkaistaan sinua menemään syvemmälle ja tutkimaan matematiikkaa, joka mahdollistaa sen.

Aloittaen määrittelemällä, mitä tarkoitetaan “boosting”-termillä. Heikot oppijat muutetaan vahvoiksi oppijoiksi säätämällä oppimismallin ominaisuuksia. Mikä oppimisalgoritmi on oikeasti boostattu?

Boosting-mallit toimivat muokkaamalla toista yleistä koneoppimisen mallia, päätöspuuta.

Päätöspuu-malli toimii jakamalla tietojoukon pienempiin osiin, ja kun osat eivät voi enää jakautua, tuloksena on puu, jossa on solmuja ja lehtiä. Solmut päätöspuussa ovat kohdat, joissa tehdään päätöksiä eri suodatuskriteerejä käyttäen. Päätöspuun lehdet ovat luokitellut data-pisteet. Päätöspuumallit voivat käsitellä sekä numeerisia että kategorisia tietoja, ja puun jakautumiset perustuvat tiettyihin muuttujiin/ominaisuuksiin.

Kuvaus siitä, miten boosting-mallit koulutetaan.
Kuva: SeattleDataBuy via Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

Yksi boosting-algoritmi on AdaBoost-algoritmi. AdaBoost-algoritmit aloittavat kouluttamalla päätöspuumallin ja määrittämällä jokaiselle havainnolle saman painon. Kun ensimmäinen puu on arvioitu tarkkuuden suhteen, eri havaintojen painot muutetaan. Helppoja luokiteltavia havaintoja koskevat painot lasketaan, kun taas vaikeasti luokiteltavien havaintojen painot korotetaan. Uusi puu luodaan näiden muutettujen painojen avulla, tavoitteena on, että toisen puun ennusteet ovat tarkemmat kuin ensimmäisen puun ennusteet.

Malli koostuu nyt alkuperäisen puun ja uuden puun (tai Puu 1 + Puu 2) ennusteista. Luokittelun tarkkuus arvioidaan uudelleen uuden mallin perusteella. Kolmas puu luodaan mallin laskettujen virheiden perusteella, ja painot muutetaan jälleen. Tämä prosessi jatkuu tietyn määrän iteraatioiden ajan, ja lopullinen malli on ensemble-malli, joka käyttää kaikkien aikaisemmin luotujen puiden ennusteiden painotettua summaa.

Yllä kuvattu prosessi käyttää päätöspuita ja perusennustajia/malleja, mutta boosting-lähestymistapa voidaan toteuttaa laajalla valikoimalla malleja, kuten useilla standardoiduilla luokittelija- ja regressor-malleilla. Avainkäsitteet, jotka on ymmärrettävä, ovat, että seuraavat ennustajat oppivat edellisten virheistä ja että ennustajat luodaan järjestyksessä.

Gradient-boosting-algoritmien ensisijainen etu on, että ne vievät vähemmän aikaa nykyisten ennusteiden löytämiseen verrattuna muihin koneoppimisen malleihin. On kuitenkin huomioitava, että boosting-algoritmeja käytettäessä on oltava varovainen, sillä ne ovat alttiita ylioppimiselle.

Gradient Boosting

Tutustumme nyt yhteen yleisimpiin boosting-algoritmeihin. Gradient Boosting -mallit (GBM) tunnetaan korkeasta tarkkuudestaan, ja ne laajentavat yleisiä periaatteita, joita käytetään AdaBoostissa.

GBM:n ja AdaBoostin välinen pääero on, että GBM:t käyttävät eri menetelmää virheellisten data-pisteiden tunnistamiseen. AdaBoost laskee, missä malli on heikko tarkastelemalla voimakkaasti painotettuja data-pisteitä. GBM:t käyttävät sen sijaan gradiennteja oppijoiden tarkkuuden määrittämiseen ja soveltavat menetysfunktiota malliin. Menetysfunktiot ovat tapa mitata mallin sovituskykyä tietojoukkoon, laskemalla virheen ja optimoimalla mallia vähentämään virhettä. GBM:t sallivat käyttäjän optimoida tietyn menetysfunktion halutun tavoitteen mukaan.

Otetaan esimerkiksi yleisin menetysfunktiot – Keskineliövirhe (MSE) – gradientin lasku käytetään päivittämään ennusteita ennalta määritellyn oppimisnopeuden perusteella, tavoitteena on löytää arvot, joissa menetys on minimi.

Jotta asia selvenisi:

Uudet mallin ennusteet = ulostulomuuttujat – vanhat epätäydelliset ennusteet.

Statistisessa mielessä GBM:t pyrkivät löytämään merkityksellisiä malleja mallin jäänteissä, säätämällä mallia sopimaan jäänteiden mukaan ja tuomaan jäänteet mahdollisimman lähelle nollaa. Jos suorittaisit regressiota mallin ennusteiden kanssa, jäänteet jakautuisivat 0 (täydellinen sopimus) ympärille, ja GBM:t löytävät jäänteiden sisällä olevia malleja ja päivittävät mallia näiden mallien ympärillä.

Toisin sanoen ennusteet päivitetään siten, että kaikkien jäänteiden summa on mahdollisimman lähellä 0, mikä tarkoittaa, että ennustetut arvot ovat hyvin lähellä todellisia arvoja.

Huomaa, että laaja valikoima muita menetysfunktiota (kuten logaritminen menetys) voidaan käyttää GBM:ssä. MSE valittiin yllä yksinkertaisuuden vuoksi.

Variation Gradient Boosting -malleja

Gradient Boosting -mallit ovat ahneita algoritmeja, jotka ovat alttiita ylioppimiselle tietojoukossa. Tätä voidaan estää useilla eri menetelmillä, jotka voivat parantaa GBM:n suorituskykyä.

GBM:t voidaan säännellä neljällä eri menetelmällä: Shrinkage, Tree Constraints, Stochastic Gradient Boosting ja Penalized Learning.

Shrinkage

Kuten aiemmin mainittiin, GBM:ssä ennusteet summataan järjestyksessä. “Shrinkagessa” jokaisen puun lisäyksen kokonaissummaan sovelletaan painoja. Käytetään painoja, jotka hidastavat algoritmin oppimisnopeutta, jolloin useampi puu on lisättävä malliin, mikä yleensä parantaa mallin luotettavuutta ja suorituskykyä. Vaihtokauppana malli vaatii kauemmin koulutuksen.

Puun rajoitukset

Puun rajoittaminen eri säätöjen avulla, kuten lisäämällä puun syvyyttä tai kasvattamalla puun solmujen tai lehtien määrää, voi tehdä mallista vaikeamman ylioppimisen. Asettamalla rajoitus vähimmäismäärälle havainnoille jakoa kohden on samanlainen vaikutus. Vaihtokauppana malli vaatii kauemmin koulutuksen.

Satunnainen otanta

Yksittäiset oppijat voidaan luoda satunnaisprosessin kautta, joka perustuu satunnaisiin alijoukkoihin koulutusjoukosta. Tämä vähentää korrelaatioita puiden välillä, mikä estää ylioppimisen. Joukkoa voidaan ottaa alijoukko ennen puiden luomista tai ennen puun jakoa.

Rangaistava oppiminen

Puun rajoittamisen lisäksi on mahdollista käyttää regressiopuuta. Regressiopuissa on numeerisia arvoja kussakin lehdessä, ja nämä toimivat painona ja voidaan säätää yleisillä säännöstötoimilla, kuten L1- ja L2-säännöstöllä.