Mitä on yhtyeoppiminen?

Yksi tehokkaimmista koneoppimistekniikoista on ryhmäoppiminen. Kokonaisuus oppiminen on useiden koneoppimismallien käyttö ennusteiden luotettavuuden ja tarkkuuden parantamiseksi. Mutta kuinka useiden koneoppimismallien käyttö johtaa tarkempiin ennusteisiin? Millaisia ​​tekniikoita käytetään ryhmäoppimismallien luomiseen? Tutkimme vastauksia näihin kysymyksiin tarkastelemalla kokonaisuusmallien käytön perusteita ja ensemble-mallien luomistapoja.

Mitä on yhtyeoppiminen?

Yksinkertaisesti sanottuna kokonaisoppiminen on prosessi, jossa opetetaan useita koneoppimismalleja ja yhdistetään niiden tuotokset yhteen. Eri malleja käytetään pohjana yhden optimaalisen ennustusmallin luomiseen. Erilaisten yksittäisten koneoppimismallien yhdistäminen voi parantaa kokonaismallin vakautta, mikä johtaa tarkempiin ennusteisiin. Ensemble-oppimismallit ovat usein luotettavampia kuin yksittäiset mallit, ja sen seurauksena ne sijoittuvat usein ensimmäiselle sijalle monissa koneoppimiskilpailuissa.

On olemassa erilaisia ​​tekniikoita, joita insinööri voi käyttää luodakseen kokonaisoppimismallin. Yksinkertaisiin ensemble-oppimistekniikoihin kuuluu mm. eri mallien tulosten keskiarvon laskeminen, kun taas on myös monimutkaisempia menetelmiä ja algoritmeja, jotka on kehitetty erityisesti yhdistämään monien perusoppilaiden/mallien ennusteet yhteen.

Miksi käyttää ensemble-koulutusmenetelmiä?

Koneoppimismallit voivat poiketa toisistaan ​​useista syistä. Erilaiset koneoppimismallit voivat toimia erilaisilla populaatiodatan näytteillä, voidaan käyttää erilaisia ​​mallinnustekniikoita ja erilaista hypoteesia.

Kuvittele, että pelaat triviapeliä suuren ryhmän kanssa. Jos olet ryhmässä yksin, sinulla on varmasti joitain aiheita, joista sinulla on tietoa, ja monia aiheita, joista et tiedä. Oletetaan nyt, että pelaat joukkueessa muiden ihmisten kanssa. Aivan kuten sinä, heillä on jonkin verran tietoa omista erikoisaloistaan, eikä heillä ole tietoa muista aiheista. Mutta kun tietosi yhdistetään, sinulla on tarkempia arvauksia useammille aloille ja kutistuu niiden aiheiden määrä, joista tiimilläsi ei ole tietoa. Tämä on sama periaate, joka on kokonaisuusoppimisen taustalla, yhdistämällä eri tiimin jäsenten ennusteet (yksittäiset mallit) tarkkuuden parantamiseksi ja virheiden minimoimiseksi.

Tilastomiehet ovat todistaneet että kun joukkoa ihmisiä pyydetään arvaamaan oikea vastaus tiettyyn kysymykseen useilla mahdollisilla vastauksilla, kaikki heidän vastauksensa muodostavat todennäköisyysjakauman. Ihmiset, jotka todella tietävät oikean vastauksen, valitsevat oikean vastauksen luottavaisin mielin, kun taas ihmiset, jotka valitsevat väärät vastaukset, jakavat arvauksensa mahdollisten väärien vastausten joukolle. Palatakseni esimerkkiin triviapelistä, jos sinä ja kaksi ystävääsi tiedätte oikean vastauksen on A, te kaikki kolme äänestätte A, kun taas kolme muuta tiimisi henkilöä, jotka eivät tiedä vastausta, äänestävät todennäköisesti väärin. arvaa B, C, D tai E. Tuloksena on, että A:lla on kolme ääntä ja muilla vastauksilla on todennäköisesti enintään yksi tai kaksi ääntä.

Kaikissa malleissa on jonkin verran virheitä. Yhden mallin virheet ovat erilaisia ​​kuin toisen mallin aiheuttamat virheet, koska itse mallit ovat erilaisia ​​edellä kuvatuista syistä. Kun kaikki virheet on tutkittu, ne eivät ryhmity yhden tai toisen vastauksen ympärille, vaan ne ovat hajallaan. Väärät arvaukset jakautuvat olennaisesti kaikkiin mahdollisiin vääriin vastauksiin kumoen toisensa. Sillä välin eri mallien oikeat arvaukset ryhmitellään oikean, oikean vastauksen ympärille. Kun käytetään ensemble-harjoittelumenetelmiä, oikea vastaus löytyy luotettavammin.

Yksinkertaiset ryhmäharjoittelumenetelmät

Yksinkertaiset ryhmäharjoittelumenetelmät sisältävät tyypillisesti vain soveltamisen tilastollinen yhteenvetotekniikkas, kuten ennustejoukon moodin, keskiarvon tai painotetun keskiarvon määrittäminen.

Tila viittaa yleisimmin esiintyvään elementtiin numerojoukossa. Moodin saamiseksi yksittäiset oppimismallit palauttavat ennusteensa ja nämä ennusteet katsotaan ääninä lopulliseen ennusteeseen. Ennusteiden keskiarvo määritetään yksinkertaisesti laskemalla ennusteiden aritmeettinen keskiarvo pyöristettynä lähimpään kokonaislukuun. Lopuksi, painotettu keskiarvo voidaan laskea antamalla eri painot malleille, joita käytetään ennusteiden luomiseen, painojen edustaessa kyseisen mallin tärkeyttä. Luokan ennusteen numeerinen esitys kerrotaan painon kanssa 0-1.0, yksittäiset painotetut ennusteet lasketaan yhteen ja tulos pyöristetään lähimpään kokonaislukuun.

Edistyneet yhtyekoulutusmenetelmät

On olemassa kolme ensisijaista edistynyttä ryhmäharjoittelutekniikkaa, joista jokainen on suunniteltu käsittelemään tietyntyyppistä koneoppimisongelmaa. "Päkitys" tekniikat käytetään vähentämään mallin ennusteiden varianssia, jolloin varianssi viittaa siihen, kuinka paljon ennusteiden tulos eroaa, kun se perustuu samaan havaintoon. "Boosting" tekniikoita käytetään torjumaan mallien harhaa. Lopuksi, "pinoaminen" käytetään parantamaan ennusteita yleensä.

Ensemble-oppimismenetelmät itsessään voidaan yleensä jakaa kahteen eri ryhmään: peräkkäiset menetelmät ja rinnakkaiset ensemble-menetelmät.

Peräkkäiset ryhmämenetelmät saavat nimen "peräkkäinen", koska perusoppijat/mallit luodaan peräkkäin. Sekventiaalisten menetelmien tapauksessa olennainen ajatus on, että perusoppijoiden välistä riippuvuutta hyödynnetään tarkempien ennusteiden saamiseksi. Väärin merkittyjen esimerkkien painot on säädetty, kun taas oikein merkittyjen esimerkkien painot säilyvät samana. Joka kerta kun uusi oppija luodaan, painot muuttuvat ja tarkkuus (toivottavasti) paranee.

Toisin kuin peräkkäiset kokonaisuusmallit, rinnakkaiset kokonaisuusmenetelmät luovat perusoppijat rinnakkain. Rinnakkaisryhmäoppimista suoritettaessa ajatuksena on hyödyntää perusoppilaiden itsenäisyyttä, sillä yleistä virhetasoa voidaan pienentää laskemalla yksittäisten oppijoiden ennusteiden keskiarvo.

Ensemble-harjoitusmenetelmät voivat olla luonteeltaan joko homogeenisia tai heterogeenisia. Useimmat ensemble-oppimismenetelmät ovat homogeenisia, mikä tarkoittaa, että niissä käytetään yhden tyyppistä perusoppimismallia/-algoritmia. Sitä vastoin heterogeeniset kokoonpanot käyttävät erilaisia ​​oppimisalgoritmeja monipuolistaen ja muuntelemalla oppijoita varmistaakseen, että tarkkuus on mahdollisimman korkea.

Esimerkkejä Ensemble Learning -algoritmeista

Yhtyeen vahvistamisen visualisointi. Kuva: Sirakorn Wikimedia Commonsin kautta, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Esimerkkejä peräkkäisistä kokonaisuuksista ovat mm AdaBoost, XGBoostja Gradienttipuun tehostaminen. Nämä ovat kaikki tehostavia malleja. Näissä tehostavissa malleissa tavoitteena on muuntaa heikot, heikosti suoriutuvat oppijat tehokkaammiksi oppijoiksi. Mallit, kuten AdaBoost ja XGBoost, alkavat monilla heikoilla oppijoilla, jotka suoriutuvat vain hieman paremmin kuin satunnainen arvaus. Harjoittelun jatkuessa dataan sovelletaan painoja ja niitä säädetään. Tapaukset, jotka oppijat ovat luokitelleet väärin aikaisemmilla koulutuskierroksilla, saavat enemmän painoarvoa. Kun tämä prosessi on toistettu halutun määrän harjoituskierroksia, ennusteet yhdistetään joko painotetulla summalla (regressiotehtäville) ja painotetulla äänellä (luokitustehtävät).

Pakkausoppimisprosessi. Kuva: SeattleDataGuy Wikimedia Commonsin kautta, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Esimerkki rinnakkaisesta kokonaisuusmallista on a Satunnainen metsä luokitin, ja Random Forests on myös esimerkki säkitystekniikasta. Termi "pussittaminen" tulee sanasta "bootstrap aggregation". Näytteet otetaan koko tietojoukosta käyttämällä otantatekniikkaa, joka tunnetaan nimellä "bootstrap sampling", jota perusoppijat käyttävät ennusteiden tekemiseen. Luokittelutehtävissä perusmallien tuotokset aggregoidaan äänestämällä, kun taas regressiotehtävissä niistä lasketaan keskiarvo. Random Forests käyttää yksittäisiä päätöspuita perusoppijoina, ja jokainen ryhmän puu on rakennettu käyttämällä erilaista näytettä tietojoukosta. Puun luomiseen käytetään myös satunnaista ominaisuuksien osajoukkoa. Tämä johtaa erittäin satunnaistettuihin yksittäisiin päätöspuihin, jotka kaikki yhdistetään luotettavien ennusteiden saamiseksi.

Kokonaisuuden pinoamisen visualisointi. Kuva: Supun Setunga Wikimedia Commonsin kautta, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Pinoamiskokonaisuustekniikoiden kannalta useat regressio- tai luokittelumallit yhdistetään yhteen korkeamman tason metamallin kautta. Alemman tason perusmallit harjoittelevat syöttämällä koko tietojoukkoa. Perusmallien lähtöjä käytetään sitten ominaisuuksina metamallin kouluttamiseen. Pinottavat kokonaisuusmallit ovat usein luonteeltaan heterogeenisia.