Čo je Ensemble Learning?

Jednou z najvýkonnejších techník strojového učenia je súborové učenie. Spolu štúdium je použitie viacerých modelov strojového učenia na zlepšenie spoľahlivosti a presnosti predpovedí. Ako však použitie viacerých modelov strojového učenia vedie k presnejším predpovediam? Aké techniky sa používajú na vytváranie modelov učenia súboru? Preskúmame odpovede na tieto otázky, pričom sa pozrieme na zdôvodnenie používania modelov súboru a primárne spôsoby vytvárania modelov súboru.

Čo je Ensemble Learning?

Zjednodušene povedané, súborové učenie je proces trénovania viacerých modelov strojového učenia a kombinovania ich výstupov. Rôzne modely sa používajú ako základ na vytvorenie jedného optimálneho prediktívneho modelu. Kombinácia rôznorodej sady jednotlivých modelov strojového učenia môže zlepšiť stabilitu celkového modelu, čo vedie k presnejším predpovediam. Modely učenia súboru sú často spoľahlivejšie ako individuálne modely, a preto sa často umiestňujú na prvom mieste v mnohých súťažiach strojového učenia.

Existujú rôzne techniky, ktoré môže inžinier použiť na vytvorenie modelu učenia súboru. Jednoduché techniky súborového učenia zahŕňajú veci ako spriemerovanie výstupov rôznych modelov, zatiaľ čo existujú aj zložitejšie metódy a algoritmy vyvinuté špeciálne na kombinovanie predpovedí mnohých základných študentov/modelov.

Prečo používať Ensemble tréningové metódy?

Modely strojového učenia sa môžu navzájom líšiť z rôznych dôvodov. Rôzne modely strojového učenia môžu fungovať na rôznych vzorkách údajov o populácii, môžu sa použiť rôzne techniky modelovania a môžu sa použiť rôzne hypotézy.

Predstavte si, že hráte vedomostnú hru s veľkou skupinou ľudí. Ak ste v tíme sami, určite existuje niekoľko tém, o ktorých máte vedomosti, a veľa tém, o ktorých nemáte žiadne znalosti. Teraz predpokladajme, že hráte v tíme s inými ľuďmi. Rovnako ako vy budú mať určité znalosti týkajúce sa svojich vlastných špecialít a nebudú mať žiadne znalosti o iných témach. Keď sa však skombinujú vaše znalosti, budete mať presnejšie odhady pre viac oblastí a počet tém, o ktorých váš tím nemá znalosti, sa zníži. Toto je rovnaký princíp, ktorý je základom učenia sa súboru, ktorý kombinuje predpovede rôznych členov tímu (individuálne modely) s cieľom zlepšiť presnosť a minimalizovať chyby.

Štatistici dokázali že keď je dav ľudí požiadaný, aby uhádol správnu odpoveď na danú otázku s rozsahom možných odpovedí, všetky ich odpovede tvoria rozdelenie pravdepodobnosti. Ľudia, ktorí skutočne poznajú správnu odpoveď, s istotou vyberú správnu odpoveď, zatiaľ čo ľudia, ktorí si vyberú nesprávne odpovede, rozdelia svoje odhady v rámci rozsahu možných nesprávnych odpovedí. Vráťme sa k príkladu vedomostnej hry, ak vy a vaši dvaja priatelia viete, že správna odpoveď je A, všetci traja budete hlasovať za A, zatiaľ čo ďalší traja ľudia vo vašom tíme, ktorí odpoveď nepoznajú, budú pravdepodobne nesprávne hádajte B, C, D alebo E. Výsledkom je, že A má tri hlasy a ostatné odpovede budú mať pravdepodobne maximálne jeden alebo dva hlasy.

Všetky modely majú určité množstvo chýb. Chyby pre jeden model sa budú líšiť od chýb vytvorených iným modelom, pretože samotné modely sú odlišné z dôvodov opísaných vyššie. Keď sa preskúmajú všetky chyby, nebudú sa zoskupovať okolo jednej alebo druhej odpovede, ale budú rozptýlené. Nesprávne odhady sú v podstate rozložené medzi všetky možné nesprávne odpovede a navzájom sa rušia. Medzitým budú správne odhady z rôznych modelov zoskupené okolo pravdivej a správnej odpovede. Keď sa používajú metódy súborového tréningu, správna odpoveď sa dá nájsť s väčšou spoľahlivosťou.

Jednoduché metódy školenia v súbore

Jednoduché metódy súborového tréningu zvyčajne zahŕňajú iba aplikáciu technika štatistického súhrnus, ako je určenie režimu, priemeru alebo váženého priemeru súboru predpovedí.

Režim označuje najčastejšie sa vyskytujúci prvok v rámci množiny čísel. Aby sa získal režim, jednotlivé modely učenia vrátia svoje predpovede a tieto predpovede sa považujú za hlasy pre konečnú predpoveď. Určenie priemeru predpovedí sa vykonáva jednoducho výpočtom aritmetického priemeru predpovedí zaokrúhleného na najbližšie celé číslo. Nakoniec je možné vypočítať vážený priemer priradením rôznych váh k modelom používaným na vytváranie predpovedí, pričom váhy predstavujú vnímanú dôležitosť daného modelu. Číselná reprezentácia predikcie triedy sa vynásobí váhou od 0 do 1.0, jednotlivé vážené predpovede sa potom spočítajú a výsledok sa zaokrúhli na najbližšie celé číslo.

Pokročilé metódy školenia v súbore

Existujú tri základné pokročilé techniky súborového tréningu, z ktorých každá je navrhnutá tak, aby riešila špecifický typ problému strojového učenia. Techniky „vrecovania“. sa používajú na zníženie rozptylu predpovedí modelu, pričom rozptyl sa vzťahuje na to, ako veľmi sa líši výsledok predpovedí, keď sú založené na rovnakom pozorovaní. „Posilňovacie“ techniky sa používajú na boj proti zaujatosti modelov. nakoniec "stohovanie" sa používa na zlepšenie predpovedí vo všeobecnosti.

Samotné metódy učenia v súbore možno vo všeobecnosti rozdeliť do jednej z dvoch rôznych skupín: sekvenčné metódy a metódy paralelného súboru.

Metódy sekvenčných súborov sa nazývajú „sekvenčné“, pretože základní žiaci/modely sa generujú postupne. V prípade sekvenčných metód je základnou myšlienkou, že závislosť medzi základnými žiakmi sa využíva na získanie presnejších predpovedí. Nesprávne označené príklady majú upravenú váhu, zatiaľ čo správne označené príklady si zachovávajú rovnakú váhu. Zakaždým, keď sa vygeneruje nový študent, váhy sa zmenia a presnosť (dúfajme) sa zlepší.

Na rozdiel od sekvenčných súborových modelov, metódy paralelných súborov generujú základných študentov paralelne. Pri vykonávaní paralelného súborového učenia je cieľom využiť skutočnosť, že základní žiaci majú nezávislosť, pretože všeobecnú chybovosť možno znížiť spriemerovaním predpovedí jednotlivých žiakov.

Metódy skupinového tréningu môžu byť homogénnej alebo heterogénnej povahy. Väčšina metód učenia súboru je homogénna, čo znamená, že používa jeden typ základného modelu učenia/algoritmu. Na rozdiel od toho, heterogénne súbory využívajú rôzne algoritmy učenia, diverzifikujú a variujú študentov, aby zabezpečili čo najvyššiu presnosť.

Príklady Ensemble Learning Algorithms

Vizualizácia posilňovania súboru. Foto: Sirakorn cez Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Príklady metód sekvenčného súboru zahŕňajú AdaBoost, XGBoosta Zosilnenie stromu gradientu. To všetko sú posilňovacie modely. V prípade týchto posilňujúcich modelov je cieľom premeniť slabých študentov s nedostatočnou výkonnosťou na výkonnejších študentov. Modely ako AdaBoost a XGBoost začínajú s mnohými slabými žiakmi, ktorí dosahujú len o niečo lepšie výsledky ako náhodné hádanie. Ako tréning pokračuje, na dáta sa aplikujú váhy a upravia sa. Prípady, ktoré boli nesprávne klasifikované žiakmi v skorších kolách školenia, majú väčšiu váhu. Po zopakovaní tohto procesu pre požadovaný počet tréningových kôl sa predpovede spoja buď prostredníctvom váženého súčtu (pre regresné úlohy) a váženého hlasovania (pre klasifikačné úlohy).

Proces učenia sa vrecovania. Foto: SeattleDataGuy cez Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Príkladom modelu paralelného súboru je a Náhodný les klasifikátor a náhodné lesy sú tiež príkladom techniky vrecovania. Termín „bagging“ pochádza z „bootstrap aggregation“. Vzorky sa odoberajú z celkového súboru údajov pomocou techniky vzorkovania známej ako „bootstrap sampling“, ktorú používajú základní študenti na vytváranie predpovedí. Pre klasifikačné úlohy sa výstupy základných modelov agregujú pomocou hlasovania, zatiaľ čo pre regresné úlohy sa spolu spriemerujú. Random Forests používa jednotlivé rozhodovacie stromy ako svojich základných študentov a každý strom v súbore je vytvorený pomocou inej vzorky zo súboru údajov. Na generovanie stromu sa používa aj náhodná podmnožina funkcií. To vedie k vysoko náhodným individuálnym rozhodovacím stromom, ktoré sú všetky kombinované, aby poskytovali spoľahlivé predpovede.

Vizualizácia stohovania súboru. Foto: Supun Setunga cez Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Pokiaľ ide o techniky stohovacieho súboru, viaceré regresné alebo klasifikačné modely sa kombinujú prostredníctvom metamodelu vyššej úrovne. Základné modely nižšej úrovne sa trénujú tak, že sa do nich vloží celý súbor údajov. Výstupy základných modelov sa potom používajú ako funkcie na trénovanie meta-modelu. Modely stohovacích súborov sú často svojou povahou heterogénne.