Mi az az együttes tanulás?

Az egyik legerősebb gépi tanulási technika az együttes tanulás. Együttes tanulás több gépi tanulási modell használata az előrejelzések megbízhatóságának és pontosságának javítására. Mégis hogyan vezet több gépi tanulási modell használata pontosabb előrejelzésekhez? Milyen technikákat alkalmaznak az együttes tanulási modellek létrehozásához? Ezekre a kérdésekre keressük a választ, megvizsgálva az együttes modellek használatának okait és az együttes modellek létrehozásának elsődleges módjait.

Mi az az együttes tanulás?

Leegyszerűsítve, az együttes tanulás több gépi tanulási modell betanításának és eredményeik kombinálásának folyamata. A különböző modellek alapul szolgálnak egy optimális prediktív modell létrehozásához. Az egyedi gépi tanulási modellek sokféle készletének kombinálása javíthatja az átfogó modell stabilitását, ami pontosabb előrejelzésekhez vezet. Az együttes tanulási modellek gyakran megbízhatóbbak, mint az egyéni modellek, és ennek eredményeként gyakran az első helyen állnak számos gépi tanulási versenyen.

A mérnök különböző technikákat használhat az együttes tanulási modell létrehozására. Az egyszerű ensemble learning technikák közé tartozik például a különböző modellek kimeneteinek átlagolása, de vannak bonyolultabb módszerek és algoritmusok is, amelyeket kifejezetten sok alaptanuló/modell előrejelzésének kombinálására fejlesztettek ki.

Miért érdemes az együttes képzési módszereket használni?

A gépi tanulási modellek különböző okokból eltérhetnek egymástól. Különböző gépi tanulási modellek működhetnek a sokaságadatok különböző mintáin, különböző modellezési technikák alkalmazhatók, és eltérő hipotézis is alkalmazható.

Képzeld el, hogy egy trivia játékot játszol egy nagy embercsoporttal. Ha egyedül vagy egy csapatban, biztosan vannak olyan témák, amelyekről tudsz, és sok olyan téma, amiről nem. Most tegyük fel, hogy egy csapatban játszol másokkal. Csakúgy, mint te, ők is rendelkeznek némi ismeretekkel saját szakterületeikről, és nem ismernek más témákat. Ha azonban összevonja tudását, pontosabb tippjei vannak több területre, és csökken azoknak a témáknak a száma, amelyekről csapata nem ismeri. Ez ugyanaz az elv, amely az együttes tanulás alapjául szolgál, kombinálva a különböző csapattagok (egyedi modellek) előrejelzéseit a pontosság javítása és a hibák minimalizálása érdekében.

A statisztikusok bebizonyították hogy amikor emberek tömegét arra kérik, hogy kitalálják egy adott kérdésre a helyes választ a lehetséges válaszok sorával, akkor minden válaszuk valószínűségi eloszlást alkot. Azok az emberek, akik valóban tudják a helyes választ, magabiztosan választják ki a helyes választ, míg a rossz válaszokat választók megosztják sejtéseiket a lehetséges helytelen válaszok között. Visszatérve egy trivia játék példájára, ha te és két barátod tudod, hogy a helyes válasz az A, akkor mindhárman A-ra szavaztok, míg a csapatodból a másik három ember, aki nem tudja a választ, valószínűleg helytelenül. tippelje meg B, C, D vagy E. Az eredmény az, hogy A-nak három szavazata van, és a többi válasznak valószínűleg csak egy vagy két szavazata van.

Minden modellben van némi hiba. Az egyik modell hibái eltérnek a másik modell hibáitól, mivel maguk a modellek különböznek a fent leírt okok miatt. Ha az összes hibát megvizsgáljuk, azok nem csoportosulnak egyik vagy másik válasz köré, hanem szétszórva. A helytelen találgatások lényegében az összes lehetséges rossz válasz között szétszóródnak, kioltva egymást. Eközben a különböző modellek helyes tippjei az igaz, helyes válasz köré csoportosulnak. Ha együttes edzésmódszert alkalmaznak, a helyes válasz nagyobb megbízhatósággal megtalálható.

Egyszerű együttes képzési módszerek

Az egyszerű együttes képzési módszerek jellemzően csak az alkalmazását jelentik statisztikai összegzési technikas, mint például az előrejelzések halmazának módjának, átlagának vagy súlyozott átlagának meghatározása.

A mód egy számkészleten belül a leggyakrabban előforduló elemre vonatkozik. A mód elérése érdekében az egyes tanulási modellek visszaadják előrejelzéseiket, és ezek a jóslatok a végső előrejelzésre adott szavazatoknak minősülnek. Az előrejelzések átlagának meghatározása egyszerűen az előrejelzések számtani átlagának kiszámításával történik, a legközelebbi egész számra kerekítve. Végül a súlyozott átlag kiszámítható úgy, hogy az előrejelzések létrehozásához használt modellekhez különböző súlyokat rendelünk, amelyek a modell észlelt fontosságát reprezentálják. Az osztály-előrejelzés numerikus reprezentációját megszorozzuk egy 0-tól 1.0-ig tartó súllyal, majd az egyes súlyozott előrejelzéseket összeadjuk, és az eredményt a legközelebbi egész számra kerekítjük.

Speciális együttes képzési módszerek

Három elsődleges haladó együttes képzési technika létezik, amelyek mindegyike egy adott típusú gépi tanulási probléma kezelésére készült. „Bagging” technikák A modell előrejelzéseinek varianciájának csökkentésére szolgálnak, a variancia pedig arra utal, hogy az előrejelzések kimenetele mennyiben tér el, ha ugyanazon megfigyelésen alapul. „Boosting” technikák a modellek torzításának leküzdésére használják. Végül, „halmozás” általában az előrejelzések javítására szolgál.

Maguk az együttes tanulási módszerek általában két különböző csoportra oszthatók: szekvenciális módszerek és párhuzamos ensemble módszerek.

A szekvenciális ensemble metódusok „szekvenciális” nevet kapnak, mivel az alap tanulók/modellek szekvenciálisan jönnek létre. A szekvenciális módszerek esetében a lényeg az, hogy az alaptanulók közötti függőséget kihasználják a pontosabb előrejelzések érdekében. A rosszul címkézett példák súlya be van állítva, míg a megfelelően felcímkézett példák ugyanazt a súlyt tartják fenn. Minden alkalommal, amikor új tanulót generálnak, a súlyok megváltoznak, és (remélhetőleg) javul a pontosság.

A szekvenciális ensemble modellekkel ellentétben a párhuzamos ensemble módszerek párhuzamosan generálják az alaptanulókat. A párhuzamos ensemble tanulás során az a cél, hogy kihasználják az alaptanulók önállóságát, mivel az általános hibaarányt az egyes tanulók előrejelzéseinek átlagolásával lehet csökkenteni.

Az együttes képzési módszerek lehetnek homogének vagy heterogének. A legtöbb ensemble learning módszer homogén, ami azt jelenti, hogy egyetlen típusú alap tanulási modellt/algoritmust használ. Ezzel szemben a heterogén együttesek különböző tanulási algoritmusokat használnak, diverzifikálják és variálják a tanulókat, hogy biztosítsák a lehető legnagyobb pontosságot.

Példák az együttes tanulási algoritmusokra

Az együttes növelésének vizualizálása. Fotó: Sirakorn a Wikimedia Commonson keresztül, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

A szekvenciális ensemble módszerek példái közé tartozik AdaBoost, XGBoostés Gradiens fa kiemelése. Ezek mind fellendítő modellek. Ezeknél az ösztönző modelleknél a cél az, hogy a gyengébb, gyengén teljesítő tanulókat erősebb tanulókká alakítsák. Az olyan modellek, mint az AdaBoost és az XGBoost, sok gyenge tanulóval indulnak, akik valamivel jobban teljesítenek, mint a véletlen találgatások. Ahogy az edzés folytatódik, súlyokat alkalmazunk az adatokra és korrigáljuk. A korábbi képzési körökben a tanulók által helytelenül osztályozott példányok nagyobb súlyt kapnak. Miután ezt a folyamatot a kívánt számú edzési körre megismételték, az előrejelzések egy súlyozott összeggel (regressziós feladatoknál) és egy súlyozott szavazattal (osztályozási feladatoknál) egyesülnek.

A zsákolás tanulási folyamata. Fotó: SeattleDataGuy a Wikimedia Commonson keresztül, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Példa a párhuzamos együttes modellre a Véletlen Erdő osztályozó, és a Random Forests is egy példa a zsákolási technikára. A „zsákolás” kifejezés a „bootstrap aggregation” szóból származik. A mintákat a teljes adatkészletből veszik a „bootstrap mintavételként” ismert mintavételi technikával, amelyet az alap tanulók használnak előrejelzések készítésére. Az osztályozási feladatoknál az alapmodellek kimeneteit szavazással aggregáljuk, míg a regressziós feladatoknál együtt átlagoljuk. A Random Forests egyéni döntési fákat használ alaptanulóként, és az együttes minden egyes fát az adatkészletből eltérő mintával építenek fel. A funkciók véletlenszerű részhalmazát is használják a fa létrehozásához. Erősen randomizált egyéni döntési fákhoz vezet, amelyek mindegyike megbízható előrejelzéseket biztosít.

Az együttes halmozásának vizualizálása. Fotó: Supun Setunga a Wikimedia Commonson keresztül, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

A halmozási együttes technikák tekintetében a többszörös regressziós vagy osztályozási modelleket egy magasabb szintű metamodell segítségével kombinálják. Az alsóbb szintű alapmodellek a teljes adatkészlet betáplálásával edzenek. Az alapmodellek kimenetei ezután a metamodell betanítására szolgálnak. Az egymásra rakott együttes modellek természetüknél fogva gyakran heterogének.