Kas yra ansamblinis mokymasis?

Vienas iš galingiausių mašininio mokymosi metodų yra ansamblinis mokymasis. Kartu mokymasis yra kelių mašininio mokymosi modelių naudojimas, siekiant pagerinti prognozių patikimumą ir tikslumą. Tačiau kaip kelių mašininio mokymosi modelių naudojimas leidžia tiksliau prognozuoti? Kokios technikos naudojamos kuriant ansamblinio mokymosi modelius? Išnagrinėsime atsakymus į šiuos klausimus, pažvelgdami į ansamblio modelių naudojimo pagrindimą ir pagrindinius ansamblio modelių kūrimo būdus.

Kas yra ansamblinis mokymasis?

Paprasčiau tariant, ansamblinis mokymasis yra kelių mašininio mokymosi modelių mokymo ir jų rezultatų derinimo procesas. Skirtingi modeliai naudojami kaip pagrindas sukurti vieną optimalų nuspėjamąjį modelį. Sujungus įvairius atskirų mašininio mokymosi modelių rinkinius, galima pagerinti viso modelio stabilumą, todėl prognozės bus tikslesnės. Ansamblinio mokymosi modeliai dažnai yra patikimesni nei individualūs modeliai, todėl jie dažnai užima pirmąją vietą daugelyje mašininio mokymosi konkursų.

Yra įvairių metodų, kuriuos inžinierius gali naudoti kurdamas ansamblio mokymosi modelį. Paprasti ansamblinio mokymosi metodai apima tokius dalykus kaip skirtingų modelių rezultatų vidurkis, taip pat yra sudėtingesnių metodų ir algoritmų, specialiai sukurtų daugelio bazinių besimokančiųjų / modelių prognozėms sujungti.

Kodėl verta naudoti ansamblinio mokymo metodus?

Mašininio mokymosi modeliai gali skirtis vienas nuo kito dėl įvairių priežasčių. Skirtingi mašininio mokymosi modeliai gali veikti naudojant skirtingus populiacijos duomenų pavyzdžius, gali būti naudojami skirtingi modeliavimo metodai ir kitokia hipotezė.

Įsivaizduokite, kad žaidžiate smulkmenų žaidimą su didele grupe žmonių. Jei esate komandoje vienas, tikrai yra keletas temų, apie kurias žinote, ir daug temų, kurių nežinote. Dabar tarkime, kad žaidžiate komandoje su kitais žmonėmis. Kaip ir jūs, jie turės šiek tiek žinių apie savo specialybes ir neturės žinių apie kitas temas. Tačiau kai jūsų žinios sujungiamos, galite tiksliau spėti daugiau sričių, o temų, kurių jūsų komandai trūksta, skaičius mažėja. Tai yra tas pats principas, kuriuo grindžiamas mokymasis ansamblyje, derinant skirtingų komandos narių prognozes (individualius modelius), siekiant pagerinti tikslumą ir sumažinti klaidas.

Statistika įrodė kad kai minios žmonių prašoma atspėti teisingą atsakymą į pateiktą klausimą su galimų atsakymų diapazonu, visi jų atsakymai sudaro tikimybių skirstinį. Žmonės, kurie tikrai žino teisingą atsakymą, užtikrintai pasirinks teisingą atsakymą, o neteisingus atsakymus pasirinkę žmonės paskirstys savo spėjimus tarp galimų neteisingų atsakymų. Grįžtant prie smulkmenų žaidimo pavyzdžio, jei jūs ir jūsų draugai žinote, kad teisingas atsakymas yra A, jūs visi trys balsuosite A, o kiti trys jūsų komandos žmonės, kurie nežino atsakymo, greičiausiai, bus neteisingai. atspėkite B, C, D arba E. Rezultatas yra toks, kad A turi tris balsus, o kiti atsakymai gali turėti tik vieną ar du balsus.

Visi modeliai turi tam tikrą klaidų kiekį. Vieno modelio klaidos skirsis nuo kito modelio klaidų, nes patys modeliai skiriasi dėl aukščiau aprašytų priežasčių. Išnagrinėjus visas klaidas, jos nebus susikaupusios aplink vieną ar kitą atsakymą, o bus išsibarsčiusios. Klaidingi spėjimai iš esmės paskirstomi visiems galimiems klaidingiems atsakymams, panaikinant vienas kitą. Tuo tarpu skirtingų modelių teisingi spėjimai bus suskirstyti į tikrąjį, teisingą atsakymą. Kai naudojami ansamblinio mokymo metodai, teisingą atsakymą galima rasti su didesniu patikimumu.

Paprasti ansamblio mokymo metodai

Paprasti ansamblinio mokymo metodai paprastai apima tik taikymą statistinės apibendrinimo technikas, pvz., nustatyti prognozių rinkinio režimą, vidurkį arba svertinį vidurkį.

Režimas reiškia dažniausiai pasitaikantį elementą skaičių rinkinyje. Norint gauti režimą, atskiri mokymosi modeliai pateikia savo prognozes ir šios prognozės laikomos balsais dėl galutinio numatymo. Numatytų prognozių vidurkis atliekamas tiesiog apskaičiuojant prognozių aritmetinį vidurkį, suapvalintą iki artimiausio sveikojo skaičiaus. Galiausiai, svertinis vidurkis gali būti apskaičiuotas priskiriant skirtingus svorius modeliams, naudojamiems prognozėms kurti, o svoriai atspindi suvokiamą to modelio svarbą. Klasės prognozės skaitinis vaizdas padauginamas kartu su svoriu nuo 0 iki 1.0, tada atskiros svertinės prognozės sumuojamos ir rezultatas suapvalinamas iki artimiausio sveikojo skaičiaus.

Išplėstiniai ansamblio mokymo metodai

Yra trys pagrindiniai pažangūs ansamblio mokymo būdai, kurių kiekvienas yra skirtas tam tikro tipo mašininio mokymosi problemai spręsti. „Maišavimo“ technika naudojami siekiant sumažinti modelio prognozių dispersiją, o dispersija nurodo, kiek prognozių rezultatai skiriasi, kai remiamasi tuo pačiu stebėjimu. „Padidinimo“ metodai naudojami kovojant su modelių šališkumu. Pagaliau, "krovimas" naudojamas prognozėms apskritai pagerinti.

Patys ansamblinio mokymosi metodai paprastai gali būti suskirstyti į vieną iš dviejų skirtingų grupių: nuoseklius metodus ir lygiagrečius ansamblio metodus.

Nuosekliojo ansamblio metodai įgauna pavadinimą „nuosekliai“, nes pagrindiniai mokiniai / modeliai generuojami nuosekliai. Nuosekliųjų metodų atveju esminė idėja yra ta, kad priklausomybė tarp bazinių besimokančiųjų yra išnaudojama siekiant gauti tikslesnes prognozes. Klaidingai pažymėtų pavyzdžių svoris koreguojamas, o tinkamai pažymėtų pavyzdžių svoris išlieka toks pat. Kiekvieną kartą, kai sukuriamas naujas besimokantis, svoriai keičiasi, o tikslumas (tikiuosi) pagerėja.

Priešingai nei nuoseklūs ansamblio modeliai, paralelinio ansamblio metodai lygiagrečiai generuoja bazinius besimokančiuosius. Vykdant lygiagretųjį mokymąsi ansamblyje, siekiama išnaudoti faktą, kad baziniai besimokantieji turi savarankiškumą, nes bendras klaidų lygis gali būti sumažintas apskaičiuojant atskirų besimokančiųjų prognozių vidurkį.

Ansamblinio mokymo metodai gali būti homogeniški arba nevienalyčiai. Dauguma ansamblinio mokymosi metodų yra vienarūšiai, tai reiškia, kad jie naudoja vieno tipo bazinį mokymosi modelį/algoritmą. Priešingai, heterogeniški ansambliai naudoja skirtingus mokymosi algoritmus, įvairindami ir įvairindami besimokančiuosius, kad būtų užtikrintas kuo didesnis tikslumas.

Ansamblinio mokymosi algoritmų pavyzdžiai

Ansamblio stiprinimo vizualizacija. Nuotrauka: Sirakorn per Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Nuosekliojo ansamblio metodų pavyzdžiai apima AdaBoost, XGBoostir Gradiento medžio didinimas. Visi šie modeliai yra didinantys modeliai. Šių tobulinimo modelių tikslas yra paversti silpnus, prasčiau besimokančius mokinius į galingesnius besimokančius. Tokie modeliai kaip „AdaBoost“ ir „XGBoost“ prasideda daugybe silpnų besimokančiųjų, kurie veikia tik šiek tiek geriau nei atsitiktinai atspėję. Treniruotėms tęsiantis, duomenims pritaikomi ir koreguojami svoriai. Atvejams, kuriuos besimokantieji neteisingai klasifikavo ankstesniuose mokymo etapuose, suteikiama daugiau reikšmės. Pakartojus šį procesą norimam treniruočių raundų skaičiui, prognozės sujungiamos naudojant svertinę sumą (regresijos užduotims) ir svertinį balsavimą (klasifikavimo užduotims).

Pakavimo į maišus mokymosi procesas. Nuotrauka: SeattleDataGuy per Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Lygiagretaus ansamblio modelio pavyzdys yra a Atsitiktinis miškas klasifikatorius, o atsitiktiniai miškai taip pat yra maišymo technikos pavyzdys. Terminas „maišymas“ kilęs iš „bootstrap agregation“. Pavyzdžiai paimami iš viso duomenų rinkinio, naudojant atrankos metodą, vadinamą „bootstrap atranka“, kurią naudoja pagrindiniai besimokantys, kad galėtų numatyti. Klasifikavimo užduočių atveju bazinių modelių išėjimai apibendrinami naudojant balsavimą, o regresijos užduotims jie apskaičiuojami kartu. „Random Forests“ kaip pagrindinius mokinius naudoja individualius sprendimų medžius, o kiekvienas ansamblyje esantis medis kuriamas naudojant skirtingą duomenų rinkinio pavyzdį. Medžiui generuoti taip pat naudojamas atsitiktinis funkcijų poaibis. Dėl to susidaro labai atsitiktiniai individualūs sprendimų medžiai, kurie visi sujungiami, kad būtų patikimos prognozės.

Ansamblio krovimo vizualizacija. Nuotrauka: Supun Setunga per Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Kalbant apie sudėtinių ansamblių metodus, daugialypės regresijos arba klasifikavimo modeliai yra derinami per aukštesnio lygio metamodelį. Žemesnio lygio baziniai modeliai treniruojami tiekiant visą duomenų rinkinį. Tada bazinių modelių išėjimai naudojami kaip metamodelio mokymo funkcijos. Krūvamųjų ansamblių modeliai dažnai būna nevienalyčio pobūdžio.