Kas ir ansambļa mācīšanās?

Viena no jaudīgākajām mašīnmācīšanās metodēm ir ansambļa mācīšanās. Kopā mācīšanās ir vairāku mašīnmācīšanās modeļu izmantošana, lai uzlabotu prognožu uzticamību un precizitāti. Tomēr kā vairāku mašīnmācīšanās modeļu izmantošana nodrošina precīzākas prognozes? Kādas metodes tiek izmantotas, lai izveidotu ansambļa mācību modeļus? Mēs izpētīsim atbildes uz šiem jautājumiem, apskatot ansambļu modeļu izmantošanas pamatojumu un galvenos ansambļu modeļu izveides veidus.

Kas ir ansambļa mācīšanās?

Vienkārši sakot, ansambļa mācīšanās ir vairāku mašīnmācīšanās modeļu apmācības process un to rezultātu apvienošana. Dažādi modeļi tiek izmantoti kā bāze, lai izveidotu vienu optimālu prognozēšanas modeli. Apvienojot dažādus atsevišķu mašīnmācīšanās modeļu komplektus, var uzlabot kopējā modeļa stabilitāti, tādējādi nodrošinot precīzākas prognozes. Ansambļa mācīšanās modeļi bieži ir uzticamāki nekā atsevišķi modeļi, un tāpēc tie bieži ieņem pirmo vietu daudzās mašīnmācīšanās sacensībās.

Ir dažādas metodes, ko inženieris var izmantot, lai izveidotu ansambļa mācību modeli. Vienkāršās ansambļa mācīšanās metodes ietver tādas lietas kā dažādu modeļu rezultātu vidējā noteikšana, bet ir arī sarežģītākas metodes un algoritmi, kas īpaši izstrādāti, lai apvienotu daudzu bāzes apmācāmo/modeļu prognozes.

Kāpēc izmantot ansambļa apmācības metodes?

Mašīnmācīšanās modeļi var atšķirties viens no otra dažādu iemeslu dēļ. Dažādi mašīnmācīšanās modeļi var darboties ar dažādiem populācijas datu paraugiem, var izmantot dažādas modelēšanas metodes un var izmantot citu hipotēzi.

Iedomājieties, ka spēlējat nieku spēli ar lielu cilvēku grupu. Ja esat komandā viens, noteikti ir dažas tēmas, par kurām jums ir zināšanas, un daudzas tēmas, par kurām jūs nezināt. Tagad pieņemsim, ka spēlējat komandā ar citiem cilvēkiem. Tāpat kā jūs, viņiem būs zināmas zināšanas par savām specialitātēm, bet ne par citām tēmām. Tomēr, ja jūsu zināšanas ir apvienotas, jums ir precīzāki minējumi vairākām jomām, un samazinās to tēmu skaits, par kurām jūsu komandai trūkst zināšanu. Šis ir tas pats princips, kas ir ansambļa mācīšanās pamatā, apvienojot dažādu komandas locekļu prognozes (individuālos modeļus), lai uzlabotu precizitāti un samazinātu kļūdas.

Statistiķi ir pierādījuši ka, kad cilvēku pūlim tiek lūgts uzminēt pareizo atbildi uz doto jautājumu ar iespējamo atbilžu klāstu, visas viņu atbildes veido varbūtības sadalījumu. Cilvēki, kuri patiešām zina pareizo atbildi, ar pārliecību izvēlēsies pareizo atbildi, savukārt cilvēki, kuri izvēlēsies nepareizās atbildes, izplatīs savus minējumus iespējamo nepareizo atbilžu diapazonā. Atgriežoties pie nieku spēles piemēra, ja jūs un jūsu draugi zināt, ka pareizā atbilde ir A, jūs visi trīs balsosiet par A, savukārt trīs citi jūsu komandas cilvēki, kuri nezina atbildi, visticamāk, balsos nepareizi. uzmini B, C, D vai E. Rezultātā A ir trīs balsis, bet pārējām atbildēm, visticamāk, būs tikai viena vai divas balsis.

Visiem modeļiem ir zināma kļūda. Viena modeļa kļūdas atšķirsies no cita modeļa kļūdām, jo ​​paši modeļi atšķiras iepriekš aprakstīto iemeslu dēļ. Pārbaudot visas kļūdas, tās netiks grupētas ap vienu vai otru atbildi, drīzāk tās tiks izkaisītas. Nepareizie minējumi būtībā tiek sadalīti pa visām iespējamām nepareizajām atbildēm, viens otru atceļot. Tikmēr pareizie minējumi no dažādiem modeļiem tiks apkopoti ap patieso, pareizo atbildi. Ja tiek izmantotas ansambļa apmācības metodes, pareizo atbildi var atrast ar lielāku ticamību.

Vienkāršas ansambļa apmācības metodes

Vienkāršas ansambļa apmācības metodes parasti ietver tikai to pielietošanu statistikas apkopojuma paņēmienss, piemēram, nosakot prognožu kopas režīmu, vidējo vai vidējo svērto vērtību.

Režīms attiecas uz visbiežāk sastopamo elementu skaitļu kopā. Lai iegūtu režīmu, atsevišķie mācību modeļi atgriež savas prognozes, un šīs prognozes tiek uzskatītas par balsīm par galīgo prognozi. Prognožu vidējās vērtības noteikšana tiek veikta, vienkārši aprēķinot prognožu vidējo aritmētisko, kas noapaļota līdz tuvākajam veselam skaitlim. Visbeidzot, vidējo svērto vērtību var aprēķināt, piešķirot dažādus svērumus modeļiem, ko izmanto prognožu veidošanai, un svērumi atspoguļo šī modeļa uztverto nozīmi. Klases prognozes skaitliskais attēlojums tiek reizināts ar svaru no 0 līdz 1.0, pēc tam atsevišķās svērtās prognozes tiek summētas un rezultāts tiek noapaļots līdz tuvākajam veselam skaitlim.

Uzlabotas ansambļu apmācības metodes

Ir trīs primārās uzlabotās ansambļa apmācības metodes, no kurām katra ir paredzēta, lai risinātu noteikta veida mašīnmācīšanās problēmu. “Iepakošanas” tehnikas tiek izmantoti, lai samazinātu modeļa prognožu dispersiju, ar dispersiju apzīmējot to, cik daudz prognožu rezultāti atšķiras, pamatojoties uz to pašu novērojumu. “Stimulēšanas” paņēmieni tiek izmantoti, lai cīnītos pret modeļu neobjektivitāti. Visbeidzot, “kraušana” tiek izmantots, lai kopumā uzlabotu prognozes.

Pašas ansambļa mācību metodes parasti var iedalīt vienā no divām dažādām grupām: secīgās metodes un paralēlās ansambļa metodes.

Secīgās ansambļa metodes iegūst nosaukumu “secīgas”, jo bāzes apmācāmie/modeļi tiek ģenerēti secīgi. Secīgo metožu gadījumā galvenā ideja ir tāda, ka tiek izmantota atkarība starp bāzes apmācāmajiem, lai iegūtu precīzākas prognozes. Nepareizi marķētu piemēru svars tiek pielāgots, savukārt pareizi marķētiem piemēriem tiek saglabāts tāds pats svars. Katru reizi, kad tiek ģenerēts jauns apmācāmais, svari mainās un precizitāte (cerams) uzlabojas.

Atšķirībā no secīgiem ansambļu modeļiem, paralēlās ansambļa metodes paralēli ģenerē bāzes apmācāmos. Veicot paralēlo ansambļa mācīšanos, ideja ir izmantot faktu, ka pamata izglītojamajiem ir neatkarība, jo vispārējo kļūdu īpatsvaru var samazināt, aprēķinot atsevišķo apmācāmo prognozes.

Ansambļa apmācības metodes pēc būtības var būt vai nu viendabīgas, vai neviendabīgas. Lielākā daļa ansambļa mācību metožu ir viendabīgas, kas nozīmē, ka tās izmanto viena veida bāzes mācīšanās modeli/algoritmu. Turpretim neviendabīgi ansambļi izmanto dažādus mācīšanās algoritmus, dažādojot un mainot audzēkņus, lai nodrošinātu pēc iespējas augstāku precizitāti.

Ansambļa mācīšanās algoritmu piemēri

Ansambļa stiprināšanas vizualizācija. Foto: Sirakorn, izmantojot Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Secīgo ansambļu metožu piemēri ietver AdaBoost, XGBoost, un Gradienta koka pastiprināšana. Tie visi ir paaugstināšanas modeļi. Šiem paaugstinošiem modeļiem mērķis ir pārvērst vājos, nesekmīgos audzēkņus par spēcīgākiem studentiem. Tādi modeļi kā AdaBoost un XGBoost sākas ar daudziem vājiem audzēkņiem, kas darbojas tikai nedaudz labāk nekā nejauši uzminēti. Treniņam turpinoties, datiem tiek piemēroti un koriģēti svari. Gadījumiem, kurus apmācāmie bija nepareizi klasificējuši iepriekšējās apmācības kārtās, tiek piešķirta lielāka nozīme. Pēc tam, kad šis process tiek atkārtots vēlamajam apmācības kārtu skaitam, prognozes tiek apvienotas, izmantojot svērto summu (regresijas uzdevumiem) un svērto balsojumu (klasificēšanas uzdevumiem).

Maisošanas mācību process. Foto: SeattleDataGuy, izmantojot Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Paralēlā ansambļa modeļa piemērs ir a Nejaušais mežs klasifikators, un Random Forests ir arī iepakošanas tehnikas piemērs. Termins “iepakošana maisos” nāk no “bootstrap aggregation”. Paraugi tiek ņemti no kopējās datu kopas, izmantojot paraugu ņemšanas paņēmienu, kas pazīstams kā “sāknēšanas iztveršana”, ko bāzes apmācāmie izmanto, lai veiktu prognozes. Klasifikācijas uzdevumiem bāzes modeļu rezultāti tiek apkopoti, izmantojot balsošanu, savukārt regresijas uzdevumiem tie tiek aprēķināti kopā. Random Forests kā pamata apmācāmo izmanto atsevišķus lēmumu kokus, un katrs ansambļa koks tiek veidots, izmantojot atšķirīgu paraugu no datu kopas. Koka ģenerēšanai tiek izmantota arī nejauša funkciju apakškopa. Tas noved pie ļoti randomizētiem individuālu lēmumu kokiem, kas visi tiek apvienoti, lai nodrošinātu ticamas prognozes.

Ansambļa kraušanas vizualizācija. Foto: Supun Setunga, izmantojot Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Attiecībā uz grupēšanas ansambļa paņēmieniem vairāki regresijas vai klasifikācijas modeļi tiek apvienoti, izmantojot augstāka līmeņa metamodeli. Zemākā līmeņa bāzes modeļi tiek apmācīti, ievadot visu datu kopu. Pēc tam bāzes modeļu izvadi tiek izmantoti kā līdzekļi metamodeļa apmācīšanai. Saliekamo ansambļu modeļi pēc būtības bieži ir neviendabīgi.