Çfarë është Ansamble Learning?

Një nga teknikat më të fuqishme të mësimit të makinerive është mësimi i ansamblit. Ansambël mësim është përdorimi i modeleve të shumta të mësimit të makinerive për të përmirësuar besueshmërinë dhe saktësinë e parashikimeve. Megjithatë, si çon përdorimi i modeleve të shumta të mësimit të makinerive në parashikime më të sakta? Çfarë lloj teknikash përdoren për të krijuar modele të mësimit të ansamblit? Ne do të shqyrtojmë përgjigjen e këtyre pyetjeve, duke hedhur një vështrim në arsyetimin pas përdorimit të modeleve të ansambleve dhe mënyrat kryesore të krijimit të modeleve të ansamblit.

Çfarë është të mësuarit në ansambël?

E thënë thjesht, mësimi i ansamblit është procesi i trajnimit të modeleve të shumta të mësimit të makinerive dhe i kombinimit të rezultateve të tyre së bashku. Modelet e ndryshme përdoren si bazë për të krijuar një model parashikues optimal. Kombinimi i një grupi të ndryshëm modelesh individuale të mësimit të makinerive mund të përmirësojë stabilitetin e modelit të përgjithshëm, duke çuar në parashikime më të sakta. Modelet e mësimit të ansamblit janë shpesh më të besueshëm se modelet individuale dhe si rezultat, ato shpesh vendosen të parët në shumë konkurse të mësimit të makinerive.

Ekzistojnë teknika të ndryshme që një inxhinier mund të përdorë për të krijuar një model mësimi të ansamblit. Teknikat e thjeshta të të mësuarit të grupit përfshijnë gjëra të tilla si mesatarja e rezultateve të modeleve të ndryshme, ndërkohë që ka edhe metoda dhe algoritme më komplekse të zhvilluara posaçërisht për të kombinuar së bashku parashikimet e shumë nxënësve/modeleve bazë.

Pse të përdorni metodat e trajnimit të ansamblit?

Modelet e mësimit të makinerive mund të jenë të ndryshme nga njëri-tjetri për një sërë arsyesh. Modele të ndryshme të mësimit të makinerive mund të funksionojnë në mostra të ndryshme të të dhënave të popullsisë, mund të përdoren teknika të ndryshme modelimi dhe mund të përdoren një hipotezë të ndryshme.

Imagjinoni që po luani një lojë trivia me një grup të madh njerëzish. Nëse jeni vetëm në një ekip, me siguri do të ketë disa tema për të cilat keni njohuri dhe shumë tema për të cilat nuk keni njohuri. Tani supozoni se jeni duke luajtur në një ekip me njerëz të tjerë. Ashtu si ju, ata do të kenë disa njohuri në lidhje me specialitetet e tyre dhe nuk do të kenë njohuri për tema të tjera. Megjithatë, kur njohuritë tuaja kombinohen, ju keni supozime më të sakta për më shumë fusha dhe numri i temave për të cilat ekipit tuaj i mungojnë njohuritë zvogëlohet. Ky është i njëjti parim që qëndron në themel të mësimit të ansamblit, duke kombinuar parashikimet e anëtarëve të ndryshëm të ekipit (modele individuale) për të përmirësuar saktësinë dhe për të minimizuar gabimet.

Statisticienët e kanë vërtetuar që kur një turme njerëzish i kërkohet të hamendësojë përgjigjen e duhur për një pyetje të caktuar me një sërë përgjigjesh të mundshme, të gjitha përgjigjet e tyre formojnë një shpërndarje probabiliteti. Njerëzit që e dinë me të vërtetë përgjigjen e saktë do të zgjedhin përgjigjen e duhur me besim, ndërsa njerëzit që zgjedhin përgjigjet e gabuara do të shpërndajnë supozimet e tyre në gamën e përgjigjeve të mundshme të pasakta. Duke iu rikthyer shembullit të një loje të vogël, nëse ju dhe dy miqtë tuaj e dini se përgjigja e duhur është A, të tre do të votoni A, ndërsa tre personat e tjerë në ekipin tuaj që nuk e dinë përgjigjen ka të ngjarë të votojnë gabimisht. hamendësoni B, C, D ose E. Rezultati është se A ka tre vota dhe përgjigjet e tjera ka të ngjarë të kenë vetëm një ose dy vota maksimale.

Të gjitha modelet kanë disa gabime. Gabimet për një model do të jenë të ndryshme nga gabimet e prodhuara nga një model tjetër, pasi vetë modelet janë të ndryshme për arsyet e përshkruara më sipër. Kur të shqyrtohen të gjitha gabimet, ato nuk do të grumbullohen rreth njërës përgjigje ose një tjetër, përkundrazi do të shpërndahen përreth. Supozimet e pasakta janë përhapur në thelb në të gjitha përgjigjet e mundshme të gabuara, duke anuluar njëra-tjetrën. Ndërkohë, supozimet e sakta nga modelet e ndryshme do të grumbullohen rreth përgjigjes së vërtetë dhe të saktë. Kur përdoren metodat e trajnimit të ansamblit, përgjigja e saktë mund të gjendet me besueshmëri më të madhe.

Metodat e thjeshta të trajnimit të ansamblit

Metodat e thjeshta të trajnimit të ansamblit zakonisht përfshijnë vetëm aplikimin e teknikë përmbledhëse statistikores, të tilla si përcaktimi i mënyrës, mesatares ose mesatares së ponderuar të një grupi parashikimesh.

Modaliteti i referohet elementit që ndodh më shpesh brenda një grupi numrash. Për të marrë modalitetin, modelet individuale të të mësuarit kthejnë parashikimet e tyre dhe këto parashikime konsiderohen si vota drejt parashikimit përfundimtar. Përcaktimi i mesatares së parashikimeve bëhet thjesht duke llogaritur mesataren aritmetike të parashikimeve, të rrumbullakosura në numrin e plotë më të afërt. Së fundi, një mesatare e ponderuar mund të llogaritet duke caktuar pesha të ndryshme për modelet e përdorura për të krijuar parashikime, me peshat që përfaqësojnë rëndësinë e perceptuar të atij modeli. Paraqitja numerike e parashikimit të klasës shumëzohet së bashku me një peshë nga 0 në 1.0, parashikimet e ponderuara individuale mblidhen së bashku dhe rezultati rrumbullakoset në numrin e plotë më të afërt.

Metodat e avancuara të trajnimit të ansamblit

Ekzistojnë tre teknika kryesore të avancuara të trajnimit të ansamblit, secila prej të cilave është krijuar për t'u marrë me një lloj specifik problemi të mësimit të makinerive. Teknikat e "bërjes së qeseve". përdoren për të ulur variancën e parashikimeve të një modeli, me variancë që i referohet se sa ndryshon rezultati i parashikimeve kur bazohet në të njëjtin vëzhgim. Teknikat "përforcuese". përdoren për të luftuar paragjykimet e modeleve. Së fundi, "grumbullim" përdoret për të përmirësuar parashikimet në përgjithësi.

Vetë metodat e mësimit të ansamblit në përgjithësi mund të ndahen në një nga dy grupet e ndryshme: metodat sekuenciale dhe metodat paralele të grupit.

Metodat sekuenciale të grupit marrin emrin "sekuenciale" sepse nxënësit/modelet bazë gjenerohen në mënyrë sekuenciale. Në rastin e metodave sekuenciale, ideja thelbësore është që varësia midis nxënësve bazë të shfrytëzohet për të marrë parashikime më të sakta. Shembujt e etiketuar gabimisht kanë peshën e tyre të rregulluar ndërsa shembujt e etiketuar siç duhet mbajnë të njëjtat pesha. Sa herë që krijohet një nxënës i ri, peshat ndryshojnë dhe saktësia (shpresojmë) përmirësohet.

Në kontrast me modelet e ansamblit sekuencialë, metodat e ansamblit paralel gjenerojnë paralelisht nxënësit bazë. Gjatë kryerjes së mësimit paralel të ansamblit, ideja është të shfrytëzohet fakti që nxënësit bazë kanë pavarësi, pasi shkalla e përgjithshme e gabimit mund të reduktohet duke mesatarizuar parashikimet e nxënësve individualë.

Metodat e trajnimit të ansamblit mund të jenë ose homogjene ose heterogjene në natyrë. Shumica e metodave të mësimit të grupit janë homogjene, që do të thotë se ato përdorin një lloj të vetëm modeli/algoritmi të të mësuarit bazë. Në të kundërt, ansamblet heterogjene përdorin algoritme të ndryshme mësimore, duke diversifikuar dhe ndryshuar nxënësit për të siguruar që saktësia të jetë sa më e lartë.

Shembuj të algoritmeve të mësimit të ansamblit

Vizualizimi i rritjes së ansamblit. Foto: Sirakorn nëpërmjet Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Shembuj të metodave sekuenciale të ansamblit përfshijnë AdaBoost, XGBoostdhe Rritja e pemës së gradientit. Të gjitha këto janë modele nxitëse. Për këto modele nxitëse, qëllimi është shndërrimi i nxënësve të dobët dhe me performancë të dobët në nxënës më të fuqishëm. Modele si AdaBoost dhe XGBoost fillojnë me shumë nxënës të dobët që performojnë pak më mirë sesa hamendja e rastësishme. Ndërsa trajnimi vazhdon, peshat aplikohen në të dhëna dhe rregullohen. Rasteve që janë klasifikuar gabimisht nga nxënësit në raundet e mëparshme të trajnimit u jepet më shumë peshë. Pasi ky proces të përsëritet për numrin e dëshiruar të raundeve të trajnimit, parashikimet bashkohen së bashku ose nëpërmjet një shume të ponderuar (për detyrat e regresionit) dhe një vote të ponderuar (për detyrat e klasifikimit).

Procesi i të mësuarit në thes. Foto: SeattleDataGuy nëpërmjet Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Një shembull i një modeli të ansamblit paralel është a Pylli i rastësishëm klasifikues, dhe Pyjet e rastësishme janë gjithashtu një shembull i teknikës së bagazhit. Termi "bagging" vjen nga "bootstrap agregation". Kampionët janë marrë nga grupi i të dhënave totale duke përdorur një teknikë kampionimi të njohur si "kampionimi bootstrap", të cilat përdoren nga nxënësit bazë për të bërë parashikime. Për detyrat e klasifikimit, rezultatet e modeleve bazë grumbullohen duke përdorur votim, ndërsa ato mesatarizohen së bashku për detyrat e regresionit. Pyjet e rastësishme përdorin pemë individuale të vendimeve si nxënësit e tyre bazë, dhe secila pemë në ansambël është ndërtuar duke përdorur një mostër të ndryshme nga grupi i të dhënave. Një nëngrup i rastësishëm i veçorive përdoret gjithashtu për të gjeneruar pemën. Duke çuar në pemë vendimesh individuale shumë të rastësishme, të cilat kombinohen të gjitha së bashku për të ofruar parashikime të besueshme.

Vizualizimi i grumbullimit të ansamblit. Foto: Supun Setunga nëpërmjet Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Për sa i përket teknikave të ansamblit të grumbullimit, modelet e shumëfishta të regresionit ose klasifikimit kombinohen së bashku përmes një niveli më të lartë, meta-model. Niveli më i ulët, modelet bazë po trajnohen duke u ushqyer me të gjithë grupin e të dhënave. Rezultatet e modeleve bazë përdoren më pas si veçori për të trajnuar meta-modelin. Modelet e ansambleve të grumbullimit janë shpesh natyra heterogjene.