Ce este învățarea prin ansamblu?

Una dintre cele mai puternice tehnici de învățare automată este învățarea prin ansamblu. Set învăţare este utilizarea mai multor modele de învățare automată pentru a îmbunătăți fiabilitatea și acuratețea predicțiilor. Cu toate acestea, cum poate folosi mai multe modele de învățare automată duce la predicții mai precise? Ce fel de tehnici sunt folosite pentru a crea modele de învățare ansamblu? Vom explora răspunsul la aceste întrebări, analizând rațiunea din spatele utilizării modelelor de ansamblu și modalitățile principale de a crea modele de ansamblu.

Ce este învățarea prin ansamblu?

Mai simplu, învățarea prin ansamblu este procesul de antrenare a mai multor modele de învățare automată și de combinare a rezultatelor acestora. Diferitele modele sunt folosite ca bază pentru a crea un model predictiv optim. Combinarea unui set divers de modele individuale de învățare automată poate îmbunătăți stabilitatea modelului general, ceea ce duce la predicții mai precise. Modelele de învățare ansamblu sunt adesea mai fiabile decât modelele individuale și, ca urmare, ele se plasează adesea pe primul loc în multe competiții de învățare automată.

Există diferite tehnici pe care un inginer le poate folosi pentru a crea un model de învățare ansamblu. Tehnicile simple de învățare prin ansamblu includ lucruri precum mediarea rezultatelor diferitelor modele, în timp ce există și metode și algoritmi mai complexe dezvoltați special pentru a combina predicțiile multor cursanți/modele de bază împreună.

De ce să folosiți metode de antrenament de ansamblu?

Modelele de învățare automată pot fi diferite unele de altele dintr-o varietate de motive. Diferite modele de învățare automată pot funcționa pe diferite eșantioane ale datelor populației, pot fi utilizate diferite tehnici de modelare și poate fi utilizată o ipoteză diferită.

Imaginați-vă că jucați un joc trivia cu un grup mare de oameni. Dacă sunteți singur într-o echipă, probabil că există anumite subiecte despre care aveți cunoștințe și multe subiecte pe care nu le cunoașteți. Acum presupuneți că jucați într-o echipă cu alți oameni. La fel ca și tine, ei vor avea unele cunoștințe cu privire la propriile specialități și nu vor avea cunoștințe despre alte subiecte. Cu toate acestea, atunci când cunoștințele tale sunt combinate, ai presupuneri mai precise pentru mai multe domenii, iar numărul de subiecte care nu au cunoștințe echipei tale se reduce. Acesta este același principiu care stă la baza învățării ansamblului, combinând predicțiile diferiților membri ai echipei (modele individuale) pentru a îmbunătăți acuratețea și a minimiza erorile.

Statisticienii au dovedit că atunci când unei mulțimi de oameni i se cere să ghicească răspunsul corect pentru o întrebare dată cu o serie de răspunsuri posibile, toate răspunsurile lor formează o distribuție de probabilitate. Oamenii care cunosc cu adevărat răspunsul corect vor alege răspunsul corect cu încredere, în timp ce cei care aleg răspunsurile greșite își vor distribui ipotezele în gama de posibile răspunsuri incorecte. Revenind la exemplul unui joc trivia, dacă tu și cei doi prieteni ai tăi știi că răspunsul corect este A, toți trei veți vota A, în timp ce celelalte trei persoane din echipa voastră care nu știu răspunsul sunt probabil să voteze incorect. ghiciți B, C, D sau E. Rezultatul este că A are trei voturi, iar celelalte răspunsuri sunt probabil să aibă doar unul sau două voturi maxim.

Toate modelele au o anumită eroare. Erorile pentru un model vor fi diferite de erorile produse de alt model, deoarece modelele în sine sunt diferite din motivele descrise mai sus. Când toate erorile sunt examinate, acestea nu vor fi grupate în jurul unui răspuns sau altul, ci mai degrabă vor fi împrăștiate. Presupunerile incorecte sunt în esență răspândite în toate răspunsurile greșite posibile, anulându-se reciproc. Între timp, presupunerile corecte din diferitele modele vor fi grupate în jurul răspunsului adevărat, corect. Când sunt utilizate metode de antrenament de ansamblu, răspunsul corect poate fi găsit cu o mai mare fiabilitate.

Metode simple de antrenament de ansamblu

Metodele simple de antrenament de ansamblu implică de obicei doar aplicarea tehnica rezumatului statistics, cum ar fi determinarea modului, a mediei sau a mediei ponderate a unui set de predicții.

Modul se referă la elementul care apare cel mai frecvent într-un set de numere. Pentru a obține modul, modelele individuale de învățare își întorc predicțiile și aceste predicții sunt considerate voturi pentru predicția finală. Determinarea mediei predicțiilor se face pur și simplu prin calcularea mediei aritmetice a predicțiilor, rotunjită la cel mai apropiat întreg întreg. În cele din urmă, o medie ponderată poate fi calculată prin atribuirea de ponderi diferite modelelor utilizate pentru a crea predicții, ponderile reprezentând importanța percepută a modelului respectiv. Reprezentarea numerică a predicției de clasă este înmulțită alături de o pondere de la 0 la 1.0, predicțiile ponderate individuale sunt apoi însumate și rezultatul este rotunjit la cel mai apropiat număr întreg.

Metode avansate de antrenament de ansamblu

Există trei tehnici principale de formare avansată a ansamblului, fiecare dintre ele concepută pentru a face față unui tip specific de problemă de învățare automată. Tehnici de „însăcire”. sunt utilizate pentru a scădea varianța predicțiilor unui model, varianța referindu-se la cât de mult diferă rezultatul predicțiilor atunci când se bazează pe aceeași observație. Tehnici de „amplificare”. sunt folosite pentru a combate părtinirea modelelor. In cele din urma, „stivuire” este folosit pentru a îmbunătăți predicțiile în general.

Metodele de învățare prin ansamblu în sine pot fi împărțite în general într-una din două grupuri diferite: metode secvențiale și metode de ansamblu paralel.

Metodele de ansamblu secvenţial primesc denumirea de „secvenţial” deoarece elevii/modelele de bază sunt generate secvenţial. În cazul metodelor secvențiale, ideea esențială este că dependența dintre cursanții de bază este exploatată pentru a obține predicții mai precise. Exemplele etichetate greșit au ponderile ajustate, în timp ce exemplele etichetate corespunzător păstrează aceleași ponderi. De fiecare dată când este generat un nou cursant, ponderile se schimbă și precizia (sperăm) se îmbunătățește.

Spre deosebire de modelele de ansamblu secvenţial, metodele de ansamblu paralel generează cursanţii de bază în paralel. Atunci când se desfășoară învățarea în ansamblu paralel, ideea este de a exploata faptul că cursanții de bază au independență, deoarece rata generală de eroare poate fi redusă prin mediarea predicțiilor cursanților individuali.

Metodele de antrenament de ansamblu pot fi fie de natură omogene, fie eterogenă. Majoritatea metodelor de învățare prin ansamblu sunt omogene, ceea ce înseamnă că folosesc un singur tip de model/algoritm de învățare de bază. În schimb, ansamblurile eterogene folosesc diferiți algoritmi de învățare, diversificând și variind cursanții pentru a se asigura că acuratețea este cât mai mare posibil.

Exemple de algoritmi de învățare ansamblu

Vizualizarea amplificarii ansamblului. Foto: Sirakorn prin Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Exemple de metode de ansamblu secvenţial includ AdaBoost, XGBoost, și Creșterea arborelui de gradient. Toate acestea sunt modele de stimulare. Pentru aceste modele de stimulare, obiectivul este de a transforma cursanții slabi, cu performanțe slabe, în cursanți mai puternici. Modele precum AdaBoost și XGBoost încep cu mulți cursanți slabi care au performanțe puțin mai bune decât ghicitul aleatoriu. Pe măsură ce antrenamentul continuă, ponderile sunt aplicate datelor și ajustate. Instanțele care au fost clasificate incorect de către cursanți în rundele anterioare de antrenament primesc mai multă pondere. După ce acest proces este repetat pentru numărul dorit de runde de antrenament, predicțiile sunt unite fie printr-o sumă ponderată (pentru sarcini de regresie) și printr-un vot ponderat (pentru sarcini de clasificare).

Procesul de învățare a ambalajului. Foto: SeattleDataGuy prin Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Un exemplu de model de ansamblu paralel este a Pădurea întâmplătoare clasificator, iar Random Forests este, de asemenea, un exemplu de tehnică de însacare. Termenul „bagging” provine de la „bootstrap aggregation”. Eșantioanele sunt prelevate din setul total de date folosind o tehnică de eșantionare cunoscută sub numele de „eșantionare bootstrap”, care sunt utilizate de cursanții de bază pentru a face predicții. Pentru sarcinile de clasificare, rezultatele modelelor de bază sunt agregate folosind vot, în timp ce sunt mediate împreună pentru sarcinile de regresie. Random Forests utilizează arbori de decizie individuali ca elevi de bază, iar fiecare arbore din ansamblu este construit folosind un eșantion diferit din setul de date. Un subset aleatoriu de caracteristici este, de asemenea, utilizat pentru a genera arborele. Ducând la arbori de decizie individuale extrem de randomizati, care sunt combinați împreună pentru a oferi predicții fiabile.

Vizualizarea stivuirii ansamblului. Foto: Supun Setunga prin Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

În ceea ce privește tehnicile de stivuire a ansamblului, modelele de regresie sau clasificare multiplă sunt combinate împreună printr-un meta-model de nivel superior. Modelele de bază de nivel inferior se antrenează prin alimentarea întregului set de date. Ieșirile modelelor de bază sunt apoi utilizate ca caracteristici pentru a antrena meta-modelul. Modelele de ansamblu de stivuire sunt adesea eterogene în natură.