Hvad er Ensemble Learning?

En af de mest kraftfulde maskinlærings-teknikker er ensemble learning. Ensemble learning er brugen af multiple maskinlæringsmodeller til at forbedre pålideligheden og nøjagtigheden af forudsigelser. Men hvordan fører brugen af multiple maskinlæringsmodeller til mere nøjagtige forudsigelser? Hvad slags teknikker bruges til at oprette ensemble learning-modeller? Vi vil udforske svaret på disse spørgsmål, og se på rationalet bag brugen af ensemble-modeller og de primære måder at oprette ensemble-modeller på.

Hvad er Ensemble Learning?

I simple termer er ensemble learning processen med at træne multiple maskinlæringsmodeller og kombinere deres outputs sammen. De forskellige modeller bruges som en base til at oprette en optimal forudsigelsesmodel. At kombinere en divers samling af individuelle maskinlæringsmodeller kan forbedre stabiliteten af den samlede model, og føre til mere nøjagtige forudsigelser. Ensemble learning-modeller er ofte mere pålidelige end individuelle modeller, og som resultat af dette, kommer de ofte på førstepladsen i mange maskinlæringskonkurrencer.

Der er forskellige teknikker, som en ingeniør kan bruge til at oprette en ensemble learning-model. Simple ensemble learning-teknikker inkluderer ting som at gennemsnitte outputs af forskellige modeller, mens der også er mere komplekse metoder og algoritmer, der er udviklet specifikt til at kombinere forudsigelserne fra mange base-læringsmodeller sammen.

Hvorfor bruge Ensemble Træningsmetoder?

Maskinlæringsmodeller kan være forskellige fra hinanden af en række årsager. Forskellige maskinlæringsmodeller kan operere på forskellige samples af populationens data, forskellige modelleringsteknikker kan bruges, og en anden hypotese kan bruges.

Forestil dig, at du spiller en trivia-spil med en stor gruppe mennesker. Hvis du er alene på et hold, er der sikker på, at der er nogle emner, du har viden om, og mange emner, du ikke har viden om. Nu antag, at du spiller på et hold med andre mennesker. Ligesom dig, har de nogen viden om deres egne specialområder og ingen viden om andre emner. Men når jeres viden kombineres, har I mere nøjagtige gæt for flere fagområder, og antallet af emner, jeres hold mangler viden om, mindskes. Dette er det samme princip, der ligger til grund for ensemble learning, hvor forudsigelserne fra forskellige teammedlemmer (individuelle modeller) kombineres for at forbedre nøjagtigheden og minimere fejl.

Statistikere har bevist, at når en gruppe mennesker bedes om at gætte det rigtige svar på et givent spørgsmål med en række mulige svar, danner deres svar en sandsynlighedsfordeling. Menneskene, der virkelig kender det rigtige svar, vil vælge det rigtige svar med sikkerhed, mens menneskene, der vælger de forkerte svar, vil fordele deres gæt over den mulige forkerte svar. Gå tilbage til eksemplet med et trivia-spil, hvis du og dine to venner ved, det rigtige svar er A, vil alle tre vælge A, mens de tre andre mennesker på dit hold, der ikke kender svaret, sandsynligvis vil gætte forkert B, C, D eller E. Resultatet er, at A har tre stemmer, og de andre svar sandsynligvis kun har en eller to stemmer maksimum.

Alle modeller har en vis fejl. Fejlene for en model vil være forskellige fra fejlene, der produceres af en anden model, da modellerne selv er forskellige af de årsager, der er beskrevet ovenfor. Når alle fejlene undersøges, vil de ikke være samlet omkring et svar eller et andet, men de vil være spredt ud over alle mulige forkerte svar, og ophæve hinanden. Imens vil de korrekte gæt fra de forskellige modeller være samlet omkring det rigtige, korrekte svar. Når ensemble træningsmetoder bruges, kan det rigtige svar findes med større pålidelighed.

Simple Ensemble Træningsmetoder

Simple ensemble træningsmetoder involverer typisk kun anvendelsen af statistiske summerings-teknikker, såsom bestemmelse af modus, gennemsnit eller vægtet gennemsnit af en samling af forudsigelser.

Modus refererer til det mest hyppigt forekommende element inden for en samling af tal. For at få modus returnerer de individuelle læringsmodeller deres forudsigelser, og disse forudsigelser betragtes som stemmer til den endelige forudsigelse. At bestemme gennemsnittet af forudsigelserne gøres simpelt ved at beregne det aritmetiske gennemsnit af forudsigelserne, afrundet til det nærmeste hele tal. Endelig kan en vægtet gennemsnit beregnes ved at tildele forskellige vægte til modellerne, der bruges til at oprette forudsigelser, hvor vægtene repræsenterer den opfattede vigtighed af den pågældende model. Den numeriske repræsentation af klassifikationsforudsigelsen multipliseres sammen med en vægt fra 0 til 1,0, og de enkelte vægtede forudsigelser summeres herefter, og resultatet afrundes til det nærmeste heltal.

Avancerede Ensemble Træningsmetoder

Der er tre primære avancerede ensemble træningsteknikker, hver af dem er designet til at tackle en specifik type maskinlæringsproblem. “Bagging”-teknikker bruges til at reducere variansen af en models forudsigelser, hvor varians refererer til, hvor meget udfaldet af forudsigelserne afviger, når de er baseret på samme observation. “Boosting”-teknikker bruges til at bekæmpe bias af modeller. Endelig “stacking” bruges til at forbedre forudsigelser generelt.

Ensemble læringsmetoder kan generelt deles ind i to forskellige grupper: sekventielle metoder og parallele ensemble metoder.

Sekventielle ensemble metoder får navnet “sekventielle”, fordi de grundlæggende læringsmodeller genereres sekventielt. I tilfælde af sekventielle metoder er den væsentlige idé, at afhængigheden mellem de grundlæggende læringsmodeller udnyttes for at få mere nøjagtige forudsigelser. Forkert klassificerede eksempler får deres vægte justeret, mens korrekt klassificerede eksempler beholder de samme vægte. Hver gang en ny lærer genereres, ændres vægtene, og nøjagtigheden (håber) forbedres.

I modsætning til sekventielle ensemble-modeller genererer de parallele ensemble-modeller de grundlæggende læringsmodeller parallelt. Når parallelt ensemble-læring udføres, er idéen at udnytte, at de grundlæggende læringsmodeller er uafhængige, da den generelle fejlrate kan reduceres ved at gennemsnitte forudsigelserne fra de enkelte læringsmodeller.

Ensemble træningsmetoder kan enten være homogene eller heterogene i natur. De fleste ensemble læringsmetoder er homogene, hvilket betyder, at de bruger en enkelt type grundlæggende læringsmodel/algoritme. I modsætning hertil bruger heterogene ensembler forskellige læringsalgoritmer, diversificerer og varierer læringsmodellerne for at sikre, at nøjagtigheden er så høj som muligt.

Eksempler på Ensemble Learning Algoritmer

Visualisering af ensemble boosting. Foto: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Eksempler på sekventielle ensemble metoder inkluderer AdaBoost, XGBoost og Gradient tree boosting. Disse er alle boosting-modeller. For disse boosting-modeller er målet at omdanne de svage, underpræsterende læringsmodeller til mere kraftfulde læringsmodeller. Modeller som AdaBoost og XGBoost starter med mange svage læringsmodeller, der kun præsterer lidt bedre end tilfældigt gæt. Efterhånden som træningen fortsætter, tildeles vægte til data og justeres. Eksempler, der blev forkert klassificeret af læringsmodellerne i tidligere træningsrunder, får mere vægt. Efter denne proces er gentaget for det ønskede antal træningsrunder, kombineres forudsigelserne sammen gennem enten en vægtet sum (for regression-opgaver) og en vægtet stemme (for klassifikationsopgaver).

Bagging-læringsprocessen. Foto: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Et eksempel på en parallel ensemble-model er en Random Forest-klassifikator, og Random Forests er også et eksempel på en bagging-teknik. Begrebet “bagging” kommer fra “bootstrap-aggregation”. Samples tages fra det samlede dataset ved hjælp af en sampling-teknik kaldet “bootstrap-sampling”, som bruges af de grundlæggende læringsmodeller til at oprette forudsigelser. For klassifikationsopgaver kombineres outputs af de grundlæggende modeller ved hjælp af stemmer, mens de gennemsnittes sammen for regression-opgaver. Random Forests bruger individuelle beslutningstræer som deres grundlæggende læringsmodeller, og hvert træ i ensemblet oprettes ved hjælp af et andet sample fra datasettet. En tilfældig undermængde af funktioner bruges også til at generere træet. Dette resulterer i højt tilfældige individuelle beslutningstræer, som kombineres for at give pålidelige forudsigelser.

Visualisering af ensemble-stacking. Foto: Supun Setunga via Wikimedia Commons, CC BY S.A 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Med hensyn til stacking ensemble-teknikker kombineres multiple regression eller klassifikationsmodeller sammen gennem en højere niveau, meta-model. De lavere niveau, grundlæggende modeller trænes ved at blive fodret med det samlede dataset. Outputs af de grundlæggende modeller bruges herefter som funktioner til at træne meta-modellen. Stacking ensemble-modeller er ofte heterogene i natur.