Hvad er Ensemble Learning?

En af de mest kraftfulde maskinlæringsteknikker er ensemblelæring. Ensemble læring er brugen af ​​flere maskinlæringsmodeller for at forbedre pålideligheden og nøjagtigheden af ​​forudsigelser. Men hvordan fører brugen af ​​flere maskinlæringsmodeller til mere præcise forudsigelser? Hvilken slags teknikker bruges til at skabe ensemblelæringsmodeller? Vi vil udforske svaret på disse spørgsmål og tage et kig på rationalet bag brugen af ​​ensemblemodeller og de primære måder at skabe ensemblemodeller på.

Hvad er Ensemble Learning?

Enkelt sagt er ensemblelæring processen med at træne flere maskinlæringsmodeller og kombinere deres output sammen. De forskellige modeller bruges som grundlag for at skabe én optimal prædiktiv model. Kombination af et mangfoldigt sæt af individuelle maskinlæringsmodeller kan forbedre stabiliteten af ​​den overordnede model, hvilket fører til mere præcise forudsigelser. Ensemble learning-modeller er ofte mere pålidelige end individuelle modeller, og som følge heraf placerer de sig ofte først i mange maskinlæringskonkurrencer.

Der er forskellige teknikker, en ingeniør kan bruge til at skabe en ensemble-læringsmodel. Simple ensemble læringsteknikker inkluderer ting som at beregne et gennemsnit af output fra forskellige modeller, mens der også er mere komplekse metoder og algoritmer udviklet specielt til at kombinere forudsigelserne fra mange basiselever/modeller sammen.

Hvorfor bruge ensembletræningsmetoder?

Maskinlæringsmodeller kan være forskellige fra hinanden af ​​forskellige årsager. Forskellige maskinlæringsmodeller kan fungere på forskellige stikprøver af populationsdata, forskellige modelleringsteknikker kan bruges, og en anden hypotese kan bruges.

Forestil dig, at du spiller et trivia-spil med en stor gruppe mennesker. Hvis du er på et hold alene, er der helt sikkert nogle emner, du har viden om, og mange emner, du ikke har kendskab til. Antag nu, at du spiller på et hold med andre mennesker. Ligesom dig vil de have en vis viden om deres egne specialer og ingen viden om andre emner. Men når din viden kombineres, har du mere præcise bud på flere felter, og antallet af emner, dit team mangler viden om, bliver mindre. Dette er det samme princip, der ligger til grund for ensemblelæring, der kombinerer forudsigelserne fra forskellige teammedlemmer (individuelle modeller) for at forbedre nøjagtigheden og minimere fejl.

Det har statistikere bevist at når en skare mennesker bliver bedt om at gætte det rigtige svar til et givet spørgsmål med en række mulige svar, danner alle deres svar en sandsynlighedsfordeling. De mennesker, der virkelig kender det rigtige svar, vil vælge det rigtige svar med tillid, mens de mennesker, der vælger de forkerte svar, vil fordele deres gæt på tværs af rækken af ​​mulige forkerte svar. Hvis du går tilbage til eksemplet med et trivia-spil, hvis du og dine to venner ved, at det rigtige svar er A, vil I alle tre stemme A, mens de tre andre personer på dit hold, der ikke kender svaret, sandsynligvis vil være forkert. gæt B, C, D eller E. Resultatet er, at A har tre stemmer, og de andre svar har sandsynligvis kun én eller to stemmer maksimalt.

Alle modeller har en vis mængde fejl. Fejlene for en model vil være forskellige fra fejlene produceret af en anden model, da modellerne i sig selv er forskellige af de ovenfor beskrevne årsager. Når alle fejlene er undersøgt, vil de ikke blive samlet omkring det ene eller det andet svar, snarere vil de blive spredt rundt. De forkerte gæt er i det væsentlige spredt over alle de mulige forkerte svar, og ophæver hinanden. I mellemtiden vil de korrekte gæt fra de forskellige modeller blive samlet omkring det sande, rigtige svar. Når der anvendes ensembletræningsmetoder, det rigtige svar kan findes med større pålidelighed.

Simple ensembletræningsmetoder

Simple ensemble træningsmetoder involverer typisk blot anvendelse af statistisk opsummeringstekniks, såsom at bestemme tilstanden, middelværdien eller det vægtede gennemsnit af et sæt forudsigelser.

Tilstand refererer til det hyppigst forekommende element i et sæt tal. For at få modusen returnerer de individuelle læringsmodeller deres forudsigelser, og disse forudsigelser betragtes som stemmer mod den endelige forudsigelse. Bestemmelse af middelværdien af ​​forudsigelserne sker blot ved at beregne forudsigelsernes aritmetiske middelværdi, afrundet til nærmeste hele heltal. Endelig kan et vægtet gennemsnit beregnes ved at tildele forskellige vægte til de modeller, der bruges til at skabe forudsigelser, hvor vægtene repræsenterer den opfattede betydning af denne model. Den numeriske repræsentation af klasseforudsigelsen ganges sammen med en vægt fra 0 til 1.0, de individuelle vægtede forudsigelser summeres derefter sammen, og resultatet afrundes til nærmeste heltal.

Avancerede ensembletræningsmetoder

Der er tre primære avancerede ensembletræningsteknikker, som hver er designet til at håndtere en bestemt type maskinlæringsproblem. "Bagging" teknikker bruges til at mindske variansen af ​​en models forudsigelser, hvor varians henviser til, hvor meget udfaldet af forudsigelser adskiller sig, når de er baseret på den samme observation. "Boosting" teknikker bruges til at bekæmpe modellernes skævhed. Endelig, "stabling" bruges til at forbedre forudsigelser generelt.

Ensemblelæringsmetoder i sig selv kan generelt opdeles i en af ​​to forskellige grupper: sekventielle metoder og parallelle ensemblemetoder.

Sekventielle ensemblemetoder får navnet "sekventiel", fordi de grundlæggende elever/modeller genereres sekventielt. I tilfælde af sekventielle metoder er den væsentlige idé, at afhængigheden mellem basislærerne udnyttes for at få mere præcise forudsigelser. Forkert mærkede eksempler har deres vægte justeret, mens korrekt mærkede eksempler bevarer de samme vægte. Hver gang en ny elev genereres, ændres vægtene, og nøjagtigheden (forhåbentlig) forbedres.

I modsætning til sekventielle ensemblemodeller genererer parallelle ensemblemetoder basislærerne parallelt. Når man udfører parallel ensemblelæring, er tanken at udnytte det faktum, at basiseleverne har uafhængighed, da den generelle fejlrate kan reduceres ved at tage et gennemsnit af de enkelte elevers forudsigelser.

Ensembletræningsmetoder kan enten være homogene eller heterogene. De fleste ensemblelæringsmetoder er homogene, hvilket betyder, at de bruger en enkelt type basislæringsmodel/algoritme. I modsætning hertil gør heterogene ensembler brug af forskellige læringsalgoritmer, diversificerer og varierer eleverne for at sikre, at nøjagtigheden er så høj som muligt.

Eksempler på Ensemble Learning Algoritmer

Visualisering af ensemble boosting. Foto: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Eksempler på sekventielle ensemblemetoder omfatter AdaBoost, XGBoostog Gradient træ boosting. Disse er alle boostende modeller. For disse boostningsmodeller er målet at omdanne de svage, underpræsterende elever til mere magtfulde elever. Modeller som AdaBoost og XGBoost starter med mange svage elever, der præsterer lidt bedre end tilfældigt gætte. Efterhånden som træningen fortsætter, påføres vægte på dataene og justeres. Forekomster, der blev klassificeret forkert af eleverne i tidligere træningsrunder, tillægges mere vægt. Efter at denne proces er gentaget for det ønskede antal træningsrunder, slås forudsigelserne sammen gennem enten en vægtet sum (for regressionsopgaver) og en vægtet afstemning (for klassifikationsopgaver).

Indlæringsprocessen i sække. Foto: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Et eksempel på en parallel ensemblemodel er en Tilfældig Skov klassificerer, og Random Forests er også et eksempel på en poseteknik. Udtrykket "bagging" kommer fra "bootstrap aggregation". Prøver tages fra det samlede datasæt ved hjælp af en prøvetagningsteknik kendt som "bootstrap sampling", som bruges af basiseleverne til at lave forudsigelser. For klassifikationsopgaver aggregeres basismodellernes output ved hjælp af afstemning, mens de er gennemsnittet sammen for regressionsopgaver. Random Forests bruger individuelle beslutningstræer som deres basislærere, og hvert træ i ensemblet er bygget ved hjælp af en anden prøve fra datasættet. En tilfældig delmængde af funktioner bruges også til at generere træet. Fører til stærkt randomiserede individuelle beslutningstræer, som alle er kombineret for at give pålidelige forudsigelser.

Visualisering af ensemblestabling. Foto: Supun Setunga via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Med hensyn til stacking ensemble-teknikker kombineres multiple regressions- eller klassifikationsmodeller sammen gennem et højere niveau, meta-model. Grundmodellerne på det lavere niveau trænes ved at blive fodret med hele datasættet. Udgangene fra basismodellerne bruges derefter som funktioner til at træne metamodellen. Stable-ensemblemodeller er ofte heterogene i naturen.