Hva er Ensemble Learning?

En av de kraftigste maskinlæringsteknikkene er ensemblelæring. Ensemble læring er bruken av flere maskinlæringsmodeller for å forbedre påliteligheten og nøyaktigheten til spådommer. Men hvordan fører bruken av flere maskinlæringsmodeller til mer nøyaktige spådommer? Hva slags teknikker brukes for å lage ensemblelæringsmodeller? Vi skal utforske svaret på disse spørsmålene, og ta en titt på begrunnelsen bak bruk av ensemblemodeller og de viktigste måtene å lage ensemblemodeller på.

Hva er ensemblelæring?

Enkelt sagt er ensemblelæring prosessen med å trene flere maskinlæringsmodeller og kombinere resultatene deres. De ulike modellene brukes som grunnlag for å lage én optimal prediktiv modell. Å kombinere et mangfoldig sett med individuelle maskinlæringsmodeller kan forbedre stabiliteten til den overordnede modellen, noe som fører til mer nøyaktige spådommer. Ensemblelæringsmodeller er ofte mer pålitelige enn individuelle modeller, og som et resultat plasserer de ofte først i mange maskinlæringskonkurranser.

Det er forskjellige teknikker en ingeniør kan bruke for å lage en ensemblelæringsmodell. Enkle ensemblelæringsteknikker inkluderer ting som å beregne gjennomsnittet av resultatene fra forskjellige modeller, mens det også er mer komplekse metoder og algoritmer utviklet spesielt for å kombinere spådommene til mange basiselever/modeller sammen.

Hvorfor bruke ensembletreningsmetoder?

Maskinlæringsmodeller kan være forskjellige fra hverandre av en rekke årsaker. Ulike maskinlæringsmodeller kan operere på forskjellige utvalg av populasjonsdata, forskjellige modelleringsteknikker kan brukes, og en annen hypotese kan brukes.

Tenk deg at du spiller et trivia-spill med en stor gruppe mennesker. Hvis du er på et lag for deg selv, er det garantert noen emner du har kunnskap om og mange emner du ikke har kunnskap om. Anta nå at du spiller på et lag med andre mennesker. Akkurat som deg vil de ha litt kunnskap om sine egne spesialiteter og ingen kunnskap om andre emner. Men når kunnskapen din kombineres, har du mer nøyaktige gjetninger for flere felt, og antallet emner teamet ditt mangler kunnskap om krymper. Dette er det samme prinsippet som ligger til grunn for ensemblelæring, og kombinerer spådommene til forskjellige teammedlemmer (individuelle modeller) for å forbedre nøyaktigheten og minimere feil.

Statistikere har bevist at når en mengde mennesker blir bedt om å gjette riktig svar for et gitt spørsmål med en rekke mulige svar, danner alle svarene deres en sannsynlighetsfordeling. Personene som virkelig vet det riktige svaret vil velge det riktige svaret med selvtillit, mens de som velger feil svar vil fordele gjetningene sine over spekteret av mulige feil svar. Hvis du går tilbake til eksemplet med et trivia-spill, hvis du og dine to venner vet at det riktige svaret er A, vil dere alle tre stemme A, mens de tre andre personene på laget ditt som ikke vet svaret sannsynligvis vil ha feil gjett B, C, D eller E. Resultatet er at A har tre stemmer og de andre svarene har sannsynligvis bare én eller to stemmer maksimalt.

Alle modeller har en viss mengde feil. Feilene for en modell vil være forskjellige fra feilene som produseres av en annen modell, da modellene i seg selv er forskjellige av grunnene beskrevet ovenfor. Når alle feilene er undersøkt, vil de ikke bli gruppert rundt ett eller annet svar, snarere vil de bli spredt rundt. De feilaktige gjetningene er i hovedsak spredt over alle mulige feil svar, og kansellerer hverandre. I mellomtiden vil de riktige gjetningene fra de forskjellige modellene bli gruppert rundt det sanne, riktige svaret. Når ensembletreningsmetoder brukes, det riktige svaret kan bli funnet med større pålitelighet.

Enkle ensembletreningsmetoder

Enkle ensembletreningsmetoder involverer vanligvis bare bruken av statistisk oppsummeringsteknikks, for eksempel å bestemme modus, gjennomsnitt eller vektet gjennomsnitt av et sett med spådommer.

Modus refererer til det hyppigst forekommende elementet i et sett med tall. For å få modusen returnerer de individuelle læringsmodellene sine spådommer og disse spådommene regnes som stemmer mot den endelige prediksjonen. Å bestemme gjennomsnittet av spådommene gjøres ganske enkelt ved å beregne det aritmetiske gjennomsnittet av spådommene, avrundet til nærmeste hele heltall. Til slutt kan et vektet gjennomsnitt beregnes ved å tildele ulike vekter til modellene som brukes til å lage prediksjoner, med vektene som representerer den oppfattede betydningen av den modellen. Den numeriske representasjonen av klasseprediksjonen multipliseres sammen med en vekt fra 0 til 1.0, de individuelle vektede prediksjonene summeres deretter sammen og resultatet avrundes til nærmeste heltall.

Avanserte ensembletreningsmetoder

Det er tre primære avanserte ensembletreningsteknikker, som hver er designet for å håndtere en bestemt type maskinlæringsproblem. "Bagging"-teknikker brukes til å redusere variansen til en modells spådommer, med varians som refererer til hvor mye utfallet av prediksjoner avviker når de er basert på samme observasjon. "Boosting"-teknikker brukes til å bekjempe skjevheten til modeller. Endelig, "stabling" brukes til å forbedre spådommer generelt.

Ensemblelæringsmetoder i seg selv kan generelt deles inn i en av to forskjellige grupper: sekvensielle metoder og parallelle ensemblemetoder.

Sekvensielle ensemblemetoder får navnet "sekvensielle" fordi basislærerne/modellene genereres sekvensielt. Når det gjelder sekvensielle metoder, er den essensielle ideen at avhengigheten mellom basiselevene utnyttes for å få mer nøyaktige spådommer. Feilmerkede eksempler har vekten justert mens riktig merkede eksempler opprettholder samme vekt. Hver gang en ny elev genereres, endres vektene og nøyaktigheten (forhåpentligvis) forbedres.

I motsetning til sekvensielle ensemblemodeller genererer parallelle ensemblemetoder basiselevene parallelt. Når man gjennomfører parallell ensemblelæring, er tanken å utnytte det faktum at basiselevene har uavhengighet, ettersom den generelle feilraten kan reduseres ved å snitte prediksjonene til de enkelte elevene.

Ensembletreningsmetoder kan enten være homogene eller heterogene. De fleste ensemblelæringsmetoder er homogene, noe som betyr at de bruker en enkelt type basislæringsmodell/algoritme. I motsetning til dette bruker heterogene ensembler forskjellige læringsalgoritmer, og diversifiserer og varierer elevene for å sikre at nøyaktigheten er så høy som mulig.

Eksempler på Ensemble Learning Algoritmer

Visualisering av ensembleforsterkning. Foto: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Eksempler på sekvensielle ensemblemetoder inkluderer AdaBoost, Xgboostog Gradient treforsterkning. Disse er alle boostende modeller. For disse boostingsmodellene er målet å konvertere de svake, underpresterende elevene til mer kraftfulle elever. Modeller som AdaBoost og XGBoost starter med mange svake elever som presterer bare litt bedre enn å gjette tilfeldig. Etter hvert som treningen fortsetter, legges vekter på dataene og justeres. Forekomster som ble feilklassifisert av elevene i tidligere treningsrunder, tillegges mer vekt. Etter at denne prosessen er gjentatt for ønsket antall treningsrunder, slås spådommene sammen gjennom enten en vektet sum (for regresjonsoppgaver) og en vektet stemme (for klassifiseringsoppgaver).

Læreprosessen for bagging. Foto: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Et eksempel på en parallell ensemblemodell er en Tilfeldig skog klassifiserer, og Random Forests er også et eksempel på en bagging-teknikk. Begrepet "bagging" kommer fra "bootstrap aggregation". Prøver tas fra det totale datasettet ved hjelp av en prøvetakingsteknikk kjent som "bootstrap sampling", som brukes av basiselevene til å lage spådommer. For klassifiseringsoppgaver aggregeres utdataene fra basismodellene ved hjelp av stemmegivning, mens de gjennomsnittliggjøres sammen for regresjonsoppgaver. Random Forests bruker individuelle beslutningstrær som sine basislærere, og hvert tre i ensemblet er bygget ved hjelp av et annet utvalg fra datasettet. Et tilfeldig delsett av funksjoner brukes også til å generere treet. Fører til svært randomiserte individuelle beslutningstrær, som alle er kombinert for å gi pålitelige spådommer.

Visualisering av ensemblestabling. Foto: Supun Setunga via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Når det gjelder stabling av ensembleteknikker, kombineres flere regresjons- eller klassifiseringsmodeller sammen gjennom en metamodell på høyere nivå. Grunnmodellene på lavere nivå trenes ved å bli matet med hele datasettet. Utdataene til basismodellene brukes deretter som funksjoner for å trene opp metamodellen. Stable-ensemblemodeller er ofte heterogene i naturen.