Vad är Ensemble Learning?

En av de kraftfullaste maskinlärningsteknikerna är ensemble learning. Ensemble learning är användningen av flera maskinlärningsmodeller för att förbättra tillförlitligheten och noggrannheten i förutsägelser. Men hur leder användningen av flera maskinlärningsmodeller till mer exakta förutsägelser? Vilka tekniker används för att skapa ensemble learning-modeller? Vi kommer att utforska svaret på dessa frågor, med en titt på motivationen bakom användningen av ensemble-modeller och de primära sätten att skapa ensemble-modeller.

Vad är Ensemble Learning?

Förenklat är ensemble learning processen att träna flera maskinlärningsmodeller och kombinera deras utdata. De olika modellerna används som en bas för att skapa en optimal förutsägelsemodell. Att kombinera en mångfaldig uppsättning av individuella maskinlärningsmodeller kan förbättra stabiliteten i den övergripande modellen, vilket leder till mer exakta förutsägelser. Ensemble learning-modeller är ofta mer tillförlitliga än individuella modeller, och som ett resultat, de ofta kommer på första plats i många maskinlärningstävlingar.

Det finns olika tekniker som en ingenjör kan använda för att skapa en ensemble learning-modell. Enkla ensemble learning-tekniker inkluderar saker som att beräkna medelvärdet av olika modellers utdata, medan det också finns mer komplexa metoder och algoritmer som utvecklats specifikt för att kombinera förutsägelserna från många basmodeller.

Varför Använda Ensemble Träningsmetoder?

Maskinlärningsmodeller kan skilja sig från varandra av olika anledningar. Olika maskinlärningsmodeller kan operera på olika prover av populationens data, olika modelleringsmetoder kan användas, och en annan hypotes kan användas.

Tänk dig att du spelar ett trivia-spel med en stor grupp människor. Om du är i ett lag själv, kommer det att finnas vissa ämnen som du har kunskap om och många ämnen som du inte har någon kunskap om. Anta att du spelar i ett lag med andra människor. Precis som du, kommer de att ha viss kunskap om sina egna specialområden och ingen kunskap om andra ämnen. Men när din kunskap kombineras, har du mer exakta gissningar för fler områden, och antalet ämnen som ditt lag saknar kunskap om minskar. Detta är samma princip som ligger till grund för ensemble learning, att kombinera förutsägelserna från olika lagmedlemmar (individuella modeller) för att förbättra noggrannheten och minimera fel.

Statistiker har bevisat att när en folkmassa tillfrågas om att gissa rätt svar på en given fråga med ett antal möjliga svar, bildar alla deras svar en sannolikhetsfördelning. De människor som verkligen känner till det rätta svaret kommer att välja det rätta svaret med tillförsikt, medan de människor som väljer fel svar kommer att fördela sina gissningar över intervallet av möjliga felaktiga svar. Återgå till exemplet med ett trivia-spel, om du och dina två vänner vet att det rätta svaret är A, kommer alla tre att rösta på A, medan de tre andra människorna i ditt lag som inte känner till svaret kommer att gissa felaktigt B, C, D eller E. Resultatet är att A har tre röster och de andra svaren kommer att ha högst en eller två röster.

Alla modeller har ett visst fel. Felen för en modell kommer att skilja sig från felen som produceras av en annan modell, eftersom modellerna själva är olika av de skäl som beskrivits ovan. När alla felen undersöks, kommer de inte att klustras runt ett svar eller ett annat, utan de kommer att spridas runt. De felaktiga gissningarna sprids i princip över alla möjliga felaktiga svar, och tar ut varandra. Samtidigt kommer de korrekta gissningarna från de olika modellerna att klustras runt det rätta, korrekta svaret. När ensemble träningsmetoder används, kan det korrekta svaret hittas med större tillförlitlighet.

Enkla Ensemble Träningsmetoder

Enkla ensemble träningsmetoder innebär vanligtvis bara tillämpningen av statistiska sammanfattningsmetoder, såsom att bestämma modus, medelvärde eller vägt medelvärde av en uppsättning förutsägelser.

Modus refererar till det mest förekommande elementet inom en uppsättning tal. För att få modus returnerar de individuella lärandemodellerna sina förutsägelser och dessa förutsägelser betraktas som röster för den slutliga förutsägelsen. Att bestämma medelvärdet av förutsägelserna görs enkelt genom att beräkna det aritmetiska medelvärdet av förutsägelserna, avrundat till närmaste hel tal. Slutligen kan ett vägt medelvärde beräknas genom att tilldela olika vikter till modellerna som används för att skapa förutsägelser, där vikterna representerar den uppfattade vikten av den modellen. Det numeriska värdet av klassförutsägelsen multipliceras tillsammans med en vikt från 0 till 1,0, de enskilda viktade förutsägelserna summeras sedan och resultatet avrundas till närmaste heltal.

Avancerade Ensemble Träningsmetoder

Det finns tre primära avancerade ensemble träningsmetoder, var och en avsedd att hantera en specifik typ av maskinlärningsproblem. “Bagging”-tekniker används för att minska variationen i en modells förutsägelser, med variation som hänvisar till hur mycket resultatet av förutsägelserna skiljer sig när de baseras på samma observation. “Boosting”-tekniker används för att bekämpa bias i modeller. Slutligen används “stacking” för att förbättra förutsägelser i allmänhet.

Ensemble learning-metoder kan i allmänhet delas in i två olika grupper: sekventiella metoder och parallella ensemble-metoder.

Sekventiella ensemble-metoder får namnet “sekventiella” eftersom baslärande genereras sekventiellt. I fallet med sekventiella metoder är den väsentliga idén att beroendet mellan baslärande utnyttjas för att få mer exakta förutsägelser. Felaktigt märkta exempel får sina vikter justerade medan korrekt märkta exempel behåller samma vikter. Varje gång en ny lärande genereras, ändras vikterna och noggrannheten (hoppas) förbättras.

I kontrast till sekventiella ensemble-modeller genererar parallella ensemble-metoder baslärande parallellt. När man genomför parallell ensemble-lärande, är idén att utnyttja det faktum att baslärande är oberoende, eftersom den allmänna felraten kan minskas genom att medelvärdet av de enskilda lärandenas förutsägelser.

Ensemble träningsmetoder kan antingen vara homogena eller heterogena till sin natur. De flesta ensemble learning-metoder är homogena, vilket innebär att de använder en enda typ av baslärande modell/algoritm. I kontrast använder heterogena ensembler olika läringsalgoritmer, diversifierar och varierar lärande för att säkerställa att noggrannheten är så hög som möjligt.

Exempel på Ensemble Learning Algoritmer

Visualisering av ensemble boosting. Foto: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Exempel på sekventiella ensemble-metoder inkluderar AdaBoost, XGBoost och Gradient tree boosting. Dessa är alla boosting-modeller. För dessa boosting-modeller är målet att omvandla de svaga, underpresterande lärandena till mer kraftfulla lärande. Modeller som AdaBoost och XGBoost börjar med många svaga lärande som presterar bara lite bättre än slumpmässiga gissningar. När träningen fortskrider, tilldelas vikter till data och justeras. Exempel som felaktigt klassificerades av lärandena i tidigare träningsrundor ges mer vikt. Efter att denna process har upprepas för det önskade antalet träningsrundor, kombineras förutsägelserna genom antingen en vägd summa (för regressionuppgifter) och en vägd omröstning (för klassificeringsuppgifter).

Bagging-lärandeprocessen. Foto: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Ett exempel på en parallell ensemble-modell är en Random Forest-klassificerare, och Random Forests är också ett exempel på en bagging-teknik. Termen “bagging” kommer från “bootstrap aggregation”. Prover tas från den totala datamängden med hjälp av en sampelteknik som kallas “bootstrap-sampling”, som används av baslärande för att göra förutsägelser. För klassificeringsuppgifter kombineras utdata från basmodellerna med omröstning, medan de medelvärdas för regressionuppgifter. Random Forests använder enskilda beslutsTräd som sina baslärande, och varje träd i ensemblen genereras med hjälp av ett annat prov från datamängden. En slumpmässig delmängd av funktioner används också för att generera trädet. Det leder till högt slumpmässiga enskilda beslutsTräd, som kombineras för att ge tillförlitliga förutsägelser.

Visualisering av ensemble-stacking. Foto: Supun Setunga via Wikimedia Commons, CC BY S.A 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

När det gäller stacking ensemble-tekniker kombineras flera regression- eller klassificeringsmodeller genom en högre nivå, meta-modell. De lägre nivåerna, basmodellerna, tränas genom att mata in hela datamängden. Utdata från basmodellerna används sedan som funktioner för att träna meta-modellen. Stacking ensemble-modeller är ofta heterogena till sin natur.