Vad är Ensemble Learning?

En av de mest kraftfulla maskininlärningsteknikerna är ensembleinlärning. Tillsammans inlärning är användningen av flera maskininlärningsmodeller för att förbättra tillförlitligheten och noggrannheten i förutsägelser. Men hur leder användningen av flera maskininlärningsmodeller till mer exakta förutsägelser? Vilken typ av tekniker används för att skapa ensembleinlärningsmodeller? Vi kommer att utforska svaret på dessa frågor och ta en titt på logiken bakom att använda ensemblemodeller och de primära sätten att skapa ensemblemodeller.

Vad är Ensemble Learning?

Enkelt uttryckt är ensembleinlärning processen att träna flera maskininlärningsmodeller och kombinera deras resultat. De olika modellerna används som bas för att skapa en optimal prediktiv modell. Att kombinera en mångfald av individuella maskininlärningsmodeller kan förbättra stabiliteten hos den övergripande modellen, vilket leder till mer exakta förutsägelser. Ensembleinlärningsmodeller är ofta mer tillförlitliga än enskilda modeller, och som ett resultat placerar de sig ofta först i många maskininlärningstävlingar.

Det finns olika tekniker som en ingenjör kan använda för att skapa en ensembleinlärningsmodell. Enkla tekniker för ensembleinlärning inkluderar saker som att beräkna utdata från olika modeller i genomsnitt, medan det också finns mer komplexa metoder och algoritmer som utvecklats speciellt för att kombinera förutsägelserna från många basinlärare/modeller.

Varför använda ensembleträningsmetoder?

Maskininlärningsmodeller kan skilja sig från varandra av olika anledningar. Olika maskininlärningsmodeller kan arbeta på olika urval av populationsdata, olika modelleringstekniker kan användas och en annan hypotes kan användas.

Föreställ dig att du spelar ett triviaspel med en stor grupp människor. Om du är i ett lag för dig själv, finns det säkert några ämnen som du har kunskap om och många ämnen du inte har någon kunskap om. Antag nu att du spelar i ett lag med andra människor. Precis som du kommer de att ha viss kunskap om sina egna specialiteter och ingen kunskap om andra ämnen. Men när dina kunskaper kombineras har du mer exakta gissningar för fler områden, och antalet ämnen som ditt team saknar kunskap om krymper. Detta är samma princip som ligger till grund för ensembleinlärning, genom att kombinera förutsägelser från olika teammedlemmar (individuella modeller) för att förbättra noggrannheten och minimera fel.

Det har statistiker bevisat att när en skara människor ombeds gissa rätt svar för en given fråga med en rad möjliga svar, bildar alla deras svar en sannolikhetsfördelning. De personer som verkligen vet det rätta svaret kommer att välja rätt svar med tillförsikt, medan de som väljer fel svar kommer att fördela sina gissningar över alla möjliga felaktiga svar. Om du går tillbaka till exemplet med ett triviaspel, om du och dina två vänner vet att det rätta svaret är A, kommer ni alla tre att rösta A, medan de tre andra personerna i ditt lag som inte vet svaret sannolikt har felaktigt gissa B, C, D eller E. Resultatet är att A har tre röster och de andra svaren har sannolikt endast en eller två röster maximalt.

Alla modeller har en del fel. Felen för en modell kommer att skilja sig från de fel som skapas av en annan modell, eftersom själva modellerna är olika av de skäl som beskrivs ovan. När alla fel undersöks kommer de inte att samlas runt det ena eller det andra svaret, snarare kommer de att vara utspridda. De felaktiga gissningarna är i huvudsak spridda över alla möjliga fel svar, vilket tar bort varandra. Under tiden kommer de korrekta gissningarna från de olika modellerna att samlas runt det sanna, korrekta svaret. När ensembleträningsmetoder används, det rätta svaret kan hittas med större tillförlitlighet.

Enkla träningsmetoder för ensemble

Enkla ensembleträningsmetoder involverar vanligtvis bara tillämpningen av statistisk sammanfattningstekniks, såsom att bestämma läget, medelvärdet eller det viktade medelvärdet för en uppsättning förutsägelser.

Läge hänvisar till det vanligast förekommande elementet inom en uppsättning siffror. För att få läget returnerar de individuella inlärningsmodellerna sina förutsägelser och dessa förutsägelser betraktas som röster mot den slutliga förutsägelsen. Att bestämma medelvärdet av förutsägelserna görs helt enkelt genom att beräkna det aritmetiska medelvärdet av förutsägelserna, avrundat till närmaste heltal. Slutligen kan ett viktat medelvärde beräknas genom att tilldela olika vikter till de modeller som används för att skapa förutsägelser, där vikterna representerar den upplevda betydelsen av den modellen. Den numeriska representationen av klassförutsägelsen multipliceras tillsammans med en vikt från 0 till 1.0, de individuella viktade förutsägelserna summeras sedan och resultatet avrundas till närmaste heltal.

Avancerade ensembleträningsmetoder

Det finns tre primära avancerade ensembleträningstekniker, som var och en är designad för att hantera en specifik typ av maskininlärningsproblem. "Bagging"-tekniker används för att minska variansen av en modells förutsägelser, där variansen hänvisar till hur mycket utfallet av förutsägelser skiljer sig när de baseras på samma observation. "Boosting"-tekniker används för att bekämpa partiskhet hos modeller. Till sist, "stapling" används för att förbättra förutsägelser i allmänhet.

Ensembleinlärningsmetoder i sig kan generellt delas in i en av två olika grupper: sekventiella metoder och parallella ensemblemetoder.

Sekventiella ensemblemetoder får namnet "sekventiell" eftersom basinlärare/modeller genereras sekventiellt. När det gäller sekventiella metoder är den väsentliga idén att beroendet mellan basinlärarna utnyttjas för att få mer exakta förutsägelser. Felmärkta exempel har sina vikter justerade medan korrekt märkta exempel bibehåller samma vikter. Varje gång en ny elev genereras ändras vikterna och noggrannheten (förhoppningsvis) förbättras.

I motsats till sekventiella ensemblemodeller genererar parallella ensemblemetoder basinlärare parallellt. När man genomför parallellt ensembleinlärning är tanken att utnyttja det faktum att basinlärarna har självständighet, eftersom den allmänna felfrekvensen kan minskas genom att genomsnittet beräkna de individuella inlärarnas förutsägelser.

Ensembleträningsmetoder kan antingen vara homogena eller heterogena till sin natur. De flesta ensembleinlärningsmetoder är homogena, vilket innebär att de använder en enda typ av basinlärningsmodell/algoritm. Däremot använder heterogena ensembler olika inlärningsalgoritmer, diversifierar och varierar eleverna för att säkerställa att noggrannheten är så hög som möjligt.

Exempel på Ensemble Learning Algoritmer

Visualisering av ensembleförstärkning. Foto: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Exempel på sekventiella ensemblemetoder inkluderar AdaBoost, XGBoostoch Gradient trädförstärkning. Dessa är alla boostande modeller. För dessa förstärkningsmodeller är målet att omvandla de svaga, underpresterande eleverna till mer kraftfulla elever. Modeller som AdaBoost och XGBoost börjar med många svaga elever som presterar bara något bättre än att gissa slumpmässigt. När träningen fortsätter appliceras vikter på data och justeras. Fall som klassificerats felaktigt av eleverna i tidigare utbildningsomgångar får mer vikt. Efter att denna process har upprepats för det önskade antalet träningsomgångar, sammanfogas förutsägelserna genom antingen en viktad summa (för regressionsuppgifter) och en viktad röst (för klassificeringsuppgifter).

Inlärningsprocessen för påsar. Foto: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Ett exempel på en parallell ensemblemodell är en Slumpmässig skog klassificerare, och Random Forests är också ett exempel på en säckteknik. Termen "bagging" kommer från "bootstrap aggregation". Prover tas från den totala datamängden med hjälp av en samplingsteknik känd som "bootstrap sampling", som används av basinlärare för att göra förutsägelser. För klassificeringsuppgifter aggregeras basmodellernas utdata med hjälp av röstning, medan de sammanställs i medeltal för regressionsuppgifter. Random Forests använder individuella beslutsträd som sina basinlärare, och varje träd i ensemblen är byggt med ett annat prov från datamängden. En slumpmässig delmängd av funktioner används också för att generera trädet. Leder till mycket randomiserade individuella beslutsträd, som alla kombineras för att ge tillförlitliga förutsägelser.

Visualisering av ensemblestapling. Foto: Supun Setunga via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

När det gäller staplingsensembletekniker kombineras multipla regressions- eller klassificeringsmodeller tillsammans genom en högre nivå, metamodell. Den lägre nivån, basmodeller tränas genom att matas hela datamängden. Utdata från basmodellerna används sedan som funktioner för att träna metamodellen. Staplingsensemblemodeller är ofta heterogena till sin natur.