Vad är Transfer Learning?

Vad är Transfer Learning?

När man praktiserar maskinlärning kan utbildning av en modell ta lång tid. Att skapa en modellarkitektur från scratch, utbilda modellen och sedan justera modellen är en enorm mängd tid och ansträngning. Ett mycket mer effektivt sätt att utbilda en maskinlärningsmodell är att använda en arkitektur som redan har definierats, potentiellt med vikter som redan har beräknats. Detta är den huvudsakliga idén bakom transfer learning, att ta en modell som redan har använts och omändra den för en ny uppgift.

Innan vi dyker in i de olika sätten som transfer learning kan användas på, låt oss ta en stund att förstå varför transfer learning är en så kraftfull och användbar teknik.

Att lösa ett djupinlärningsproblem

När du försöker lösa ett djupinlärningsproblem, som att bygga en bildklassificerare, måste du skapa en modellarkitektur och sedan utbilda modellen på dina data. Utbildning av modellklassificeraren innebär att justera vikterna i nätverket, en process som kan ta timmar eller till och med dagar beroende på komplexiteten i både modellen och datamängden. Utbildningstiden kommer att skala i enlighet med datamängdens storlek och modellarkitekturens komplexitet.

Om modellen inte uppnår den typ av noggrannhet som behövs för uppgiften, kommer justering av modellen sannolikt att behöva göras och sedan måste modellen utbildas om. Detta innebär fler timmar av utbildning tills en optimal arkitektur, utbildningstid och datadelning kan hittas. När man överväger hur många variabler som måste justeras i förhållande till varandra för att en klassificerare ska vara användbar, är det logiskt att maskinläringsingenjörer alltid letar efter enklare och mer effektiva sätt att utbilda och implementera modeller. Av denna anledning skapades transfer learning-tekniken.

Efter att ha designat och testat en modell, om modellen visade sig vara användbar, kan den sparas och återanvändas senare för liknande problem.

Typer av Transfer Learning

I allmänhet finns det två olika typer av transfer learning: att utveckla en modell från scratch och att använda en förutbildad modell.

När du utvecklar en modell från scratch måste du skapa en modellarkitektur som kan tolka dina utbildningsdata och extrahera mönster från dem. Efter att modellen har utbildats för första gången kommer du förmodligen att behöva göra ändringar i den för att få den optimala prestandan från modellen. Du kan sedan spara modellarkitekturen och använda den som en utgångspunkt för en modell som kommer att användas för en liknande uppgift.

I den andra situationen – användning av en förutbildad modell – behöver du bara välja en förutbildad modell att använda. Många universitet och forskningsteam kommer att göra specifikationerna för sin modell tillgängliga för allmän användning. Modellens arkitektur kan laddas ner tillsammans med vikterna.

När du utför transfer learning kan hela modellarkitekturen och vikterna användas för uppgiften, eller så kan bara vissa delar/lager av modellen användas. Att använda bara en del av den förutbildade modellen och utbilda resten av modellen kallas finjustering.

Finjustering av ett nätverk

Finjustering av ett nätverk beskriver processen att utbilda bara vissa lager i ett nätverk. Om en ny utbildningsdatamängd är mycket lik den datamängd som användes för att utbilda den ursprungliga modellen, kan många av de samma vikterna användas.

Antalet lager i nätverket som bör avfrostras och utbildas om bör skala i enlighet med den nya datamängdens storlek. Om datamängden som utbildas är liten, är det en bättre praxis att hålla de flesta lagren som de är och utbilda bara de sista få lagren. Detta är för att förhindra att nätverket överanpassar sig. Alternativt kan de sista lagren i den förutbildade modellen tas bort och nya lager läggas till, som sedan utbildas. Om datamängden däremot är en stor datamängd, potentiellt större än den ursprungliga datamängden, bör hela nätverket utbildas om. För att använda nätverket som en fast funktionsextraherare kan de flesta delarna av nätverket användas för att extrahera funktioner medan bara den sista lagern i nätverket kan avfrostras och utbildas.

När du finjusterar ett nätverk, kom ihåg att de tidigare lagren i ConvNet är de som innehåller informationen som representerar de mer generiska funktionerna i bilderna. Dessa är funktioner som kanter och färger. I kontrast innehåller ConvNets senare lager detaljer som är mer specifika för de enskilda klasserna i datamängden som modellen ursprungligen utbildades på. Om du utbildar en modell på en datamängd som är ganska annorlunda än den ursprungliga datamängden, kommer du förmodligen att vilja använda de tidigare lagren i modellen för att extrahera funktioner och bara utbilda resten av modellen.

Exempel på Transfer Learning

De vanligaste tillämpningarna av transfer learning är förmodligen de som använder bilddata som indata. Dessa är ofta förutsägelse/klassificeringsuppgifter. Sättet som Convolutional Neural Networks tolkar bilddata lämpar sig för att återanvända delar av modeller, eftersom de convolutionella lagren ofta känner igen mycket liknande funktioner. Ett exempel på ett vanligt transfer learning-problem är ImageNet 1000-uppgiften, en enorm datamängd full av 1000 olika klasser av objekt. Företag som utvecklar modeller som uppnår hög prestanda på denna datamängd släpper ofta ut sina modeller under licenser som tillåter andra att återanvända dem. Några av de modeller som har resulterat från denna process inkluderar Microsoft ResNet-modellen (MSFT ), Google (GOOGL ) Inception-modellen och Oxford VGG-modellgruppen.