Vad är en Autoencoder?

Om du har läst om tekniker för ostrukturerad inlärning tidigare, kan du ha stött på begreppet “autoencoder”. Autoencoders är ett av de primära sätten som ostrukturerade inlärningsmodeller utvecklas. Men vad är en autoencoder exakt?

Kortfattat fungerar autoencoders genom att ta in data, komprimera och koda data, och sedan återskapa data från kodningsrepresentationen. Modellen tränas tills förlusten minimeras och data återges så nära som möjligt. Genom denna process kan en autoencoder lära sig de viktigaste funktionerna i data. Medan det är en snabb definition av en autoencoder, skulle det vara fördelaktigt att ta en närmare titt på autoencoders och få en bättre förståelse för hur de fungerar. Den här artikeln kommer att försöka avmystifiera autoencoders, förklara arkitekturen för autoencoders och deras tillämpningar.

Vad är en Autoencoder?

Autoencoders är neuronnätverk. Neuronnätverk består av flera lager, och det som kännetecknar en autoencoder är att inmatningslagren innehåller exakt lika mycket information som utmatningslagret. Anledningen till att inmatningslagret och utmatningslagret har exakt samma antal enheter är att en autoencoder syftar till att replikera inmatningsdata. Den genererar en kopia av data efter att ha analyserat och återskapat dem på ett ostrukturerat sätt.

Data som flyter genom en autoencoder mappas inte rakt från inmatning till utmatning, vilket betyder att nätverket inte bara kopierar inmatningsdata. Det finns tre komponenter i en autoencoder: en kodningsdel (inmatning) som komprimerar data, en komponent som hanterar den komprimerade data (eller flaskhals), och en dekodningsdel (utmatning). När data matas in i en autoencoder, kodas och komprimeras den ner till en mindre storlek. Nätverket tränas sedan på den kodade/komprimerade data och genererar en återskapning av den.

Varför vill man träna ett nätverk för att bara återskapa data som ges till det? Anledningen är att nätverket lär sig “essensen” eller de viktigaste funktionerna i inmatningsdata. Efter att nätverket har tränats, kan en modell skapas som kan syntetisera liknande data, med tillägg eller subtraktion av vissa målfunktioner. Till exempel kan man träna en autoencoder på suddiga bilder och sedan använda den tränade modellen för att ta bort sudd eller brus från bilden.

Autoencoder-Arkitektur

Låt oss ta en titt på arkitekturen för en autoencoder. Vi kommer att diskutera den primära arkitekturen för en autoencoder här. Det finns variationer på denna allmänna arkitektur som vi kommer att diskutera i avsnittet nedan.

Foto: Michela Massi via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:Autoencoder_schema.png)

Som tidigare nämnts kan en autoencoder i princip delas upp i tre olika komponenter: kodaren, en flaskhals och dekodaren.

Kodningsdelen i autoencodern är vanligtvis ett feedforward-nätverk med täta anslutningar. Syftet med kodningslagren är att ta inmatningsdata och komprimera dem till en latent representationsrymd, vilket genererar en ny representation av data med reducerad dimension.

Kodlagren, eller flaskhalsen, hanterar den komprimerade representationen av data. Flaskhalskoden är noggrant utformad för att bestämma de mest relevanta delarna av de observerade data, eller med andra ord de funktioner i data som är viktigast för dataåterställning. Målet är att bestämma vilka aspekter av data som behöver bevaras och vilka som kan kasseras. Flaskhalskoden måste balansera två olika överväganden: representationsstorlek (hur kompakt representationen är) och variabel/funktionens relevans. Flaskhalsen utför elementvis aktivering på nätverkets vikter och bias. Flaskhalslagret kallas ibland också latent representation eller latent variabler.

Dekodningslagret är ansvarigt för att ta den komprimerade data och omvandla den tillbaka till en representation med samma dimensioner som den ursprungliga, oförändrade data. Omvandlingen görs med den latenta representationsrymden som skapades av kodaren.

Den mest grundläggande arkitekturen för en autoencoder är en feed-forward-arkitektur, med en struktur som liknar en enkel lagerperceptron som används i multilagerperceptron. Liksom vanliga feed-forward-neuronnätverk tränas autoencodern med hjälp av backpropagation.

Egenskaper för en Autoencoder

Det finns olika typer av autoencoders, men de har alla vissa egenskaper som förenar dem.

Autoencoders lär sig automatiskt. De kräver inte etiketter, och om de får tillräckligt med data är det lätt att få en autoencoder att nå hög prestanda på en specifik typ av inmatningsdata.

Autoencoders är dataspecifika. Det betyder att de bara kan komprimera data som är mycket lika data som autoencodern redan har tränats på. Autoencoders är också förlorade, vilket betyder att utmatningarna från modellen kommer att vara försämrade i jämförelse med inmatningsdata.

När man utformar en autoencoder måste maskinläringsingenjörer uppmärksamma fyra olika modellhyperparametrar: kodstorlek, antal lager, noder per lager och förlustfunktion.

Kodstorleken bestämmer hur många noder som börjar i mitten av nätverket, och färre noder komprimerar data mer. I en djup autoencoder kan antalet lager vara vilket tal som helst som ingenjören anser lämpligt, men antalet noder i ett lager bör minska allteftersom kodaren fortskrider. Samtidigt gäller det motsatta i dekodaren, vilket betyder att antalet noder per lager bör öka allteftersom dekodarlager närmar sig det sista lagret. Slutligen är förlustfunktionen för en autoencoder vanligtvis antingen binär korsentropi eller medelkvadratfel. Binär korsentropi är lämplig för fall där inmatningsvärdena för data är i ett intervall 0-1.

Autoencoder-Typer

Som nämnts ovan finns det variationer på den klassiska autoencoder-arkitekturen. Låt oss undersöka de olika autoencoder-arkitekturerna.

Sparse

Foto: Michela Massi via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Autoencoder_sparso.png)

Medan autoencoders vanligtvis har en flaskhals som komprimerar data genom en minskning av noder, är sparse autoencoders ett alternativ till den typiska driftsformen. I ett sparse-nätverk behåller de dolda lagren samma storlek som kodnings- och dekodningslagren. Istället straffas aktiveringarna inom ett visst lager, vilket gör att förlustfunktionen bättre fångar de statistiska funktionerna i inmatningsdata. För att uttrycka det på ett annat sätt, medan de dolda lagren i en sparse autoencoder har fler enheter än en traditionell autoencoder, är bara en viss procent av dem aktiva vid en given tidpunkt. De mest betydelsefulla aktiveringsfunktionerna bevaras och andra ignoreras, och denna begränsning hjälper nätverket att fastställa bara de mest framträdande funktionerna i inmatningsdata.

Kontraktiv

Kontraktiva autoencoders är utformade för att vara motståndskraftiga mot små variationer i data, och upprätthåller en konsekvent representation av data. Detta uppnås genom att tillämpa en straff på förlustfunktionen. Denna regleringsteknik baseras på Frobenius-normen för Jacobian-matrisen för inmatningskodningsaktiveringar. Effekten av denna regleringsteknik är att modellen tvingas konstruera en kodning där liknande inmatningar kommer att ha liknande kodningar.

Convolutional

Convolutional autoencoders kodar inmatningsdata genom att dela upp data i underavsnitt och sedan omvandla dessa underavsnitt till enkla signaler som adderas för att skapa en ny representation av data. Liksom convolutionella neuronnätverk specialiserar sig en convolutional autoencoder på inlärning av bilddata, och den använder ett filter som flyttas över hela bildavsnittet avsnitt för avsnitt. Kodningarna som genereras av kodningslagret kan användas för att återskapa bilden, spegla bilden eller modifiera bildens geometri. När filtren har lärt sig av nätverket kan de användas på vilken tillräckligt lik inmatning som helst för att extrahera funktionerna i bilden.

Denoising

Foto: MAL via Wikimedia Commons, CC BY SA 3.0 (https://en.wikipedia.org/wiki/File:ROF_Denoising_Example.png)

Denoising autoencoders introducerar brus i kodningen, vilket resulterar i en kodning som är en fördärvad version av den ursprungliga inmatningsdata. Denna fördärvade version av data används för att träna modellen, men förlustfunktionen jämför utmatningsvärdena med den ursprungliga inmatningen och inte den fördärvade inmatningen. Målet är att nätverket ska kunna återskapa den ursprungliga, ofördärvade versionen av bilden. Genom att jämföra den fördärvade data med den ursprungliga data lär sig nätverket vilka funktioner i data som är viktigast och vilka funktioner som är oviktiga/fördärvningar. Med andra ord, för att en modell ska kunna rensa den fördärvade bilden, måste den ha extraherat de viktigaste funktionerna i bilddata.

Variational

Variational autoencoders fungerar genom att göra antaganden om hur de latenta variablerna i data fördelas. En variational autoencoder producerar en sannolikhetsfördelning för de olika funktionerna i träningsbilderna/de latenta attributen. När den tränas skapar kodaren latenta distributioner för de olika funktionerna i inmatningsbilderna.

Eftersom modellen lär sig funktionerna eller bilderna som Gaussiska distributioner istället för diskreta värden, kan den användas för att generera nya bilder. Den Gaussiska distributionen sampas för att skapa en vektor, som matas in i dekodningsnätverket, som återger en bild baserat på denna vektors prover. I princip lär sig modellen vanliga funktioner i träningsbilderna och tilldelar dem en viss sannolikhet att de kommer att inträffa. Sannolikhetsfördelningen kan sedan användas för att omvända en bild, generera nya bilder som liknar de ursprungliga träningsbilderna.

När nätverket tränas analyseras den kodade data och erkännandemodellen genererar två vektorer, som drar ut medelvärdet och standardavvikelsen för bilderna. En distribution skapas baserat på dessa värden. Detta görs för de olika latenta tillstånden. Dekodaren tar sedan slumpmässiga prover från den motsvarande distributionen och använder dem för att återskapa de ursprungliga inmatningarna till nätverket.

Autoencoder-Tillämpningar

Autoencoders kan användas för en mängd olika tillämpningar, men de används vanligtvis för uppgifter som dimensionella reduktioner, datorensering, funktionsextrahering, bildgenerering, sekvens-till-sekvens-prediktion och rekommendationssystem.

Datorensning är användningen av autoencoders för att ta bort brus från bilder. Likaså kan autoencoders användas för att reparera andra typer av bildskador, som suddiga bilder eller bilder som saknar sektioner. Dimensionella reduktioner kan hjälpa högkapacitetsnätverk att lära sig användbara funktioner i bilder, vilket betyder att autoencoders kan användas för att förbättra träningsprocessen för andra typer av neuronnätverk. Detta gäller också för användning av autoencoders för funktionsextrahering, eftersom autoencoders kan användas för att identifiera funktioner i andra träningsdata för att träna andra modeller.

När det gäller bildgenerering kan autoencoders användas för att generera falska mänskliga bilder eller animerade tecken, vilket har tillämpningar i utformningen av ansiktsigenkänningssystem eller automatisering av vissa aspekter av animering.

Sekvens-till-sekvens-prediktionsmodeller kan användas för att bestämma den temporala strukturen i data, vilket betyder att en autoencoder kan användas för att generera nästa händelse i en sekvens. Av denna anledning kan en autoencoder användas för att generera videor. Slutligen kan djupa autoencoders användas för att skapa rekommendationssystem genom att plocka upp mönster relaterade till användarintresse, med kodaren som analyserar användarengagemangsdata och dekodaren som skapar rekommendationer som passar de etablerade mönstren.