Hva er RNN og LSTM i dyp læring?

Mange av de mest imponerende fremstegene i naturlig språkbehandling og AI-chatbots er drevet av Recurrent Neural Networks (RNNs) og Long Short-Term Memory (LSTM) nettverk. RNNs og LSTMs er spesielle neurale nettverksarkitekturer som kan prosessere sekvensiell data, data hvor kronologisk rekkefølge betyr noe. LSTMs er i hovedsak forbedrede versjoner av RNNs, i stand til å tolke lengre sekvenser av data. La oss se på hvordan RNNs og LSTMs er strukturert og hvordan de muliggjør opprettelsen av sofistikerte naturlig språkbehandlingsystemer.

Hva er Feed-Forward Neural Networks?

Før vi snakker om hvordan Long Short-Term Memory (LSTM) og Convolutional Neural Networks (CNN) fungerer, bør vi diskutere formatet på et neuralt nettverk generelt.

Et neuralt nettverk er ment å undersøke data og lære relevante mønster, så disse mønster kan brukes på andre data og nye data kan klassifiseres. Neurale nettverk er delt inn i tre seksjoner: en inndata-lag, en skjult lag (eller flere skjulte lag), og en utdata-lag.

Inndata-laget er det som tar inn data i neuralt nettverk, mens de skjulte lagene er det som lærer mønster i data. De skjulte lagene i datasett er koblet til inndata- og utdata-lagene med “vekt” og “forvrengning” som bare er antagelser om hvordan datapunktene er relatert til hverandre. Disse vektene justeres under trening. Mens nettverket trener, sammenlignes modellens gjettinger om treningdata (utdata-verdier) med de faktiske treningsetikettene. Under treningens løp bør nettverket (håper) bli mer nøyaktig i å forutsi relasjoner mellom datapunkter, så det kan nøyaktig klassifisere nye datapunkter. Dype neurale nettverk er nettverk som har flere lag i midten/flere skjulte lag. Jo flere skjulte lag og noder modellen har, jo bedre kan modellen gjenkjenne mønster i data.

Vanlige, feed-forward neurale nettverk, som de jeg har beskrevet ovenfor, kalles ofte “tette neurale nettverk”. Disse tette neurale nettverkene kombineres med forskjellige nettverksarkitekturer som spesialiserer seg i å tolke forskjellige typer data.

Hva er RNNs (Recurrent Neural Networks)?

Recurrent Neural Networks tar det generelle prinsippet til feed-forward neurale nettverk og muliggjør dem å håndtere sekvensiell data ved å gi modellen en intern minne. “Recurrent”-delen av RNN-navnet kommer fra det faktum at inndata og utdata løkkes. Når utdata fra nettverket produseres, kopieres utdata og returneres til nettverket som inndata. Når en beslutning tas, analyseres ikke bare nåværende inndata og utdata, men også tidligere inndata. For å si det på en annen måte, hvis det opprinnelige inndata for nettverket er X og utdata er H, føres både H og X1 (neste inndata i data-sekvensen) inn i nettverket for neste runde av læring. På denne måten bevares konteksten til data (tidligere inndata) når nettverket trener.

Resultatet av denne arkitekturen er at RNNs er i stand til å håndtere sekvensiell data. Imidlertid lider RNNs av noen problemer. RNNs lider av forsvinnende gradient og eksploderende gradient-problemer.

Lengden på sekvenser som en RNN kan tolke er ganske begrenset, spesielt i sammenligning med LSTMs.

Hva er LSTMs (Long Short-Term Memory Networks)?

Long Short-Term Memory nettverk kan betraktes som utvidelser av RNNs, igjen ved å anvende konseptet om å bevare konteksten til inndata. Imidlertid har LSTMs blitt modifisert på flere viktige måter som tillater dem å tolke tidligere data med bedre metoder. Endringene som er gjort til LSTMs omhandler forsvinnende gradient-problemet og muliggjør LSTMs å vurdere mye lengre inndata-sekvenser.

LSTM-modeller består av tre forskjellige komponenter, eller porter. Det finnes en inngangsport, en utgangsport og en glemmeport. Liksom RNNs, tar LSTMs inndata fra tidligere tidssteg i betraktning når de modifiserer modellens minne og inndata-vekt. Inngangsporten tar beslutninger om hvilke verdier som er viktige og bør slippes gjennom modellen. En sigmoid-funksjon brukes i inngangsporten, som tar beslutninger om hvilke verdier som skal slippe gjennom det rekurrerende nettverket. Null dropper verdien, mens 1 bevarer den. En TanH-funksjon brukes her også, som bestemmer hvor viktig inndata-verdiene er for modellen, fra -1 til 1.

Etter at nåværende inndata og minnetilstand er tatt i betraktning, bestemmer utgangsporten hvilke verdier som skal sendes til neste tidssteg. I utgangsporten analyseres verdiene og tildeles en viktighet fra -1 til 1. Dette regulerer data før de sendes til neste tidssteg-beregning. Til slutt er glemmeportens jobb å droppe informasjon som modellen anser som unødvendig for å ta en beslutning om naturen til inndata-verdiene. Glemmeporten bruker en sigmoid-funksjon på verdiene, og utsteder tall mellom 0 (glem dette) og 1 (bevare dette).

Et LSTM-neuralt nettverk består av både spesielle LSTM-lag som kan tolke sekvensiell ord-data og de tett koblet som beskrevet ovenfor. Når data går gjennom LSTM-lagene, går det videre inn i de tett koblet lagene.