Hvad er Transformer Neural Networks?

Transformer Neural Networks beskrevet

Transformatorer er en type maskinlæringsmodel, der specialiserer sig i at behandle og fortolke sekventielle data, hvilket gør dem optimale til naturligsprogsbehandlingsopgaver. For bedre at forstå, hvad en maskinlæringstransformator er, og hvordan de fungerer, skal vi tage en nærmere kig på transformatormodellerne og de mekanismer, der driver dem.

Denne artikel vil dække følgende emner:

• Sequence-til-Sequence-modeller
• Transformer Neural Network-arkitektur
• Opmærksomhedsmechanismen
• Forskelle mellem Transformatorer og RNN’er/LSTM’er

Sequence-til-Sequence-modeller

Sequence-til-Sequence-modeller er en type NLP-model, der bruges til at konvertere sekvenser af en type til en sekvens af en anden type. Der er forskellige typer af Sequence-til-Sequence-modeller, såsom Rekurrente Neurale Netværksmodeller og Lang Korttidshukommelse (LSTM)-modeller.

Traditionelle Sequence-til-Sequence-modeller som RNN’er og LSTM’er er ikke fokus for denne artikel, men en forståelse af dem er nødvendig for at værdsætte, hvordan transformatormodeller fungerer og hvorfor de er overlegne traditionelle Sequence-til-Sequence-modeller.

I korte træk består RNN-modeller og LSTM-modeller af encoder- og decoder-netværk, der analyserer inputdata på forskellige tidspunkter. Encoder-modellen er ansvarlig for at danne en kodet repræsentation af ordene i inputdataen. Ved hvert tidspunkt modtager encoder-netværket en inputsekvens og en skjult tilstand fra det foregående tidspunkt i serien. De skjulte tilstandsværdier opdateres, mens dataene passerer gennem netværket, indtil det sidste tidspunkt, hvor en “kontekstvektor” genereres. Kontekstvektoren overføres herefter til decoder-netværket, der bruges til at generere en målsekvens ved at forudsige det mest sandsynlige ord, der parres med inputordet for de respektive tidspunkter.

Disse modeller kan udvides gennem brugen af en “opmærksomhedsmechanisme”. En opmærksomhedsmechanisme definerer, hvilke dele af inputvektoren netværket skal fokusere på for at generere den korrekte output. Med andre ord, en opmærksomhedsmechanisme låter transformator-modellen behandle ét inputord, samtidig med at den også kan fokusere på den relevante information, der er indeholdt i de andre inputord.

Transformer Neural Network-arkitektur

Vi vil gå mere i detalje med opmærksomhedsmechanismen senere, men for nu skal vi tage et kig på arkitekturen af en transformer neural network på et højere niveau.

Generelt ser en transformer neural network ud som følger:

Selvom denne generelle struktur kan ændre sig mellem netværk, vil de centrale dele forblive de samme: positionskodninger, ordvektorer, opmærksomhedsmechanisme, feed-forward neuralt netværk.

Positionskodninger og Ordvektorer

En transformer neural network opererer ved at tage en sekvens af input og konvertere disse input til to andre sekvenser. Transformator-produktet er en sekvens af ordvektor-embedding og positionskodninger.

Ordvektor-embedding er blot tekst repræsenteret i en numerisk format, som neuralt netværk kan behandle. Imens er positionskodningerne vektoriserede repræsentationer, der indeholder information om positionen af det nuværende ord i forhold til andre ord.

Andre tekstbaserede neurale netværksmodeller som RNN’er og LSTM’er bruger vektorer til at repræsentere ordene i inputdataen. Disse vektor-embedding mapper ord til konstante værdier, men dette er begrænsende, fordi ord kan bruges i forskellige sammenhænge. En transformator-netværk løser dette problem ved at gøre ordværdierne mere fleksible, ved at bruge sinusoidale funktioner til at lade ordvektorerne tage på forskellige værdier afhængigt af ordets position i sætningen.

Dette tillader neuralt netværksmodel at bevare information om den relative position af inputordene, selv efter vektorerne passerer gennem lagene i transformator-netværket.

Positionskodningerne og ordvektor-embeddingene lægges sammen og overføres herefter til både encoder- og decoder-netværkene. Selvom transformer neurale netværk bruger encoder/decoder-skemaer ligesom RNN’er og LSTM’er, er en af de største forskelle mellem dem, at alle inputdataene føres ind i netværket på samme tid, hvorimod i RNN’er/LSTM’er føres dataene ind sekventielt.

Encoder-netværkene er ansvarlige for at konvertere inputdataene til repræsentationer, som netværket kan lære fra, mens decoder-netværkene gør det modsatte og konverterer kodningerne til en sandsynlighedsfordeling, der bruges til at generere de mest sandsynlige ord i output-sætningen. Afgørende er, at både encoder- og decoder-netværkene har en opmærksomhedsmechanisme.

Fordi GPU’er kan udføre parallel procesering, bruges multiple opmærksomhedsmechanismer i parallel, beregner den relevante information for alle inputordene. Denne evne til at fokusere på multiple ord på samme tid hjælper neuralt netværk med at lære konteksten af et ord i en sætning, og det er en af de primære fordele, som transformator-netværk har over RNN’er og LSTM’er.

Opmærksomhedsmechanismen

Opmærksomhedsmechanismen er den vigtigste del af en transformator-netværk. Opmærksomhedsmechanismen er det, der tillader transformator-modeller at gå ud over opmærksomhedsgrænsen for en typisk RNN eller LSTM-model. Traditionelle Sequence-til-Sequence-modeller kasserer alle mellemstats og bruger kun den sidste stat/kontekstvektor, når de initialiserer decoder-netværket til at generere forudsigelser om en inputsekvens.

Kassering af alt andet end den sidste kontekstvektor fungerer okay, når inputsekvenserne er ret små. Men når længden af en inputsekvens øges, vil modellens præstation falde, hvis denne metode bruges. Dette skyldes, at det kan være ret svært at sammenfatte en lang inputsekvens som en enkelt vektor. Løsningen er at øge “opmærksomheden” af modellen og bruge de mellemstats fra encoderen til at konstruere kontekstvektorer for decoderen.

Opmærksomhedsmechanismen definerer, hvor vigtigt andre inputtegn er for modellen, når kodninger oprettes for et givent tegn. For eksempel er “det” et generelt pronomen, ofte brugt til at referere til dyr, når deres køn ikke er kendt. En opmærksomhedsmechanisme ville lade en transformator-model bestemme, at i den nuværende kontekst “det” refererer til en egern, fordi den kan undersøge alle relevante ord i input-sætningen.

En opmærksomhedsmechanisme kan bruges på tre forskellige måder: encoder-til-decoder, encoder-kun, decoder-kun.

Encoder-decoder-opmærksomhed låter decoderen overveje inputsekvenser, når den genererer en output, mens encoder-kun og decoder-kun opmærksomhedsmechanismer låter netværkene overveje alle dele af de foregående og nuværende sekvenser henholdsvis.

Konstruktionen af en opmærksomhedsmechanisme kan deles i fem trin:

1. Beregning af en score for alle encoder-tilstande.
2. Beregning af opmærksomheds-vægtene
3. Beregning af kontekstvektorer
4. Opdatering af kontekstvektor med forrige tidspunkts output
5. Generering af output med decoder

Det første trin er at lade decoderen beregne en score for alle encoder-tilstande. Dette gøres ved at træne decoder-netværket, der er et grundlæggende feed-forward neuralt netværk. Når decoderen trænes på det første ord i inputsekvensen, er der ikke oprettet nogen intern/hemmelig tilstand endnu, så encoderens sidste tilstand bruges typisk som decoders forrige tilstand.

For at beregne opmærksomheds-vægtene bruges en softmax-funktion til at generere en sandsynlighedsfordeling for opmærksomheds-vægtene.

Når opmærksomheds-vægtene er beregnet, skal kontekstvektoren beregnes. Dette gøres ved at multiplicere opmærksomheds-vægtene og den skjulte tilstand sammen for hvert tidspunkt.

Efter at kontekstvektoren er beregnet, bruges den sammen med ordet, der er genereret i det foregående tidspunkt, til at generere det næste ord i outputsekvensen. Fordi decoderen ikke har nogen forrige output at referere til i det første tidspunkt, bruges ofte et særligt “start”-tegn i stedet.

Forskelle mellem Transformatorer & RNN’er/LSTM’er

Lad os hurtigt dække nogle af forskellene mellem RNN’er og LSTM’er.

RNN’er behandler input sekventielt, mens en skjult tilstandsvektor opretholdes og ændres af inputordene, mens de passerer gennem netværket. De skjulte tilstande i en RNN indeholder typisk meget lidt relevant information om de tidligere input. Nye input overskriver ofte den nuværende tilstand, hvilket fører til informations-tab og degraderer præstationen over tid.

Til gengæld behandler transformator-modeller hele inputsekvensen på én gang. Opmærksomhedsmechanismen låter hver outputord være informeret om hver input og skjult tilstand, hvilket gør netværket mere pålideligt for lange tekststykker.

LSTM’er er en modificeret version af RNN’er, tilpasset til at håndtere længere inputsekvenser. LSTM-arkitekturen bruger en struktur kaldet “gates”, med “input-gates”, “output-gates” og “forget-gates”. Den gatede design håndterer informations-tab, der er almindelig for RNN-modeller. Data behandles stadig sekventielt, og arkitekturens rekursive design gør LSTM-modeller svære at træne ved hjælp af parallel procesering, hvilket gør træningstiden længere i alt.

LSTM-ingeniører ville ofte tilføje opmærksomhedsmechanismer til netværket, hvilket var kendt for at forbedre modellens præstation. Men det blev til sidst opdaget, at opmærksomhedsmechanismen alene forbedrede nøjagtigheden. Denne opdagelse førte til skabelsen af transformator-netværk, der brugte opmærksomhedsmechanismer og parallel procesering takket være GPU’er.