Ce sunt rețelele neuronale Transformer?

Rețelele neuronale Transformer descrise

Transformatorii sunt un tip de model de mașină de învățare care se specializează în prelucrarea și interpretarea datelor secvențiale, făcându-le optime pentru sarcinile de prelucrare a limbajului natural. Pentru a înțelege mai bine ce este un transformator de mașină de învățare și cum funcționează, să aruncăm o privire mai atentă asupra modelului transformator și a mecanismelor care le conduc.

Acest articol va acoperi:

• Modele secvență-la-secvență
• Arhitectura rețelei neuronale Transformer
• Mecanismul de atenție
• Diferențe între transformatori și RNN/LSTM

Modele secvență-la-secvență

Modelele secvență-la-secvență sunt un tip de model de prelucrare a limbajului natural care sunt utilizate pentru a converti secvențe de un anumit tip într-o secvență de alt tip. Există diverse tipuri de modele secvență-la-secvență, cum ar fi modelele de rețea neurală recurentă și modelele LSTM (Long Short-Term Memory).

Modelele tradiționale secvență-la-secvență, cum ar fi RNN-urile și LSTM-urile, nu sunt subiectul acestui articol, dar o înțelegere a lor este necesară pentru a aprecia cum funcționează modelele transformator și de ce sunt superioare modelelor tradiționale secvență-la-secvență.

În general, modelele RNN și LSTM constau în rețele de codificare și decodificare care analizează datele de intrare la diverse etape de timp. Modelul de codificare este responsabil pentru crearea unei reprezentări codificate a cuvintelor din datele de intrare. La fiecare etapă de timp, rețeaua de codificare ia o secvență de intrare și un starea ascunsă de la etapa de timp precedentă din serie. Valorile stărilor ascunse sunt actualizate pe măsură ce datele trec prin rețea, până la ultima etapă de timp, unde se generează un “vector de context”. Vectorul de context este apoi transmis rețelei de decodificare, care este utilizat pentru a genera o secvență țintă prin predicția cuvântului cel mai probabil care se potrivește cu cuvântul de intrare pentru etapele de timp respective.

Aceste modele pot fi îmbunătățite prin utilizarea unui “mecanism de atenție”. Un mecanism de atenție definește care porțiuni ale vectorului de intrare ar trebui să fie luate în considerare de rețea pentru a genera ieșirea corespunzătoare. Pentru a spune altfel, un mecanism de atenție permite modelului transformator să proceseze un cuvânt de intrare și, în același timp, să ia în considerare informațiile relevante conținute de alte cuvinte de intrare. Mecanismele de atenție maschează, de asemenea, cuvintele care nu conțin informații relevante.

Arhitectura rețelei neuronale Transformer

Vom detalia mecanismul de atenție mai târziu, dar pentru moment, să aruncăm o privire asupra arhitecturii unei rețele neuronale Transformer la un nivel mai înalt.

În general, o rețea neurală Transformer are o structură similară cu următoarea:

Deși structura generală poate varia între rețele, componentele de bază rămân aceleași: codificări poziționale, vectori de cuvinte, mecanism de atenție, rețea neurală feed-forward.

Codificări poziționale și vectori de cuvinte

O rețea neurală Transformer funcționează prin luarea unei secvențe de intrări și conversia acestor intrări în două alte secvențe. Transformatorul produce o secvență de vectori de cuvinte încorporați și codificări poziționale.

Vectorii de cuvinte încorporați sunt doar textul reprezentat într-un format numeric pe care rețeaua neurală îl poate prelucra. Între timp, codificările poziționale sunt reprezentări vectorizate care conțin informații despre poziția cuvântului curent în propoziția de intrare, în raport cu alte cuvinte.

Alte modele de rețea neurală bazate pe text, cum ar fi RNN-urile și LSTM-urile, utilizează vectori pentru a reprezenta cuvintele din datele de intrare. Acești vectori de încorporare a cuvintelor asociază cuvintele cu valori constante, dar acest lucru este limitativ, deoarece cuvintele pot fi utilizate în contexte diferite. O rețea neurală Transformer rezolvă această problemă, făcând valorile cuvintelor mai flexibile, utilizând funcții sinusoidale pentru a permite vectorilor de cuvinte să ia valori diferite în funcție de poziția cuvântului în propoziție.

Acest lucru permite modelului de rețea neurală să păstreze informații cu privire la poziția relativă a cuvintelor de intrare, chiar și după ce vectorii trec prin straturile rețelei Transformer.

Codificările poziționale și vectorii de cuvinte încorporați sunt sumați, apoi transmiși atât în rețeaua de codificare, cât și în rețeaua de decodificare. Deși rețelele neuronale Transformer utilizează scheme de codificare/decodificare, la fel ca RNN-urile și LSTM-urile, o diferență majoră între ele este că toate datele de intrare sunt introduse în rețea în același timp, în timp ce în RNN-urile și LSTM-urile, datele sunt introduse secvențial.

Rețelele de codificare sunt responsabile pentru conversia intrărilor în reprezentări pe care rețeaua le poate învăța, în timp ce rețelele de decodificare fac invers, convertind încorporările într-o distribuție de probabilitate utilizată pentru a genera cuvintele cele mai probabile în propoziția de ieșire. În mod esențial, atât rețelele de codificare, cât și cele de decodificare au un mecanism de atenție.

Deoarece GPU-urile sunt capabile de prelucrare paralelă, se utilizează mai multe mecanisme de atenție în paralel, calculând informațiile relevante pentru toate cuvintele de intrare. Această capacitate de a acorda atenție mai multor cuvinte, numită “atenție multi-cap”, la un moment dat, ajută rețeaua neurală să învețe contextul unui cuvânt într-o propoziție și este una dintre principalele avantaje pe care rețelele Transformer le au față de RNN-urile și LSTM-urile.

Mecanismul de atenție

Mecanismul de atenție este partea cea mai importantă a unei rețele Transformer. Mecanismul de atenție este ceea ce permite modelelor Transformer să depășească limita de atenție a unui model RNN sau LSTM obișnuit. Modelele tradiționale secvență-la-secvență aruncă toate stările intermediare și utilizează doar starea finală/vectorul de context atunci când inițializează rețeaua de decodificare pentru a genera predicții despre o secvență de intrare.

Aruncarea tuturor, cu excepția vectorului de context final, funcționează ok atunci când secvențele de intrare sunt destul de mici. Cu toate acestea, pe măsură ce lungimea secvenței de intrare crește, performanța modelului se deteriorează atunci când se utilizează această metodă. Acest lucru se datorează faptului că devine destul de dificil să rezumi o secvență de intrare lungă ca un singur vector. Soluția constă în creșterea “atenției” modelului și utilizarea stărilor intermediare ale codificatorului pentru a construi vectori de context pentru decodificator.

Mecanismul de atenție definește cât de importante sunt alte tokenuri de intrare pentru model atunci când se creează încorporări pentru un token dat. De exemplu, “el” este un pronume general, adesea utilizat pentru a se referi la animale atunci când sexul lor nu este cunoscut. Un mecanism de atenție ar permite unui model Transformer să determine că, în contextul actual, “el” se referă la un veveriță, deoarece poate examina toate cuvintele relevante din propoziția de intrare.

Un mecanism de atenție poate fi utilizat în trei moduri diferite: de la codificator la decodificator, doar codificator și doar decodificator.

Atenția de la codificator la decodificator permite decodificatorului să ia în considerare secvențele de intrare atunci când generează o ieșire, în timp ce mecanismele de atenție doar codificator și doar decodificator permit rețelelor să ia în considerare toate părțile secvențelor anterioare și actuale.

Construirea unui mecanism de atenție poate fi împărțită în cinci pași:

1. Calcularea unui scor pentru toate stările codificatorului.
2. Calcularea greutăților de atenție
3. Calcularea vectorilor de context
4. Actualizarea vectorului de context cu ieșirea de la etapa de timp precedentă
5. Generarea ieșirii cu decodificatorul

Primul pas constă în calcularea de către decodificator a unui scor pentru toate stările codificatorului. Acest lucru se realizează prin antrenarea rețelei decodificator, care este o rețea neurală feed-forward de bază. Atunci când decodificatorul este antrenat pe primul cuvânt din secvența de intrare, nu s-a creat încă nicio stare internă/ascunsă, astfel încât starea finală a codificatorului este de obicei utilizată ca stare anterioară a decodificatorului.

Pentru a calcula greutățile de atenție, se utilizează o funcție softmax pentru a genera o distribuție probabilistică pentru greutățile de atenție.

Odată calculate greutățile de atenție, vectorul de context trebuie calculat. Acest lucru se realizează prin multiplicarea greutăților de atenție și a stării ascunse împreună pentru fiecare etapă de timp.

După calcularea vectorului de context, acesta este utilizat împreună cu cuvântul generat la etapa de timp precedentă pentru a genera următorul cuvânt din secvența de ieșire. Deoarece decodificatorul nu are nicio ieșire anterioară la care să se refere în prima etapă de timp, se utilizează adesea un token “start” special în schimb.

Diferențe între transformatori și RNN/LSTM

Să trecem rapid în revistă unele dintre diferențele dintre RNN-urile și LSTM-urile.

RNN-urile procesează intrările secvențial, în timp ce un vector de stare ascunsă este menținut și modificat de cuvintele de intrare pe măsură ce trec prin rețea. Stările ascunse ale unei RNN de obicei conțin foarte puține informații relevante despre intrările anterioare. Noile intrări șterg adesea starea curentă, ceea ce provoacă pierderea de informații și deteriorează performanța în timp.

În contrast, modelele Transformer procesează întreaga secvență de intrare deodată. Mecanismul de atenție permite fiecărui cuvânt de ieșire să fie informat de fiecare cuvânt de intrare și de fiecare stare ascunsă, făcând rețeaua mai fiabilă pentru bucăți lungi de text.

LSTM-urile sunt versiuni modificate ale RNN-urilor, ajustate pentru a gestiona secvențe de intrare mai lungi. Arhitectura LSTM utilizează o structură numită “porți”, cu “porți de intrare”, “porți de ieșire” și “porți de uitare”. Proiectarea porților tratează pierderea de informații comune modelelor RNN. Datele sunt încă procesate secvențial, iar proiectarea recurentă a arhitecturii face ca modelele LSTM să fie dificil de antrenat utilizând calculul paralel, ceea ce face timpul de antrenare mai lung în general.

Inginerii LSTM adesea adăugau mecanisme de atenție la rețea, ceea ce se știa că îmbunătățește performanța modelului. Cu toate acestea, s-a descoperit în cele din urmă că mecanismul de atenție singur a îmbunătățit acuratețea. Această descoperire a condus la crearea de rețele Transformer care utilizează mecanisme de atenție și calcul paralel, mulțumită GPU-urilor.