Ce este Învățarea Profundă a Consolidării?

Ce este Învățarea Profundă a Consolidării?

Împreună cu învățarea automată nesupervizată și învățarea supervizată, o altă formă obișnuită de creare a inteligenței artificiale este învățarea prin consolidare. Dincolo de învățarea prin consolidare regulată, învățarea profundă a consolidării poate duce la rezultate impresionant de impresionante, datorită faptului că combină cele mai bune aspecte ale învățării profunde și învățării prin consolidare. Să aruncăm o privire la modul în care funcționează exact învățarea profundă a consolidării.

Înainte de a ne scufunda în învățarea profundă a consolidării, ar fi o idee bună să ne reamintim cum funcționează învățarea prin consolidare regulată. În învățarea prin consolidare, algoritmii orientați spre obiective sunt proiectați printr-un proces de încercare și eroare, optimizând pentru acțiunea care duce la cel mai bun rezultat / acțiunea care obține cea mai mare “recompensă”. Când algoritmii de învățare prin consolidare sunt antrenați, li se oferă “recompense” sau “pedepse” care influențează acțiunile pe care le vor lua în viitor. Algoritmii încearcă să găsească un set de acțiuni care vor oferi sistemului cea mai mare recompensă, echilibrând atât recompensele imediate, cât și pe cele viitoare.

Algoritmii de învățare prin consolidare sunt foarte puternici, deoarece pot fi aplicați la aproape orice sarcină, putând învăța flexibil și dinamic dintr-un mediu și descoperi acțiuni posibile.

Prezentare generală a Învățării Profunde a Consolidării

Fotografie: Megajuice via Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

Când vine vorba de învățarea profundă a consolidării, mediul este reprezentat în general prin imagini. O imagine este o captură a mediului la un moment dat. Agentul trebuie să analizeze imaginile și să extragă informații relevante din ele, folosind informațiile pentru a decide care acțiune ar trebui să ia. Învățarea profundă a consolidării se realizează în general prin una dintre două tehnici diferite: învățarea bazată pe valoare și învățarea bazată pe politică.

Tehnicile de învățare bazate pe valoare folosesc algoritmi și arhitecturi precum rețelele neuronale convolutive și Deep-Q-Networks. Aceste algoritmi funcționează prin convertirea imaginii în tonuri de gri și decuparea părților inutile ale imaginii. După aceea, imaginea suferă diverse convoluții și operații de pooling, extrăgând părțile cele mai relevante ale imaginii. Părțile importante ale imaginii sunt apoi folosite pentru a calcula valoarea Q pentru acțiunile diferite pe care le poate lua agentul. Valorile Q sunt folosite pentru a determina cea mai bună acțiune pentru agent. După ce valorile Q inițiale sunt calculate, se efectuează o propagare inversă pentru a determina valorile Q cele mai precise.

Metodele bazate pe politică sunt utilizate atunci când numărul de acțiuni posibile pe care le poate lua agentul este extrem de mare, ceea ce este de obicei cazul în scenariile din lumea reală. Situațiile de acest fel necesită o abordare diferită, deoarece calcularea valorilor Q pentru toate acțiunile individuale nu este practică. Abordările bazate pe politică funcționează fără a calcula valorile funcțiilor pentru acțiuni individuale. În schimb, adoptă politici prin învățarea politicii direct, adesea prin tehnici numite Policy Gradients.

Policy Gradients funcționează prin primirea unui stat și calcularea probabilităților pentru acțiuni pe baza experiențelor anterioare ale agentului. Acțiunea cea mai probabilă este apoi selectată. Acest proces se repetă până la sfârșitul perioadei de evaluare, iar recompensele sunt oferite agentului. După ce recompensele au fost oferite agentului, parametrii rețelei sunt actualizați prin propagare inversă.

Ce este Q-Learning?

Deoarece Q-Learning este o parte atât de importantă a procesului de învățare profundă a consolidării, să aruncăm o privire mai atentă la modul în care funcționează sistemul Q-Learning.

Procesul Decizional Markov

Un proces decizional Markov. Fotografie: waldoalvarez via Pixabay, Pixbay License (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

Pentru ca un agent de inteligență artificială să poată efectua o serie de sarcini și să ajungă la un obiectiv, agentul trebuie să poată face față unei secvențe de stări și evenimente. Agentul va începe într-o stare și trebuie să ia o serie de acțiuni pentru a ajunge la o stare finală, iar între starea inițială și starea finală pot exista un număr imens de stări. Stocarea informațiilor despre fiecare stare este impractică sau imposibilă, astfel încât sistemul trebuie să găsească o modalitate de a păstra doar informațiile despre starea curentă și starea anterioară. Acest lucru se realizează prin utilizarea unui Proces Decizional Markov, care păstrează doar informațiile despre starea curentă și starea anterioară. Fiecare stare urmează o proprietate Markov, care urmărește modul în care agentul se schimbă de la starea anterioară la starea curentă.

Q-Learning Profund

Odată ce modelul are acces la informații despre stările mediului de învățare, valorile Q pot fi calculate. Valorile Q sunt recompensa totală oferită agentului la sfârșitul unei secvențe de acțiuni.

Valorile Q sunt calculate printr-o serie de recompense. Există o recompensă imediată, calculată la starea curentă și în funcție de acțiunea curentă. Valoarea Q pentru starea următoare este calculată, împreună cu valoarea Q pentru starea de după, și așa mai departe, până când toate valorile Q pentru stările diferite au fost calculate. Există, de asemenea, un parametru Gamma care este utilizat pentru a controla cât de mult greutate au recompensele viitoare asupra acțiunilor agentului. Politicile sunt calculate, de obicei, prin inițializarea aleatorie a valorilor Q și lăsarea modelului să converge către valorile Q optime pe parcursul antrenamentului.

Rețele Q-Profunde

Una dintre problemele fundamentale legate de utilizarea Q-Learning pentru învățarea prin consolidare este că cantitatea de memorie necesară pentru stocarea datelor crește rapid pe măsură ce numărul de stări crește. Rețelele Q-Profunde rezolvă această problemă prin combinarea modelelor de rețele neuronale cu valorile Q, permițând unui agent să învețe din experiență și să facă presupuneri rezonabile despre cele mai bune acțiuni de întreprins. Cu Q-Learning profund, funcțiile valorilor Q sunt estimate cu rețele neuronale. Rețeaua neuronală ia starea ca intrare și oferă valoarea Q pentru toate acțiunile posibile pe care le poate lua agentul.

Q-Learning profund se realizează prin stocarea tuturor experiențelor trecute în memorie, calcularea ieșirilor maxime pentru rețeaua Q și utilizarea unei funcții de pierdere pentru a calcula diferența dintre valorile curente și valorile teoretice maxime posibile.

Învățarea Profundă a Consolidării vs Învățarea Profundă

O diferență importantă între învățarea profundă a consolidării și învățarea profundă regulată este că, în cazul primului, intrările sunt în schimbare constant, ceea ce nu este cazul învățării profunde tradiționale. Cum poate modelul de învățare să țină cont de intrările și ieșirile care se schimbă constant?

În esență, pentru a ține cont de divergența dintre valorile prezise și valorile țintă, pot fi utilizate două rețele neuronale în loc de una. O rețea estimează valorile țintă, în timp ce cealaltă rețea este responsabilă de predicții. Parametrii rețelei țintă sunt actualizați pe măsură ce modelul învață, după un număr ales de iterații de antrenament. Ieșirile rețelelor respective sunt apoi combinate pentru a determina diferența.

Învățarea Bazată pe Politică

Învățarea bazată pe politică funcționează diferit decât abordările bazate pe valoarea Q. În timp ce abordările bazate pe valoarea Q creează o funcție de valoare care prezice recompense pentru stări și acțiuni, metodele bazate pe politică determină o politică care va mapa stări la acțiuni. Cu alte cuvinte, funcția de politică care selectează acțiuni este optimizată direct, fără a ține cont de funcția de valoare.

Gradientul Politicii

O politică pentru învățarea profundă a consolidării se încadrează în una dintre două categorii: stohastică sau deterministă. O politică deterministă este una în care stările sunt mapate la acțiuni, ceea ce înseamnă că atunci când politica primește informații despre o stare, o acțiune este returnată. În schimb, politicile stohastice returnează o distribuție de probabilitate pentru acțiuni în loc de o singură acțiune discretă.

Politicile deterministe sunt utilizate atunci când nu există nicio incertitudine cu privire la rezultatele acțiunilor care pot fi luate. Cu alte cuvinte, atunci când mediul în sine este determinist. În contrast, ieșirile politicii stohastice sunt adecvate pentru medii în care rezultatul acțiunilor este incert. De obicei, scenariile de învățare prin consolidare implică un anumit grad de incertitudine, astfel încât politicile stohastice sunt utilizate.

Abordările bazate pe gradientul politicii au câteva avantaje față de abordările Q-Learning, precum și câteva dezavantaje. În ceea ce privește avantaje, metodele bazate pe politică converg către parametrii optimi mai rapid și mai fiabil. Gradientul politicii poate fi urmat până când se determină cei mai buni parametri, în timp ce metodele bazate pe valoare pot duce la schimbări mici în valorile estimate ale acțiunilor, ceea ce poate determina schimbări mari în acțiuni și parametrii lor asociați.

Gradientul politicii funcționează mai bine pentru spații de acțiuni de dimensiuni mari. Când există un număr extrem de mare de acțiuni posibile, Q-Learning profund devine impractic din cauza faptului că trebuie să atribuie un scor fiecărei acțiuni posibile pentru toate pașii temporal. Cu metodele bazate pe politică, parametrii sunt ajustați în timp, iar numărul de parametri optimi posibili scade rapid pe măsură ce modelul converge.

Gradientul politicii este, de asemenea, capabil să implementeze politici stohastice, spre deosebire de politicile bazate pe valoare. Deoarece politicile stohastice produc o distribuție de probabilitate, nu este necesară implementarea unui compromis între explorare și exploatare.

În ceea ce privește dezavantaje, principalul dezavantaj al gradientului politicii este că poate rămâne blocat în timpul căutării parametrilor optimi, concentrându-se doar pe un set îngust de valori optime locale, în loc de valorile optime globale.

Funcția de Scor a Politicii

Politicile utilizate pentru a optimiza performanța unui model au ca scop maximizarea unei funcții de scor – J(θ). Dacă J(θ) este o măsură a cât de bună este politica noastră pentru atingerea obiectivului dorit, putem găsi valorile “θ” care ne oferă cea mai bună politică. Mai întâi, trebuie să calculăm o recompensă de politică anticipată. Estimăm recompensa politicii, astfel încât să avem un obiectiv, ceva de optimizat. Funcția de Scor a Politicii este modul în care calculăm recompensa anticipată a politicii, iar există diferite funcții de scor ale politicii care sunt utilizate în mod obișnuit, cum ar fi valorile de start pentru medii episodice, valoarea medie pentru medii continue și recompensa medie pe pas de timp.

Urcușul Gradientului Politicii

Urcușul gradientului are ca scop deplasarea parametrilor până când aceștia se află în locul în care scorul este cel mai ridicat. Fotografie: Public Domain (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

După ce se utilizează funcția de scor a politicii dorită și se calculează recompensa anticipată a politicii, putem găsi o valoare pentru parametru “θ” care maximizează funcția de scor. Pentru a maximiza funcția de scor J(θ), se utilizează o tehnică numită “urcușul gradientului”. Urcușul gradientului este similar în concept cu coborârea gradientului în învățarea profundă, dar noi optimizăm pentru creșterea cea mai abruptă, în loc de scădere. Acest lucru se datorează faptului că scorul nostru nu este “eroare”, ca în multe probleme de învățare profundă. Scorul nostru este ceva pe care dorim să-l maximizăm. O expresie numită Teorema Gradientului Politicii este utilizată pentru a estima gradientul în raport cu politica “θ”.

Rezumat al Învățării Profunde a Consolidării

În rezumat, învățarea profundă a consolidării combină aspecte ale învățării prin consolidare și rețele neuronale profunde. Învățarea profundă a consolidării se realizează prin două tehnici diferite: Q-Learning profund și gradientul politicii.

Metodele de Q-Learning profund își propun să prezică care vor fi recompensele care vor urma anumitor acțiuni luate într-o stare dată, în timp ce abordările bazate pe gradientul politicii își propun să optimizeze spațiul de acțiuni, prezicând acțiunile însele. Abordările bazate pe politică pentru învățarea profundă a consolidării sunt fie deterministe, fie stohastice în natură. Politicile deterministe mapă stări direct la acțiuni, în timp ce politicile stohastice produc distribuții de probabilitate pentru acțiuni.