Hvad er Dyb Forstærket Læring?

Hvad er Dyb Forstærket Læring?

Sammen med usuperviseret maskinlæring og superviseret læring er en anden almindelig form for AI-skabelse forstærket læring. Ud over almindelig forstærket læring kan dyb forstærket læring føre til forbløffende imponerende resultater, takket være det faktum, at det kombinerer de bedste aspekter af både dyb læring og forstærket læring. Lad os kaste et blik på, hvordan dyb forstærket læring fungerer.

Før vi dykker ned i dyb forstærket læring, kan det være en god idé at frisk op vores viden om, hvordan almindelig forstærket læring fungerer. I forstærket læring er målrettede algoritmer designet gennem en proces af prøve og fejl, hvor man optimerer for den handling, der fører til den bedste resultat/den handling, der giver den mest “belønning”. Når forstærket læring-algoritmer trænes, gives de “belønninger” eller “straffe”, der påvirker, hvilke handlinger de vil udføre i fremtiden. Algoritmerne prøver at finde en samling af handlinger, der vil give systemet den mest belønning, hvor både umiddelbare og fremtidige belønninger balanceres.

Forstærket læring-algoritmer er meget kraftfulde, fordi de kan anvendes på næsten alle opgaver, og de kan fleksibelt og dynamisk lære fra en omgang og opdage mulige handlinger.

Overblik over Dyb Forstærket Læring

Billede: Megajuice via Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

Når det kommer til dyb forstærket læring, repræsenteres omgangen typisk med billeder. Et billede er en optagelse af omgangen på et bestemt tidspunkt. Agenten må analysere billederne og udtrække relevante oplysninger fra dem, og bruge oplysningerne til at informere, hvilken handling de skal udføre. Dyb forstærket læring udføres typisk med en af to forskellige teknikker: værdibaseret læring og politikbaseret læring.

Værdibaserede læringsteknikker anvender algoritmer og arkitekturer som convolutionelle neurale netværk og Deep-Q-Netværk. Disse algoritmer fungerer ved at konvertere billedet til gråtone og klippe unødvendige dele af billedet ud. Efterfølgende undergår billedet forskellige konvolutioner og pooling-operationer, hvor de mest relevante dele af billedet udtrækkes. De vigtige dele af billedet bruges herefter til at beregne Q-værdien for de forskellige handlinger, agenten kan udføre. Q-værdierne bruges til at bestemme den bedste handling for agenten. Efter de oprindelige Q-værdier er beregnet, udføres backpropagation, så de mest præcise Q-værdier kan bestemmes.

Politikbaserede metoder anvendes, når antallet af mulige handlinger, agenten kan udføre, er ekstremt højt, hvilket typisk er tilfældet i virkelige scenarier. Situationer som disse kræver en anden tilgang, fordi beregning af Q-værdier for alle enkelt handlinger ikke er praktisk. Politikbaserede tilgange fungerer uden at beregne funktionværdier for enkelt handlinger. I stedet antager de politikker ved at lære politikken direkte, ofte gennem teknikker kaldet Policy Gradients.

Policy-gradients fungerer ved at modtage en tilstand og beregne sandsynligheder for handlinger baseret på agentens tidligere erfaringer. Den mest sandsynlige handling vælges herefter. Denne proces gentages, indtil evalueringens slutning, og belønningerne gives til agenten. Efter belønningerne er blevet behandlet, opdateres netværksparametrene med backpropagation.

Hvad er Q-Læring?

Da Q-læring er en stor del af dyb forstærket læring, skal vi tage os tid til at forstå, hvordan Q-læringssystemet fungerer.

Markov Beslutningsproces

En Markov beslutningsproces. Billede: waldoalvarez via Pixabay, Pixbay License (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

For at en AI-agent kan udføre en række opgaver og nå et mål, må agenten kunne håndtere en sekvens af tilstande og begivenheder. Agenten starter i en tilstand og må udføre en række handlinger for at nå en sluttilstand, og der kan være et enormt antal tilstande mellem start- og sluttilstanden. At gemme oplysninger om hver enkelt tilstand er upraktisk eller umuligt, så systemet må finde en måde at bevare kun den mest relevante tilstandsoplysning på. Dette opnås gennem brug af en Markov beslutningsproces, der kun bevare oplysninger om den nuværende tilstand og den foregående tilstand. Hver tilstand følger en Markov egenskab, der sporer, hvordan agenten ændrer sig fra den foregående tilstand til den nuværende tilstand.

Dyb Q-Læring

Når modellen har adgang til oplysninger om tilstandene i læringsemiljøet, kan Q-værdierne beregnes. Q-værdierne er den samlede belønning, der gives til agenten ved sekvensens slutning.

Q-værdierne beregnes ved hjælp af en række belønninger. Der er en umiddelbar belønning, beregnet på den nuværende tilstand og afhængig af den nuværende handling. Q-værdien for den efterfølgende tilstand beregnes også, sammen med Q-værdien for tilstanden efter den, og så videre, indtil alle Q-værdier for de forskellige tilstande er beregnet. Der er også en Gamma-parameter, der bruges til at kontrollere, hvor meget vægt fremtidige belønninger har på agentens handlinger. Politikker beregnes typisk ved at tilfældigt initialisere Q-værdier og lade modellen konvergere mod de optimale Q-værdier under træningen.

Dyb Q-Netværk

Et af de grundlæggende problemer ved brug af Q-læring til forstærket læring er, at mængden af hukommelse, der kræves til at gemme data, vokser hurtigt, når antallet af tilstande øges. Dyb Q-Netværk løser dette problem ved at kombinere neurale netværksmodeller med Q-værdier, hvilket ermöglicer, at en agent kan lære fra erfaring og gøre rimelige gæt om, hvilke handlinger der er bedst at udføre. Med dyb Q-læring estimeres Q-værdifunktionerne med neurale netværk. Det neurale netværk tager tilstanden som inputdata, og netværket udgang Q-værdi for alle mulige handlinger, agenten kan udføre.

Dyb Q-læring opnås ved at gemme alle tidligere erfaringer i hukommelse, beregne maksimumudgang for Q-netværket og derefter bruge en tab-funktion til at beregne forskellen mellem nuværende værdier og de teoretiske højeste mulige værdier.

Dyb Forstærket Læring vs. Dyb Læring

En vigtig forskel mellem dyb forstærket læring og almindelig dyb læring er, at i tilfældet af den førstnævnte er input konstant ændrende, hvilket ikke er tilfældet i traditionel dyb læring. Hvordan kan læringmodellen tage hensyn til input og output, der konstant skifter?

I essensen kan to neurale netværk bruges i stedet for ét til at tage hensyn til forskellen mellem forventede værdier og målværdier. Et netværk estimerer målværdierne, mens det andet netværk er ansvarligt for forudsigelserne. Parametrene for mål-netværket opdateres, efter at modellen har lært, efter et valgt antal træningsiterationer er passeret. Output fra de respektive netværk kombineres herefter for at bestemme forskellen.

Politikbaseret Læring

Politikbaseret læring tilgange fungerer anderledes end Q-værdi-baserede tilgange. Mens Q-værdi-tilgange opretter en værdifunktion, der forudser belønninger for tilstande og handlinger, bestemmer politikbaserede metoder en politik, der vil tilknytte tilstande til handlinger. Med andre ord, politikfunktionen, der vælger handlinger, optimeres direkte uden hensyn til værdifunktionen.

Politik Gradients

En politik for dyb forstærket læring falder i en af to kategorier: stokastisk eller deterministisk. En deterministisk politik er en, hvor tilstande tilknyttes handlinger, hvilket betyder, at når politikken gives oplysninger om en tilstand, returneres en handling. Imens returnerer stokastiske politikker en sandsynlighedsfordeling for handlinger i stedet for en enkelt, diskret handling.

Deterministiske politikker bruges, når der ikke er usikkerhed omkring resultaterne af de handlinger, der kan udføres. Med andre ord, når omgangen i sig selv er deterministisk. I modsætning hertil er stokastiske politik-outputs passende for omgange, hvor resultatet af handlinger er usikkert. Typisk indebærer forstærket læringsscenarier en vis grad af usikkerhed, så stokastiske politikker bruges.

Politik gradient-tilgange har en række fordele over Q-læring-tilgange, samt en række ulemper. I fordelene konvergerer politikbaserede metoder hurtigere og mere pålideligt til optimale parametre. Politikgradienten kan blot følges, indtil de bedste parametre er bestemt, hvorimod værdibaserede metoder kan føre til store ændringer i estimerede handlingsværdier og deres tilhørende parametre.

Politikgradients fungerer bedre for højdimensionale handlingsrum. Når der er et ekstremt højt antal mulige handlinger at udføre, bliver dyb Q-læring upraktisk, fordi den må tildele en score til hver enkelt handling for alle tidssteg, hvilket kan være umuligt komputationelt. Imidlertid kan politikbaserede metoder justere parametrene over tid, og antallet af mulige bedste parametre skrumper hurtigt, efterhånden som modellen konvergerer.

Politikgradients er også i stand til at implementere stokastiske politikker, til forskel fra værdibaserede politikker. Fordi stokastiske politikker producerer en sandsynlighedsfordeling, behøver en udforskning/udnyttelses-trade-off ikke implementeres.

I forbindelse med ulemper er den primære ulempe ved politikgradients, at de kan blive fastlåst under søgningen efter optimale parametre, hvor de kun fokuserer på et snævert, lokalt sæt af optimumværdier i stedet for de globale optimumværdier.

Politik Score Funktion

De politikker, der bruges til at optimere en models præstation, sigter mod at at maksimere en score-funktion – J(θ). Hvis J(θ) er et mål for, hvor god vores politik er til at opnå det ønskede mål, kan vi finde værdierne af “θ”, der giver os den bedste politik. Først må vi beregne en forventet politikbelønning. Vi estimerer politikbelønningen, så vi har et mål, noget at optimere imod. Politik Score Funktionen er, hvordan vi beregner den forventede politikbelønning, og der er forskellige Politik Score Funktioner, der ofte bruges, såsom: startværdier for episodiske omgange, den gennemsnitlige værdi for kontinuerte omgange og den gennemsnitlige belønning per tidssteg.

Politik Gradient Stigning

Gradient stigning sigter mod at flytte parametrene, indtil de er på det sted, hvor scoren er højest. Billede: Public Domain (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

Efter den ønskede Politik Score Funktion er brugt, og en forventet politikbelønning er beregnet, kan vi finde en værdi for parameteren “θ”, der maksimerer score-funktionen. For at maksimere score-funktionen J(θ) bruges en teknik kaldet “gradient stigning”. Gradient stigning er lignende i koncept til gradient afstigning i dyb læring, men vi optimerer for den stejleste stigning i stedet for afstigning. Dette skyldes, at vores score ikke er “fejl”, som i mange dyb læring-problemer. Vores score er noget, vi ønsker at maksimere. En udtryk kaldet Politik Gradient Teoremet bruges til at estimere gradienten i forhold til politik “θ”.

Resumé af Dyb Forstærket Læring

I resumé kombinerer dyb forstærket læring aspekter af forstærket læring og dybe neurale netværk. Dyb forstærket læring udføres med to forskellige teknikker: Dyb Q-læring og politikgradients.

Dyb Q-læringsteknikker sigter mod at forudsige, hvilke belønninger der følger bestemte handlinger, der udføres i en given tilstand, mens politikgradient-tilgange sigter mod at optimere handlingsrummet, hvor handlingerne selv forudses. Politikbaserede tilgange til dyb forstærket læring er enten deterministiske eller stokastiske i natur. Deterministiske politikker tilknytter tilstande direkte til handlinger, mens stokastiske politikker producerer sandsynlighedsfordelinger for handlinger.