Vad är Deep Reinforcement Learning?

Vad är Deep Reinforcement Learning?

Tillsammans med oövervakad maskinlärning och övervakad inlärning är en annan vanlig form av AI-skapande förstärkt inlärning. Utöver vanlig förstärkt inlärning kan djup förstärkt inlärning leda till förbluffande imponerande resultat, tack vare att den kombinerar de bästa aspekterna av både djupinlärning och förstärkt inlärning. Låt oss ta en titt på exakt hur djup förstärkt inlärning fungerar.

Innan vi dyker in i djup förstärkt inlärning kan det vara en bra idé att fräscha upp oss på hur vanlig förstärkt inlärning fungerar. I förstärkt inlärning designas målorienterade algoritmer genom en process av trial and error, med syfte att optimera för den åtgärd som leder till det bästa resultatet / den åtgärd som ger den mest “belöning”. När förstärkt inlärningsalgoritmer tränas får de “belöningar” eller “straff” som påverkar vilka åtgärder de kommer att vidta i framtiden. Algoritmerna försöker hitta en uppsättning åtgärder som kommer att ge systemet den mest belöning, med balans mellan omedelbara och framtida belöningar.

Förstärkt inlärningsalgoritmer är mycket kraftfulla eftersom de kan tillämpas på nästan alla uppgifter, kunna flexibelt och dynamiskt lära sig från en miljö och upptäcka möjliga åtgärder.

Översikt av Deep Reinforcement Learning

Foto: Megajuice via Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

När det gäller djup förstärkt inlärning representeras vanligtvis miljön med bilder. En bild är en ögonblicksbild av miljön vid en viss tidpunkt. Agenten måste analysera bilderna och extrahera relevant information från dem, med användning av informationen för att informera vilken åtgärd de ska vidta. Djup förstärkt inlärning utförs vanligtvis med en av två olika tekniker: värdebaserad inlärning och policybaserad inlärning.

Värdebaserade inlärningstekniker använder algoritmer och arkitekturer som konvolutionsneuronnät och Deep-Q-Nätverk. Dessa algoritmer fungerar genom att omvandla bilden till gråskala och klippa ut onödiga delar av bilden. Efteråt genomgår bilden olika konvolutioner och poolningsoperationer, extraherar de viktigaste delarna av bilden. De viktiga delarna av bilden används sedan för att beräkna Q-värdet för de olika åtgärder som agenten kan vidta. Q-värden används för att bestämma den bästa kursen för agenten. Efter att de initiala Q-värdena har beräknats, utförs bakåtpropagering för att de mest precisa Q-värdena ska kunna bestämmas.

Policybaserade metoder används när antalet möjliga åtgärder som agenten kan vidta är extremt högt, vilket vanligtvis är fallet i verkliga scenarier. Sådana situationer kräver en annan approach eftersom beräkning av Q-värden för alla enskilda åtgärder inte är praktiskt. Policybaserade tillvägagångssätt opererar utan att beräkna funktionsvärden för enskilda åtgärder. Istället antar de policyer genom att lära sig policyn direkt, ofta genom tekniker som kallas Policy Gradients.

Policygradients fungerar genom att ta emot en tillstånd och beräkna sannolikheter för åtgärder baserat på agentens tidigare erfarenheter. Den mest sannolika åtgärden väljs sedan. Denna process upprepas tills slutet av utvärderingsperioden och belöningarna ges till agenten. Efter att belöningarna har hanterats uppdateras nätverksparametrarna med bakåtpropagering.

Vad är Q-Learning?

Eftersom Q-Learning är en så stor del av djup förstärkt inlärningsprocessen, låt oss ta lite tid att förstå hur Q-lärandesystemet fungerar.

Markovbeslutprocessen

En markovbeslutprocess. Foto: waldoalvarez via Pixabay, Pixbay-licens (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

För att en AI-agent ska kunna utföra en serie uppgifter och nå ett mål, måste agenten kunna hantera en sekvens av tillstånd och händelser. Agenten börjar i ett tillstånd och måste vidta en serie åtgärder för att nå ett slutligt tillstånd, och det kan finnas ett stort antal tillstånd mellan början och slut. Att lagra information om varje tillstånd är opraktiskt eller omöjligt, så systemet måste hitta ett sätt att bevara endast den mest relevanta tillståndsinformationen. Detta uppnås genom användning av en Markovbeslutprocess, som bevarar endast informationen om det aktuella tillståndet och det föregående tillståndet. Varje tillstånd följer en Markov-egenskap, som spårar hur agenten ändrar från det föregående tillståndet till det aktuella tillståndet.

Djup Q-Lärande

När modellen har tillgång till information om tillstånden i inlärningsmiljön, kan Q-värden beräknas. Q-värdena är den totala belöning som ges till agenten i slutet av en sekvens av åtgärder.

Q-värdena beräknas med en serie belöningar. Det finns en omedelbar belöning, beräknad vid det aktuella tillståndet och beroende på den aktuella åtgärden. Q-värdet för det efterföljande tillståndet beräknas också, tillsammans med Q-värdet för tillståndet efter det, och så vidare tills alla Q-värden för de olika tillstånden har beräknats. Det finns också en Gamma-parameter som används för att kontrollera hur mycket vikt framtida belöningar har på agentens åtgärder. Policier beräknas vanligtvis genom att slumpmässigt initiera Q-värden och låta modellen konvergera mot de optimala Q-värdena under utbildningens gång.

Djupa Q-Nätverk

En av de grundläggande problemen med att använda Q-lärande för förstärkt inlärning är att mängden minne som krävs för att lagra data snabbt expanderar när antalet tillstånd ökar. Djupa Q-Nätverk löser detta problem genom att kombinera neuronnätmodeller med Q-värden, vilket möjliggör för en agent att lära sig från erfarenhet och göra rimliga gissningar om de bästa åtgärderna att vidta. Med djup Q-lärande uppskattas Q-värdéfunktionerna med neuronnät. Neuronnätet tar tillståndet som indata, och nätverket producerar Q-värde för alla möjliga åtgärder som agenten kan vidta.

Djup Q-lärande uppnås genom att lagra alla tidigare erfarenheter i minnet, beräkna maximala utdata för Q-nätverket och sedan använda en förlustfunktion för att beräkna skillnaden mellan aktuella värden och de teoretiskt högsta möjliga värdena.

Djup Förstärkt Inlärning vs Djup Inlärning

En viktig skillnad mellan djup förstärkt inlärning och vanlig djup inlärning är att i fallet med den förra är inmatningarna konstant föränderliga, vilket inte är fallet i traditionell djup inlärning. Hur kan inlärningsmodellen ta hänsyn till inmatningar och utmatningar som är konstant föränderliga?

I princip, för att ta hänsyn till avvikelsen mellan förutsagda värden och målvärden, kan två neuronnätverk användas istället för ett. Ett nätverk uppskattar målvärdena, medan det andra nätverket är ansvarigt för förutsägelserna. Parametrarna för målnätverket uppdateras när modellen lär sig, efter att ett visst antal utbildningsiterationer har passerat. Utmatningarna från respektive nätverk kombineras sedan för att bestämma skillnaden.

Policybaserad Inlärning

Policybaserad inlärning tillvägagångssätt fungerar annorlunda än Q-värdebaserade tillvägagångssätt. Medan Q-värdestillvägagångssätt skapar en värdefunktion som förutsäger belöningar för tillstånd och åtgärder, bestämmer policybaserade metoder en policy som kommer att mappa tillstånd till åtgärder. Med andra ord, policyfunktionen som väljer åtgärder optimeras direkt utan hänsyn till värdefunktionen.

Policy Gradients

En policy för djup förstärkt inlärning faller in i en av två kategorier: stokastisk eller deterministisk. En deterministisk policy är en där tillstånd mappas till åtgärder, vilket innebär att när policyn får information om ett tillstånd returneras en åtgärd. Medan stokastiska policys returnerar en sannolikhetsfördelning för åtgärder istället för en enskild, diskret åtgärd.

Deterministiska policys används när det inte finns någon osäkerhet om resultaten av de åtgärder som kan vidtas. Med andra ord, när miljön i sig är deterministisk. I kontrast är stokastiska policyutmatningar lämpliga för miljöer där resultaten av åtgärder är osäkra. Vanligtvis innehåller förstärkt inlärningsscenarier en viss grad av osäkerhet, så stokastiska policys används.

Policygradienttillvägagångssätt har flera fördelar jämfört med Q-lärandetillvägagångssätt, samt några nackdelar. När det gäller fördelar konvergerar policybaserade metoder snabbare och mer tillförlitligt till optimala parametrar. Policygradienten kan bara följas tills de bästa parametrarna bestäms, medan värdebaserade metoder kan leda till stora förändringar i åtgärder och deras associerade parametrar när de uppskattade åtgärds-värdena förändras.

Policygradients fungerar bättre för högdimensionella åtgärdsutrymmen. När det finns ett extremt stort antal möjliga åtgärder att vidta, blir djup Q-lärande opraktiskt eftersom det måste tilldela en poäng till varje möjlig åtgärd för alla tidssteg, vilket kan vara omöjligt beräkningsmässigt. Men med policybaserade metoder justeras parametrarna över tiden och antalet möjliga bästa parametrar minskar snabbt när modellen konvergerar.

Policygradients är också kapabla att implementera stokastiska policys, till skillnad från värdebaserade policys. Eftersom stokastiska policys producerar en sannolikhetsfördelning, behöver en utforskning / exploateringstrade-off inte implementeras.

När det gäller nackdelar är den främsta nackdelen med policygradients att de kan fastna medan de söker efter optimala parametrar, fokuserar endast på en smal, lokal uppsättning optimala värden istället för de globala optimala värdena.

Policy Poängfunktion

De policys som används för att optimera en modells prestanda syftar till att maximera en poängfunktion – J(θ). Om J(θ) är ett mått på hur bra vår policy är för att uppnå det önskade målet, kan vi hitta värdena på “θ” som ger oss den bästa policyn. Först måste vi beräkna en förväntad policybelöning. Vi uppskattar policybelöningen så att vi har ett mål, något att optimera mot. Policy Poängfunktionen är hur vi beräknar den förväntade policybelöningen, och det finns olika Policy Poängfunktioner som vanligtvis används, såsom: startvärden för episodiska miljöer, genomsnittsvärdet för kontinuerliga miljöer och genomsnittsbelöningen per tidssteg.

Policy Gradient Stigning

Gradientstigning syftar till att flytta parametrarna tills de är på den plats där poängen är högst. Foto: Public Domain (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

Efter att den önskade Policy Poängfunktionen har använts och en förväntad policybelöning har beräknats, kan vi hitta ett värde för parametern “θ” som maximalt poängfunktionen. För att maximera poängfunktionen J(θ), används en teknik som kallas “gradientstigning”. Gradientstigning är liknande i koncept till gradientnedstigning i djup inlärning, men vi optimerar för den brantaste ökningen istället för minskningen. Detta beror på att vår poäng inte är “fel”, som i många djupinlärningsproblem. Vår poäng är något vi vill maximera. Ett uttryck som kallas Policy Gradient Theorem används för att uppskatta gradienten i förhållande till policy “θ“.

Sammanfattning av Deep Reinforcement Learning

Sammanfattningsvis kombinerar djup förstärkt inlärning aspekter av förstärkt inlärning och djupa neuronnät. Djup förstärkt inlärning utförs med två olika tekniker: Djup Q-lärande och policygradients.

Djup Q-lärandemetoder syftar till att förutsäga vilka belöningar som kommer att följa vissa åtgärder som vidtas i ett visst tillstånd, medan policygradienttillvägagångssätt syftar till att optimera åtgärdsutrymmet, förutsäga åtgärderna själva. Policybaserade tillvägagångssätt för djup förstärkt inlärning är antingen deterministiska eller stokastiska i naturen. Deterministiska policys mappar tillstånd direkt till åtgärder, medan stokastiska policys producerar sannolikhetsfördelningar för åtgärder.