Was ist Deep Reinforcement Learning?

Was ist Deep Reinforcement Learning?

Neben unsupervised Machine Learning und supervised Learning ist eine weitere gängige Form der KI-Erstellung das Reinforcement Learning. Jenseits des regulären Reinforcement Learning kann Deep Reinforcement Learning aufgrund der Tatsache, dass es die besten Aspekte von Deep Learning und Reinforcement Learning kombiniert, zu erstaunlich beeindruckenden Ergebnissen führen. Lassen Sie uns sehen, wie Deep Reinforcement Learning genau funktioniert.

Bevor wir uns mit Deep Reinforcement Learning befassen, könnte es eine gute Idee sein, uns daran zu erinnern, wie reguläres Reinforcement Learning funktioniert. Bei Reinforcement Learning werden zielorientierte Algorithmen durch einen Prozess von Trial und Error entworfen, der darauf abzielt, die Aktion zu optimieren, die zum besten Ergebnis führt, also die Aktion, die den meisten “Lohn” bringt. Wenn Reinforcement-Learning-Algorithmen trainiert werden, erhalten sie “Belohnungen” oder “Bestrafungen”, die beeinflussen, welche Aktionen sie in Zukunft ausführen werden. Die Algorithmen versuchen, eine Reihe von Aktionen zu finden, die dem System den größten Lohn bringen, wobei sowohl sofortige als auch zukünftige Belohnungen berücksichtigt werden.

Reinforcement-Learning-Algorithmen sind sehr leistungsfähig, da sie auf fast jede Aufgabe angewendet werden können und flexibel und dynamisch aus einer Umgebung lernen und mögliche Aktionen entdecken können.

Überblick über Deep Reinforcement Learning

Foto: Megajuice via Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

Wenn es um Deep Reinforcement Learning geht, wird die Umgebung normalerweise durch Bilder dargestellt. Ein Bild ist eine Aufnahme der Umgebung zu einem bestimmten Zeitpunkt. Der Agent muss die Bilder analysieren und relevante Informationen daraus extrahieren, um zu bestimmen, welche Aktion er ausführen soll. Deep Reinforcement Learning wird normalerweise mit einer von zwei verschiedenen Techniken durchgeführt: Value-basiertes Lernen und Policy-basiertes Lernen.

Value-basierte Lernmethoden nutzen Algorithmen und Architekturen wie konvolutionale neuronale Netze und Deep-Q-Netzwerke. Diese Algorithmen funktionieren, indem sie das Bild in Graustufen umwandeln und unnötige Teile des Bildes ausschneiden. Anschließend unterzieht sich das Bild verschiedenen Konvolutionen und Pooling-Operationen, um die relevantesten Teile des Bildes zu extrahieren. Die wichtigen Teile des Bildes werden dann verwendet, um den Q-Wert für die verschiedenen Aktionen zu berechnen, die der Agent ausführen kann. Q-Werte werden verwendet, um den besten Kurs für den Agenten zu bestimmen. Nachdem die anfänglichen Q-Werte berechnet wurden, wird eine Rückpropagation durchgeführt, um die genauesten Q-Werte zu bestimmen.

Policy-basierte Methoden werden verwendet, wenn die Anzahl der möglichen Aktionen, die der Agent ausführen kann, extrem hoch ist, was normalerweise in realen Szenarien der Fall ist. Solche Situationen erfordern einen anderen Ansatz, da die Berechnung der Q-Werte für alle einzelnen Aktionen nicht praktikabel ist. Policy-basierte Ansätze funktionieren, ohne Funktionen für einzelne Aktionen zu berechnen. Stattdessen werden Richtlinien durch das direkte Lernen der Richtlinie angenommen, oft durch Techniken wie Policy-Gradienten.

Policy-Gradienten funktionieren, indem sie einen Zustand erhalten und Wahrscheinlichkeiten für Aktionen basierend auf den vorherigen Erfahrungen des Agenten berechnen. Die wahrscheinlichste Aktion wird dann ausgewählt. Dieser Prozess wird wiederholt, bis das Ende der Bewertungsperiode erreicht ist und die Belohnungen dem Agenten gegeben werden. Nachdem die Belohnungen dem Agenten gegeben wurden, werden die Parameter des Netzwerks mit Rückpropagation aktualisiert.

Was ist Q-Learning?

Da Q-Learning ein großer Teil des Deep-Reinforcement-Learning-Prozesses ist, sollten wir uns Zeit nehmen, um zu verstehen, wie das Q-Learning-System funktioniert.

Der Markov-Entscheidungsprozess

Ein Markov-Entscheidungsprozess. Foto: waldoalvarez via Pixabay, Pixbay-Lizenz (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

Um eine Reihe von Aufgaben auszuführen und ein Ziel zu erreichen, muss der Agent in der Lage sein, mit einer Folge von Zuständen und Ereignissen umzugehen. Der Agent beginnt in einem Zustand und muss eine Reihe von Aktionen ausführen, um einen Endzustand zu erreichen, und es kann eine enorme Anzahl von Zuständen zwischen dem Anfangs- und Endzustand geben. Die Speicherung von Informationen über jeden Zustand ist unpraktisch oder unmöglich, daher muss das System eine Möglichkeit finden, nur die relevantesten Zustandsinformationen zu speichern. Dies wird durch die Verwendung eines Markov-Entscheidungsprozesses erreicht, der nur die Informationen über den aktuellen Zustand und den vorherigen Zustand speichert. Jeder Zustand folgt einer Markov-Eigenschaft, die verfolgt, wie der Agent vom vorherigen Zustand in den aktuellen Zustand wechselt.

Deep Q-Learning

Sobald das Modell Zugang zu Informationen über die Zustände der Lernumgebung hat, können Q-Werte berechnet werden. Die Q-Werte sind die Gesamtbewertung, die dem Agenten am Ende einer Folge von Aktionen gegeben wird.

Die Q-Werte werden mit einer Reihe von Belohnungen berechnet. Es gibt eine sofortige Belohnung, die im aktuellen Zustand und in Abhängigkeit von der aktuellen Aktion berechnet wird. Der Q-Wert für den nachfolgenden Zustand wird auch berechnet, zusammen mit dem Q-Wert für den Zustand danach, und so weiter, bis alle Q-Werte für die verschiedenen Zustände berechnet wurden. Es gibt auch einen Gamma-Parameter, der verwendet wird, um zu kontrollieren, wie viel Gewicht zukünftige Belohnungen auf die Aktionen des Agenten haben. Richtlinien werden normalerweise berechnet, indem Q-Werte zufällig initialisiert und das Modell konvergiert, um die optimalen Q-Werte über den Trainingsverlauf zu bestimmen.

Deep Q-Netzwerke

Eines der grundlegenden Probleme bei der Verwendung von Q-Learning für Reinforcement Learning ist, dass die Menge an Speicher, die zum Speichern von Daten benötigt wird, schnell anwächst, wenn die Anzahl der Zustände zunimmt. Deep Q-Netzwerke lösen dieses Problem, indem sie neuronale Netzwerke mit Q-Werten kombinieren, sodass der Agent aus Erfahrungen lernen und vernünftige Vermutungen über die besten Aktionen anstellen kann. Bei Deep Q-Learning werden die Q-Wert-Funktionen mit neuronalen Netzen geschätzt. Das neuronale Netz nimmt den Zustand als Eingabedaten und gibt den Q-Wert für alle möglichen Aktionen aus, die der Agent ausführen kann.

Deep Q-Learning wird durchgeführt, indem alle vergangenen Erfahrungen im Speicher gespeichert, die maximalen Ausgaben für das Q-Netzwerk berechnet und dann eine Verlustfunktion verwendet werden, um die Differenz zwischen den aktuellen Werten und den theoretisch höchsten möglichen Werten zu berechnen.

Deep Reinforcement Learning vs Deep Learning

Ein wichtiger Unterschied zwischen Deep Reinforcement Learning und regulärem Deep Learning ist, dass bei Deep Reinforcement Learning die Eingaben ständig wechseln, was bei traditionellem Deep Learning nicht der Fall ist. Wie kann das Lernmodell Eingaben und Ausgaben berücksichtigen, die ständig wechseln?

Im Wesentlichen kann, um die Abweichung zwischen vorhergesagten Werten und Zielwerten zu berücksichtigen, anstelle eines neuronalen Netzwerks zwei neuronale Netzwerke verwendet werden. Ein Netzwerk schätzt die Zielwerte, während das andere Netzwerk für die Vorhersagen verantwortlich ist. Die Parameter des Zielnetzwerks werden aktualisiert, wenn das Modell lernt, nachdem eine bestimmte Anzahl von Trainingsiterationen durchgeführt wurde. Die Ausgaben der jeweiligen Netzwerke werden dann kombiniert, um die Differenz zu bestimmen.

Policy-basiertes Lernen

Policy-basiertes Lernen funktioniert anders als Q-Wert-basierte Ansätze. Während Q-Wert-Ansätze eine Wertefunktion erstellen, die Belohnungen für Zustände und Aktionen vorhersagt, bestimmen policy-basierte Methoden eine Richtlinie, die Zustände auf Aktionen abbildet. Mit anderen Worten, die Richtlinienfunktion, die Aktionen auswählt, wird direkt optimiert, ohne die Wertefunktion zu berücksichtigen.

Policy-Gradienten

Eine Richtlinie für Deep Reinforcement Learning fällt in eine von zwei Kategorien: stochastisch oder deterministisch. Eine deterministische Richtlinie ist eine, bei der Zustände direkt auf Aktionen abgebildet werden, was bedeutet, dass, wenn die Richtlinie Informationen über einen Zustand erhält, eine Aktion zurückgegeben wird. Stochastische Richtlinien geben hingegen eine Wahrscheinlichkeitsverteilung für Aktionen zurück, anstelle einer einzelnen, diskreten Aktion.

Deterministische Richtlinien werden verwendet, wenn es keine Unsicherheit über die Ergebnisse der Aktionen gibt, die ausgeführt werden können. Mit anderen Worten, wenn die Umgebung selbst deterministisch ist. Im Gegensatz dazu sind stochastische Richtlinienausgaben geeignet für Umgebungen, in denen das Ergebnis von Aktionen unsicher ist. Typischerweise beinhalten Reinforcement-Learning-Szenarien ein gewisses Maß an Unsicherheit, daher werden stochastische Richtlinien verwendet.

Policy-Gradienten-Ansätze haben einige Vorteile gegenüber Q-Learning-Ansätzen, sowie einige Nachteile. In Bezug auf Vorteile konvergieren policy-basierte Methoden schneller und zuverlässiger auf optimale Parameter. Der Policy-Gradient kann einfach verfolgt werden, bis die besten Parameter bestimmt sind, während bei wertbasierten Methoden kleine Änderungen in den geschätzten Aktionswerten zu großen Änderungen in Aktionen und ihren zugehörigen Parametern führen können.

Policy-Gradienten funktionieren auch besser für hochdimensionale Aktionen. Wenn es eine extrem hohe Anzahl von möglichen Aktionen gibt, wird Deep Q-Learning unpraktikabel, da es einen Score für jede mögliche Aktion für alle Zeitschritte zuweisen muss, was rechnerisch unmöglich sein kann. Mit policy-basierten Methoden werden die Parameter jedoch im Laufe der Zeit angepasst und die Anzahl der möglichen besten Parameter verringert sich schnell, wenn das Modell konvergiert.

Policy-Gradienten sind auch in der Lage, stochastische Richtlinien umzusetzen, was bei wertbasierten Methoden nicht der Fall ist. Da stochastische Richtlinien eine Wahrscheinlichkeitsverteilung erzeugen, muss kein Kompromiss zwischen Exploration und Ausbeutung implementiert werden.

In Bezug auf Nachteile ist der Hauptnachteil von Policy-Gradienten, dass sie während der Suche nach optimalen Parametern stecken bleiben können, sich auf einen engen, lokalen Satz von Optimalwerten konzentrieren, anstelle von globalen Optimalwerten.

Policy-Score-Funktion

Die Richtlinien, die verwendet werden, um die Leistung eines Modells zu optimieren, zielen darauf ab, eine Score-Funktion zu maximieren – J(θ). Wenn J(θ) ein Maß dafür ist, wie gut unsere Richtlinie für die Erreichung des gewünschten Ziels ist, können wir die Werte von “θ” finden, die uns die beste Richtlinie geben. Zuerst müssen wir eine erwartete Richtlinienbelohnung berechnen. Wir schätzen die Richtlinienbelohnung, um ein Ziel zu haben, auf das wir hin optimieren können. Die Policy-Score-Funktion ist die Methode, mit der wir die erwartete Richtlinienbelohnung berechnen, und es gibt verschiedene Policy-Score-Funktionen, die häufig verwendet werden, wie z.B. Startwerte für episodische Umgebungen, den Durchschnittswert für kontinuierliche Umgebungen und die durchschnittliche Belohnung pro Zeitschritt.

Policy-Gradienten-Anstieg

Gradienten-Anstieg zielt darauf ab, die Parameter so zu bewegen, dass sie an dem Punkt sind, an dem die Bewertung am höchsten ist. Foto: Public Domain (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

Nachdem die gewünschte Policy-Score-Funktion verwendet und eine erwartete Richtlinienbelohnung berechnet wurde, können wir einen Wert für den Parameter “θ” finden, der die Score-Funktion maximiert. Um die Score-Funktion J(θ) zu maximieren, wird eine Technik namens “Gradienten-Anstieg” verwendet. Gradienten-Anstieg ist ähnlich wie Gradienten-Abstieg im Deep Learning, aber wir optimieren für den steilsten Anstieg anstelle des Abstiegs. Dies liegt daran, dass unsere Bewertung nicht “Fehler” ist, wie in vielen Deep-Learning-Problemen. Unsere Bewertung ist etwas, das wir maximieren möchten. Ein Ausdruck namens Policy-Gradienten-Theorem wird verwendet, um den Gradienten in Bezug auf die Richtlinie “θ” zu schätzen.

Zusammenfassung von Deep Reinforcement Learning

Zusammenfassend kombiniert Deep Reinforcement Learning Aspekte von Reinforcement Learning und Deep-Neural-Netzwerken. Deep Reinforcement Learning wird mit zwei verschiedenen Techniken durchgeführt: Deep Q-Learning und Policy-Gradienten.

Deep Q-Learning-Methoden zielen darauf ab, vorherzusagen, welche Belohnungen auf bestimmte Aktionen in einem gegebenen Zustand folgen, während policy-basierte Ansätze darauf abzielen, den Aktionenraum zu optimieren, indem sie die Aktionen selbst vorhersagen. Policy-basierte Ansätze für Deep Reinforcement Learning sind entweder deterministisch oder stochastisch in der Natur. Deterministische Richtlinien ordnen Zustände direkt Aktionen zu, während stochastische Richtlinien Wahrscheinlichkeitsverteilungen für Aktionen erzeugen.