Was ist Reinforcement Learning?

Was ist Reinforcement Learning?

Reinforcement Learning ist einfach ausgedrückt eine maschinelle Lernmethode, die darin besteht, einen künstlichen Intelligenz-Agenten durch die Wiederholung von Aktionen und assoziierten Belohnungen zu trainieren. Ein Reinforcement-Learning-Agent experimentiert in einer Umgebung, nimmt Aktionen vor und wird belohnt, wenn die richtigen Aktionen ausgeführt werden. Im Laufe der Zeit lernt der Agent, die Aktionen auszuführen, die seine Belohnung maximieren. Das ist eine kurze Definition von Reinforcement Learning, aber ein genauerer Blick auf die Konzepte hinter Reinforcement Learning hilft Ihnen, ein besseres, intuitiveres Verständnis davon zu erlangen.

Der Begriff “Reinforcement Learning” ist von dem Konzept der Verstärkung in der Psychologie abgeleitet. Aus diesem Grund sollten wir uns einen Moment Zeit nehmen, um das psychologische Konzept der Verstärkung zu verstehen. Im psychologischen Sinne bezieht sich der Begriff Verstärkung auf etwas, das die Wahrscheinlichkeit erhöht, dass eine bestimmte Reaktion/Aktion auftritt. Dieses Konzept der Verstärkung ist eine zentrale Idee der Theorie der operanten Konditionierung, die ursprünglich von dem Psychologen B.F. Skinner vorgeschlagen wurde. In diesem Zusammenhang ist Verstärkung alles, was die Häufigkeit eines bestimmten Verhaltens erhöht. Wenn wir an mögliche Verstärkungen für Menschen denken, können diese Dinge wie Lob, eine Gehaltserhöhung, Süßigkeiten und unterhaltsame Aktivitäten sein.

In dem traditionellen, psychologischen Sinne gibt es zwei Arten von Verstärkung. Es gibt positive Verstärkung und negative Verstärkung. Positive Verstärkung ist die Hinzufügung von etwas, um ein Verhalten zu erhöhen, wie zum Beispiel, wenn man seinem Hund ein Leckerli gibt, wenn er sich gut verhält. Negative Verstärkung beinhaltet die Entfernung eines Reizes, um ein Verhalten hervorzurufen, wie zum Beispiel, wenn man laute Geräusche abschaltet, um eine schüchterne Katze herauszulocken.

Positive und negative Verstärkung

Positive Verstärkung erhöht die Häufigkeit eines Verhaltens, während negative Verstärkung die Häufigkeit verringert. Im Allgemeinen ist positive Verstärkung die am häufigsten verwendete Art von Verstärkung im Reinforcement Learning, da sie dabei hilft, die Leistung auf einer bestimmten Aufgabe zu maximieren. Nicht nur das, sondern positive Verstärkung führt auch dazu, dass das Modell nachhaltige Veränderungen vornimmt, Veränderungen, die zu konsistenten Mustern werden und über lange Zeiträume hinweg bestehen können.

Im Gegensatz dazu erhöht negative Verstärkung auch die Wahrscheinlichkeit, dass ein Verhalten auftritt, wird jedoch verwendet, um einen Mindestleistungsstandard aufrechtzuerhalten, anstatt die maximale Leistung des Modells zu erreichen. Negative Verstärkung im Reinforcement Learning kann dazu beitragen, dass ein Modell unerwünschte Aktionen vermeidet, kann jedoch nicht dazu beitragen, dass ein Modell erwünschte Aktionen entdeckt.

Training eines Reinforcement-Agents

Wenn ein Reinforcement-Learning-Agent trainiert wird, gibt es vier verschiedene Zutaten oder Zustände, die im Training verwendet werden: Anfangszustände (Zustand 0), neuer Zustand (Zustand 1), Aktionen und Belohnungen.

Stellen Sie sich vor, wir trainieren einen Reinforcement-Agent, um ein Plattform-Spiel zu spielen, bei dem das Ziel des künstlichen Intelligenz-Systems darin besteht, das Ende des Levels zu erreichen, indem es sich über den Bildschirm bewegt. Der Anfangszustand des Spiels wird aus der Umgebung gezogen, was bedeutet, dass der erste Frame des Spiels analysiert und dem Modell gegeben wird. Basierend auf diesen Informationen muss das Modell eine Aktion entscheiden.

Während der anfänglichen Phasen des Trainings sind diese Aktionen zufällig, aber wenn das Modell verstärkt wird, werden bestimmte Aktionen häufiger. Nachdem die Aktion ausgeführt wurde, wird die Umgebung des Spiels aktualisiert und ein neuer Zustand oder Frame erstellt. Wenn die Aktion, die der Agent ausgeführt hat, ein erwünschtes Ergebnis erzeugt hat, sagen wir in diesem Fall, dass der Agent noch am Leben ist und nicht von einem Feind getroffen wurde, wird dem Agent eine Belohnung gegeben und es wird wahrscheinlicher, dass er dieselbe Aktion in der Zukunft ausführt.

Dieses grundlegende System wird ständig wiederholt, wiederholt und wiederholt, und jedes Mal versucht der Agent, ein wenig mehr zu lernen und seine Belohnung zu maximieren.

Episodische vs. kontinuierliche Aufgaben

Reinforcement-Learning-Aufgaben können typischerweise in eine von zwei verschiedenen Kategorien eingeordnet werden: episodische Aufgaben und kontinuierliche Aufgaben.

Episodische Aufgaben führen die Lern-/Trainings-Schleife aus und verbessern ihre Leistung, bis bestimmte Endkriterien erfüllt sind und das Training beendet wird. In einem Spiel könnte dies das Erreichen des Endes des Levels oder das Fallen in eine Gefahr wie Stacheln sein. Im Gegensatz dazu haben kontinuierliche Aufgaben keine Beendigungsbedingung und führen das Training im Wesentlichen bis in alle Ewigkeit fort, bis der Ingenieur beschließt, das Training zu beenden.

Monte-Carlo- vs. Temporal-Difference-Methode

Es gibt zwei primäre Methoden, um einen Reinforcement-Learning-Agenten zu trainieren. Bei der Monte-Carlo-Methode werden Belohnungen dem Agenten (sein Punktestand wird aktualisiert) nur am Ende der Trainings-Episode geliefert. Mit anderen Worten, nur wenn die Beendigungsbedingung erreicht ist, lernt das Modell, wie gut es sich verhalten hat. Es kann dann diese Informationen verwenden, um zu aktualisieren und wenn die nächste Trainingsrunde gestartet wird, wird es entsprechend den neuen Informationen reagieren.

Die Temporal-Difference-Methode unterscheidet sich von der Monte-Carlo-Methode dadurch, dass die Schätzung des Wertes oder der Punktzahl während des Trainings aktualisiert wird. Sobald das Modell zum nächsten Zeitpunkt fortschreitet, werden die Werte aktualisiert.

Exploration vs. Ausbeutung

Das Training eines Reinforcement-Learning-Agents ist ein Balanceakt, der das Ausgleichen zweier verschiedener Metriken beinhaltet: Exploration und Ausbeutung.

Exploration ist die Handlung, mehr Informationen über die Umgebung zu sammeln, während Ausbeutung die Verwendung der bereits bekannten Informationen über die Umgebung ist, um Belohnungspunkte zu erzielen. Wenn ein Agent nur exploriert und nie die Umgebung ausbeutet, werden die gewünschten Aktionen nie ausgeführt. Andererseits, wenn der Agent nur ausbeutet und nie exploriert, wird der Agent nur lernen, eine Aktion auszuführen, und wird nicht andere mögliche Strategien zum Erzielen von Belohnungen entdecken. Daher ist das Ausgleichen von Exploration und Ausbeutung bei der Erstellung eines Reinforcement-Learning-Agents von entscheidender Bedeutung.

Anwendungsbereiche für Reinforcement Learning

Reinforcement Learning kann in einer Vielzahl von Rollen eingesetzt werden und ist am besten für Anwendungen geeignet, bei denen Aufgaben automatisiert werden müssen.

Die Automatisierung von Aufgaben, die von industriellen Robotern ausgeführt werden, ist ein Bereich, in dem Reinforcement Learning nützlich ist. Reinforcement Learning kann auch für Probleme wie Text-Mining eingesetzt werden, um Modelle zu erstellen, die in der Lage sind, lange Texte zusammenzufassen. Forscher experimentieren auch mit der Verwendung von Reinforcement Learning im Gesundheitswesen, wobei Reinforcement-Agents Aufgaben wie die Optimierung von Behandlungsrichtlinien übernehmen. Reinforcement Learning könnte auch verwendet werden, um Bildungsmaterial für Schüler anzupassen.

Zusammenfassung von Reinforcement Learning

Reinforcement Learning ist eine leistungsfähige Methode, um künstliche Intelligenz-Agents zu erstellen, die zu beeindruckenden und manchmal überraschenden Ergebnissen führen können. Das Training eines Agents durch Reinforcement Learning kann komplex und schwierig sein, da es viele Trainingsiterationen und ein feines Gleichgewicht zwischen der Explorations-/Ausbeutungs-Dichotomie erfordert. Wenn jedoch erfolgreich, kann ein Agent, der mit Reinforcement Learning erstellt wurde, komplexe Aufgaben in einer Vielzahl von unterschiedlichen Umgebungen ausführen.