DeepMind und Google Brain zielen darauf ab, Methoden zur Verbesserung der Effizienz des Reinforcement Learning zu entwickeln

Reinforcement-Learning-Systeme können leistungsstark und robust sein und extrem komplexe Aufgaben durch Tausende von Trainingsiterationen ausführen. Während Reinforcement-Learning-Algorithmen in der Lage sind, sophisticatedes und gelegentlich überraschendes Verhalten zu ermöglichen, benötigen sie eine lange Trainingszeit und erfordern enorme Mengen an Daten. Diese Faktoren machen Reinforcement-Learning-Techniken eher ineffizient, und kürzlich haben Forschungsteams von Alphabet (GOOG ) (GOOGL ) DeepMind und Google Brain versucht, effizientere Methoden zur Erstellung von Reinforcement-Learning-Systemen zu finden.

Wie von VentureBeat berichtet, hat die kombinierte Forschungsgruppe kürzlich Methoden vorgeschlagen, um das Reinforcement-Learning-Training effizienter zu machen. Eine der vorgeschlagenen Verbesserungen war ein Algorithmus namens Adaptive Behavior Policy Sharing (ABPS), während die andere ein Framework namens Universal Value Function Approximators (UVFA) war. ABPS ermöglicht es Pools von KI-Agents, ihre adaptiv ausgewählten Erfahrungen zu teilen, während UVFA es diesen KI-Agents ermöglicht, gleichzeitig gerichtete Explorationsrichtlinien zu untersuchen.

ABPS soll die Anpassung von Hyperparametern bei der Trainings eines Modells beschleunigen. ABPS ermöglicht es, die optimalen Hyperparameter schneller zu finden, indem es mehrere verschiedene Agenten mit unterschiedlichen Hyperparametern ermöglicht, ihre Verhaltensrichtlinien-Erfahrungen zu teilen. Um genauer zu sein, ermöglicht ABPS es Reinforcement-Learning-Agents, Aktionen aus den Aktionen auszuwählen, die eine Richtlinie als okay bewertet hat, und danach wird eine Belohnung und Beobachtung basierend auf dem folgenden Zustand gewährt.

KI-Verstärkungs-Agents werden mit verschiedenen Kombinationen von möglichen Hyperparametern wie Abnahmerate und Lernrate trainiert. Wenn ein Modell trainiert wird, ist das Ziel, dass das Modell auf die Kombination von Hyperparametern konvergiert, die es am besten ausführt, und in diesem Fall auch die Daten effizienz verbessert. Die Effizienz wird erhöht, indem viele Agents gleichzeitig trainiert werden und die Verhaltensweise nur eines Agents für den nächsten Zeitschritt ausgewählt wird. Die Richtlinie, die der Ziel-Agent hat, wird verwendet, um Aktionen zu sampeln. Die Übergänge werden dann in einem gemeinsamen Raum protokolliert, und dieser Raum wird ständig ausgewertet, so dass die Richtlinienauswahl nicht so oft erfolgen muss. Am Ende der Trainings wird ein Ensemble von Agents ausgewählt und die Top-Performing-Agents werden für die endgültige Bereitstellung ausgewählt.

Was UVFA betrifft, so versucht es, ein häufiges Problem des Reinforcement Learning zu lösen, dass schwach verstärkte Agents oft keine Aufgaben lernen. UVFA versucht, dieses Problem zu lösen, indem es dem Agent ermöglicht, eine separate Menge von Ausbeutungs- und Explorationsrichtlinien gleichzeitig zu lernen. Die Trennung der Aufgaben erstellt ein Framework, das es den Explorationsrichtlinien ermöglicht, die Umgebung weiter zu erkunden, während die Ausbeutungsrichtlinien versuchen, die Belohnung für die aktuelle Aufgabe zu maximieren. Die Explorationsrichtlinien von UVFA dienen als Baseline-Architektur, die auch dann verbessert wird, wenn keine natürlichen Belohnungen gefunden werden. In einem solchen Zustand wird eine Funktion approximiert, die intrinsische Belohnungen entspricht, die die Agents dazu anregen, alle Zustände in einer Umgebung zu erkunden, auch wenn sie oft zu vertrauten Zuständen zurückkehren.

Wie VentureBeat erklärte, wenn das UVFA-Framework im Einsatz ist, werden die intrinsischen Belohnungen des Systems direkt dem Agent als Eingaben gegeben. Der Agent behält dann eine Darstellung aller Eingaben (wie Belohnungen, Aktionen und Zustand) während einer bestimmten Episode bei. Das Ergebnis ist, dass die Belohnung über die Zeit hinweg erhalten bleibt und die Richtlinie des Agents zumindest teilweise von ihr informiert wird.

Dies wird mit Hilfe eines “episodischen Neuanfangs” und eines “lebenslangen Neuanfangs”-Moduls erreicht. Die Funktion des ersten Moduls besteht darin, das aktuelle, episodische Gedächtnis zu halten und die aktuellen Ergebnisse auf die zuvor erwähnte Darstellung zu kartieren, sodass der Agent eine intrinsische episodische Belohnung für jeden Schritt des Trainings bestimmen kann. Danach wird der Zustand, der mit der aktuellen Beobachtung verknüpft ist, in das Gedächtnis aufgenommen. Währenddessen ist das Modul des lebenslangen Neuanfangs dafür verantwortlich, zu beeinflussen, wie oft der Agent über viele Episoden hinweg exploriert.

Laut den Alphabet/Google-Teams haben die neuen Trainingsmethoden bereits das Potenzial für eine erhebliche Verbesserung bei der Trainings eines Reinforcement-Learning-Systems gezeigt. UVFA konnte die Leistung einiger der Basis-Agents, die verschiedene Atari-Spiele spielten, verdoppeln. Währenddessen konnte ABPS die Leistung bei einigen der gleichen Atari-Spiele verbessern, indem es die Varianz unter den Top-Performing-Agents um etwa 25% verringerte. Der UVFA-trainierte Algorithmus konnte einen hohen Score in Pitfall erreichen, ohne dass dabei von Menschen erstellte Demos verwendet wurden.