Mit den Fortschritten, die Large Language Models in den letzten Jahren gemacht haben, ist es nicht verwunderlich, warum diese LLM-Frameworks als semantische Planer für sequenzielle hochrangige Entscheidungsaufgaben hervorragend abschneiden. Allerdings haben Entwickler immer noch Schwierigkeiten, das volle Potenzial von LLM-Frameworks für das Lernen komplexer niedrigrangiger Manipulationaufgaben zu nutzen. Trotz ihrer Effizienz benötigen heutige Large Language Models erhebliche Domänen- und Fachkenntnisse, um auch nur einfache Fähigkeiten zu erlernen oder textuelle Prompts zu konstruieren, was einen erheblichen Abstand zwischen ihrer Leistung und menschlicher Geschicklichkeit erzeugt.

Um diese Lücke zu schließen, haben Entwickler von Nvidia (NVDA ), CalTech, UPenn und anderen EUREKA vorgestellt, ein LLM-gestütztes menschliches Designalgorithmus. EUREKA zielt darauf ab, verschiedene Fähigkeiten von LLM-Frameworks zu nutzen, einschließlich Code-Schreiben, Kontextverbesserung und Zero-Shot-Inhaltsgenerierung, um eine beispiellose Optimierung von Belohnungscode durchzuführen. Diese Belohnungscodes, kombiniert mit Verstärkendem Lernen, ermöglichen es den Frameworks, komplexe Fähigkeiten zu erlernen oder Manipulationaufgaben auszuführen.

In diesem Artikel werden wir das EUREKA-Framework aus einer Entwicklerperspektive betrachten, indem wir seine Architektur, Funktionsweise und die Ergebnisse untersuchen, die es bei der Generierung von Belohnungsfunktionen erzielt. Diese Funktionen, wie von den Entwicklern behauptet, übertreffen die von Menschen generierten. Wir werden auch untersuchen, wie das EUREKA-Framework einen neuen Ansatz für RLHF (Reinforcement Learning mit menschlicher Rückmeldung) ermöglicht, indem es gradientenfreies Kontextlernen ermöglicht. Los geht’s.

EUREKA: Eine Einführung

Heute liefern State-of-the-Art-LLM-Frameworks wie GPT-3 und GPT-4 hervorragende Ergebnisse, wenn sie als semantische Planer für sequenzielle hochrangige Entscheidungsaufgaben dienen, aber Entwickler suchen immer noch nach Möglichkeiten, ihre Leistung bei der Erlernung von niedrigrangigen Manipulationaufgaben wie Geschicklichkeit bei der Handhabung von Gegenständen zu verbessern. Darüber hinaus haben Entwickler festgestellt, dass Verstärkendes Lernen verwendet werden kann, um nachhaltige Ergebnisse in geschickten Bedingungen und anderen Bereichen zu erzielen, vorausgesetzt, die Belohnungsfunktionen werden sorgfältig von menschlichen Designern konstruiert und diese Belohnungsfunktionen sind in der Lage, Lernsignale für günstiges Verhalten bereitzustellen. Wenn man dies mit realen Verstärkendem Lernen-Aufgaben vergleicht, die sparse Belohnungen akzeptieren, macht es es dem Modell schwer, Muster zu lernen, und die Formung dieser Belohnungen liefert die notwendigen inkrementellen Lernsignale. Darüber hinaus sind Belohnungsfunktionen, trotz ihrer Bedeutung, extrem schwierig zu entwerfen, und suboptimale Entwürfe dieser Funktionen führen oft zu ungewolltem Verhalten.

Um diese Herausforderungen zu meistern und die Effizienz dieser Belohnungstoken zu maximieren, zielt das EUREKA- oder Evolution-getriebene Universelle BElohungs-Kit für Agent darauf ab, die folgenden Beiträge zu leisten.

1. Erreichen von menschlicher Leistung bei der Gestaltung von Belohnungsfunktionen.
2. Effektive Lösung von Manipulationaufgaben ohne manuelle Belohnungsingenieurwesen.
3. Generieren von menschlich ausgerichteten und leistungsfähigeren Belohnungsfunktionen durch Einführung eines neuen gradientenfreien Kontextlernansatzes anstelle des traditionellen RLHF- oder Verstärkendem Lernen aus menschlicher Rückmeldung.

Es gibt drei wichtige algorithmische Designentscheidungen, die die Entwickler für die Verbesserung der Allgemeingültigkeit von EUREKA getroffen haben: evolutionäre Suche, Umgebung als Kontext und Belohnungsreflexion. Zuerst nimmt das EUREKA-Framework den Umgebungs-Quellcode als Kontext, um ausführbare Belohnungsfunktionen in einer Zero-Shot-Einstellung zu generieren. Als Nächstes führt das Framework eine evolutionäre Suche durch, um die Qualität seiner Belohnungen erheblich zu verbessern, schlägt Belohnungskandidaten in jedem Iterations- oder Epochenschritt vor und verfeinert diejenigen, die es als am vielversprechendsten findet. In der dritten und letzten Phase verwendet das Framework den Belohnungsreflexionsansatz, um die Kontextverbesserung von Belohnungen effektiver zu machen, ein Prozess, der letztendlich dazu beiträgt, das Framework zu ermöglichen, gezielte und automatisierte Belohnungseditierung durch Verwendung einer textuellen Zusammenfassung der Qualität dieser Belohnungen auf der Grundlage von Politik-Trainingsstatistiken zu ermöglichen. Die folgende Abbildung gibt Ihnen einen kurzen Überblick darüber, wie das EUREKA-Framework funktioniert, und in den nächsten Abschnitten werden wir über die Architektur und Funktionsweise im Detail sprechen.

EUREKA: Modellarchitektur und Problemstellung

Das primäre Ziel der Belohnungsformung ist es, eine geformte oder kuratierte Belohnungsfunktion für eine Ground-Truth-Belohnungsfunktion zurückzugeben, was Schwierigkeiten aufwerfen kann, wenn sie direkt optimiert wird, wie bei sparse Belohnungen. Darüber hinaus können Designer nur über Abfragen auf diese Ground-Truth-Belohnungsfunktionen zugreifen, was der Grund ist, warum das EUREKA-Framework die Belohnungsgenerierung wählt, eine Programmsynthese-Einstellung auf der Grundlage von RDP oder der Belohnungsdesign-Problematik.

Das Belohnungsdesign-Problem oder RDP ist ein Tupel, das ein Weltmodell mit einem Zustandsraum, einem Raum für Belohnungsfunktionen, einer Übergangsfunktion und einem Aktionsraum enthält. Ein Lernalgorithmus optimiert dann die Belohnungen, indem er eine Politik generiert, die zu einem MDP oder Markov-Entscheidungsprozess führt, der die skalare Evolution jeder Politik erzeugt und nur über Politikabfragen zugänglich ist. Das primäre Ziel von RDP ist es, eine Belohnungsfunktion so auszugeben, dass die Politik in der Lage ist, den maximalen Fitness-Score zu erreichen. In der Problemstellung von EUREKA haben die Entwickler jeden Komponenten im Belohnungsdesign-Problem mit Code spezifiziert. Darüber hinaus ist das primäre Ziel des Belohnungsgenerierungsproblems, für eine gegebene Zeichenfolge, die die Details der Aufgabe angibt, eine Belohnungsfunktion-Code zu generieren, um den Fitness-Score zu maximieren.

Weiterhin gibt es drei grundlegende algorithmische Komponenten im EUREKA-Framework. Evolutionäre Suche (Vorschlagen und Verfeinern von Kandidaten iterativ), Umgebung als Kontext (Generieren von ausführbaren Belohnungen in einer Zero-Shot-Einstellung) und Belohnungsreflexion (Ermöglichen der feinkörnigen Verbesserung von Belohnungen). Der Pseudocode für den Algorithmus ist in der folgenden Abbildung dargestellt.

Umgebung als Kontext

Derzeit benötigen LLM-Frameworks Umgebungsangaben als Eingaben für die Gestaltung von Belohnungen, während das EUREKA-Framework vorschlägt, den rohen Umgebungscode direkt als Kontext zu verwenden, ohne den Belohnungscode, was es den LLM-Frameworks ermöglicht, das Weltmodell als Kontext zu verwenden. Der Ansatz, den EUREKA verfolgt, hat zwei wichtige Vorteile. Erstens sind LLM-Frameworks für Codierungszwecke auf native Code-Sets trainiert, die in bestehenden Programmiersprachen wie C, C++, Python, Java und mehr geschrieben sind, was der Grund ist, warum sie besser darin sind, Code-Outputs zu produzieren, wenn sie direkt erlaubt sind, Code in der Syntax und dem Stil zu komponieren, auf die sie ursprünglich trainiert wurden. Zweitens offenbart der Umgebungs-Quellcode in der Regel die Umgebungen semantisch und die Variablen, die für die Ausgabe einer Belohnungsfunktion in Übereinstimmung mit der angegebenen Aufgabe geeignet sind. Auf der Grundlage dieser Erkenntnisse instruiert das EUREKA-Framework den LLM, direkt mit Hilfe von Formatierungstipps und generischen Belohnungsdesigns einen ausführbaren Python-Code zurückzugeben.

Evolutionäre Suche

Die Einbeziehung der evolutionären Suche in das EUREKA-Framework zielt darauf ab, eine natürliche Lösung für die Suboptimalitäts-Herausforderungen und Fehler zu bieten, die während der Ausführung auftreten. Mit jeder Iteration oder jedem Epochenschritt liefert das Framework verschiedene unabhängige Ausgaben des Large Language Models, und vorausgesetzt, die Generierungen sind alle i.i.d., reduziert es exponentiell die Wahrscheinlichkeit, dass die Belohnungsfunktionen während der Iterationen fehlerhaft sind, wenn die Anzahl der Proben mit jedem Epochenschritt zunimmt.

Im nächsten Schritt verwendet das EUREKA-Framework die ausführbaren Belohnungsfunktionen aus der vorherigen Iteration, um eine Kontext-Belohnungsmutation durchzuführen, und schlägt dann eine neue und verbesserte Belohnungsfunktion auf der Grundlage von textueller Rückmeldung vor. Das EUREKA-Framework kann, wenn es mit der Kontextverbesserung und den Anweisungsfolgefähigkeiten von Large Language Models kombiniert wird, den Mutation-Operator als Text-Prompt angeben und eine Methode vorschlagen, um die textuelle Zusammenfassung der Politik-Trainings zu verwenden, um vorhandene Belohnungscodes zu modifizieren.

Belohnungsreflexion

Um Kontext-Belohnungsmutationen zu begründen, ist es notwendig, die Qualität der generierten Belohnungen zu bewerten und sie in Worte zu fassen, und das EUREKA-Framework geht dies an, indem es die einfache Strategie der Bereitstellung von numerischen Scores als Belohnungsbewertung verwendet. Wenn die Aufgaben-Fitness-Funktion als holistisches Maß für die Ground-Truth dient, fehlt es an Credit-Zuweisung und kann keine wertvollen Informationen darüber liefern, warum die Belohnungsfunktion funktioniert oder warum sie nicht funktioniert. Um also eine gezielte und detaillierte Belohnungsdiagnose zu ermöglichen, schlägt das Framework vor, automatisierte Rückmeldungen zu verwenden, um die Politik-Trainingsdynamik in Texten zusammenzufassen. Darüber hinaus werden in der Belohnungsprogrammierung die Belohnungsfunktionen im EUREKA-Framework aufgefordert, ihre Komponenten einzeln offenzulegen, was es dem Framework ermöglicht, die skalaren Werte jeder eindeutigen Belohnungskomponente bei Politik-Checkpoints während der gesamten Trainingsphase zu verfolgen.

Obwohl das Belohnungsverfahren, das das EUREKA-Framework verfolgt, einfach zu konstruieren ist, ist es aufgrund der algorithmischen Abhängigkeit der Belohnungsoptimierung von entscheidender Bedeutung. Es bedeutet, dass die Wirksamkeit einer Belohnungsfunktion direkt von der Wahl eines Verstärkendem Lernen-Algorithmus beeinflusst wird, und mit einer Änderung der Hyperparameter kann die Belohnung auch bei gleichem Optimierer unterschiedlich performen. Somit kann das EUREKA-Framework die Aufzeichnungen effektiver und selektiver bearbeiten, während es Belohnungsfunktionen synthetisiert, die in verstärkter Synergie mit dem Verstärkendem Lernen-Algorithmus stehen.

Schulung und Vergleich

Es gibt zwei wichtige Schulungskomponenten des EUREKA-Frameworks: Politik-Lernen und Belohnungsbewertungsmetriken.

Politik-Lernen

Die endgültigen Belohnungsfunktionen für jede einzelne Aufgabe werden mit Hilfe des gleichen Verstärkendem Lernen-Algorithmus unter Verwendung der gleichen Satz von Hyperparametern optimiert, die fein abgestimmt sind, um die menschlich konstruierten Belohnungsfunktionen gut funktionieren zu lassen.

Belohnungsbewertungsmetriken

Da die Aufgabenmetrik in Bezug auf Skala und semantische Bedeutung mit jeder Aufgabe variiert, berichtet das EUREKA-Framework den humanisierten Score, ein Maß, das einen holistischen Vergleich ermöglicht, um zu sehen, wie es im Vergleich zu den von Experten erstellten menschlichen Belohnungen auf der Grundlage der Ground-Truth-Metriken abschneidet.

Weiterhin gibt es drei primäre Vergleichswerte: L2R, Human und Sparse.

L2R

L2R ist eine dual-stufige Large Language Model-Lösung, die bei der Generierung von Belohnungsfunktionen hilft. Zuerst füllt ein LLM-Framework eine natürliche Sprachenvorlage für Umgebung und Aufgabe aus, die in natürlicher Sprache angegeben ist, und dann konvertiert ein zweites LLM-Framework diese “Bewegungsbeschreibung” in einen Code, der eine Belohnungsfunktion schreibt, indem es einen Satz von manuell geschriebenen Belohnungs-API-Primitiven aufruft.

Human

Der Human-Vergleichswert sind die ursprünglichen Belohnungsfunktionen, die von Verstärkendem Lernen-Forschern geschrieben wurden, was die Ergebnisse des menschlichen Belohnungsingenieurwesens auf einem beispiellosen Level darstellt.

Sparse

Der Sparse-Vergleichswert ähnelt den Fitness-Funktionen und wird verwendet, um die Qualität der Belohnungen zu bewerten, die das Framework generiert.

Ergebnisse und Ausgänge

Um die Leistung des EUREKA-Frameworks zu analysieren, werden wir es auf verschiedene Parameter hin auswerten, einschließlich seiner Leistung im Vergleich zu menschlichen Belohnungen, Verbesserung der Ergebnisse über die Zeit, Generierung von neuen Belohnungen, Ermöglichung gezielter Verbesserungen und Zusammenarbeit mit menschlicher Rückmeldung.

EUREKA übertrifft menschliche Belohnungen

Die folgende Abbildung zeigt die aggregierten Ergebnisse über verschiedene Benchmarks, und wie man klar sehen kann, übertrifft das EUREKA-Framework entweder menschliche Belohnungen oder schneidet auf dem gleichen Niveau ab, sowohl bei Dexterity- als auch bei Issac-Aufgaben. Im Vergleich dazu liefert der L2R-Vergleichswert eine ähnliche Leistung bei niedrigdimensionalen Aufgaben, aber bei hochdimensionalen Aufgaben ist die Leistungsunterschiede erheblich.

Konsistent verbessern über die Zeit

Eine der wichtigsten Highlights des EUREKA-Frameworks ist seine Fähigkeit, seine Leistung kontinuierlich über die Zeit zu verbessern, und die Ergebnisse werden in der folgenden Abbildung demonstriert.

Wie man klar sehen kann, generiert das Framework kontinuierlich bessere Belohnungen mit jeder Iteration, und es verbessert auch die Leistung von menschlichen Belohnungen, dank seines Einsatzes von Kontext-evolutionärer Belohnungssuche.

Generierung von neuen Belohnungen

Die Neuheit der Belohnungen des EUREKA-Frameworks kann durch die Berechnung der Korrelation zwischen menschlichen und EUREKA-Belohnungen auf der Gesamtheit der Issac-Aufgaben bewertet werden. Diese Korrelationen werden dann auf einem Streudiagramm oder einer Karte gegen die humanisierten Scores aufgetragen, wobei jeder Punkt auf dem Diagramm eine einzelne EUREKA-Belohnung für jede einzelne Aufgabe darstellt. Wie man klar sehen kann, generiert das EUREKA-Framework überwiegend schwach korrelierte Belohnungsfunktionen, die menschliche Belohnungsfunktionen überbieten.

Ermöglichung gezielter Verbesserungen

Um die Bedeutung der Hinzufügung von Belohnungsreflexion in die Belohnungsrückmeldung zu bewerten, haben die Entwickler eine Ablation ausgewertet, ein EUREKA-Framework ohne Belohnungsreflexion, das die Rückmeldungen auf Snapshot-Werte reduziert. Wenn sie die Issac-Aufgaben ausführten, haben die Entwickler festgestellt, dass das EUREKA-Framework ohne Belohnungsreflexion einen Rückgang von etwa 29% im Durchschnittswert des humanisierten Scores erlebte.

Zusammenarbeit mit menschlicher Rückmeldung

Um eine breite Palette von Eingaben zu integrieren, um menschlich ausgerichtete und leistungsfähigere Belohnungsfunktionen zu generieren, hat das EUREKA-Framework neben automatisierten Belohnungsdesigns auch einen neuen gradientenfreien Kontextlernansatz für Verstärkendes Lernen aus menschlicher Rückmeldung eingeführt, und es gab zwei wichtige Beobachtungen.

1. EUREKA kann von menschlichen Belohnungsfunktionen profitieren und sich verbessern.
2. Die Verwendung von menschlicher Rückmeldung für Belohnungsreflexion induziert ausgerichtetes Verhalten.

Die obige Abbildung zeigt, wie das EUREKA-Framework eine erhebliche Leistungssteigerung und Effizienz bei der Verwendung von menschlicher Belohnungsinitialisierung zeigt, unabhängig von der Qualität der menschlichen Belohnungen, was darauf hindeutet, dass die Qualität der Basisbelohnungen keinen wesentlichen Einfluss auf die Fähigkeit des Frameworks zur Kontext-Belohnungsverbesserung hat.

Die obige Abbildung zeigt, wie das EUREKA-Framework nicht nur menschlich ausgerichtete Politiken induzieren, sondern auch Belohnungen durch die Einbeziehung von menschlicher Rückmeldung modifizieren kann.

Letzte Gedanken

In diesem Artikel haben wir über EUREKA gesprochen, ein LLM-gestütztes menschliches Designalgorithmus, das darauf abzielt, verschiedene Fähigkeiten von LLM-Frameworks zu nutzen, einschließlich Code-Schreiben, Kontextverbesserung und Zero-Shot-Inhaltsgenerierung, um eine beispiellose Optimierung von Belohnungscodes durchzuführen. Der Belohnungscode kann dann zusammen mit Verstärkendem Lernen von diesen Frameworks verwendet werden, um komplexe Fähigkeiten zu erlernen oder Manipulationaufgaben auszuführen.

Insgesamt zeigt die erhebliche Leistung und Vielseitigkeit des EUREKA-Frameworks, dass die Kombination von evolutionären Algorithmen mit Large Language Models möglicherweise zu einem skalierbaren und allgemeinen Ansatz zur Gestaltung von Belohnungen führen kann, und diese Erkenntnis könnte auf andere offene Suchprobleme anwendbar sein.