Large Language Models und Generative AI haben in den letzten Jahren enorme Erfolge bei einer Vielzahl von Natural Language Processing-Aufgaben erzielt. Nachdem sie das NLP-Feld erobert haben, ist die nächste Herausforderung für GenAI- und LLM-Forscher, zu erforschen, wie Large Language Models autonom in der realen Welt handeln können, mit einer erweiterten Generationslücke von Text zu Aktion, was einen signifikanten Paradigmenwechsel in der Verfolgung von Artificial General Intelligence darstellt. Online-Spiele gelten als geeignete Testumgebung, um Large Language Model-Embodied Agents zu entwickeln, die mit der visuellen Umgebung auf eine Weise interagieren, die einem menschlichen Verhalten ähnelt.

Beispielsweise können in einem beliebten Online-Simulationspiel wie Minecraft Entscheidungsagenten eingesetzt werden, um den Spielern bei der Erforschung der Welt und der Entwicklung von Fähigkeiten zur Herstellung von Werkzeugen und zur Lösung von Aufgaben zu helfen. Ein weiteres Beispiel für LLM-Agents, die mit der visuellen Umgebung interagieren, kann in einem anderen Online-Spiel wie The Sims erlebt werden, wo Agenten bemerkenswerte Erfolge bei sozialen Interaktionen und Verhaltensweisen gezeigt haben, die denen von Menschen ähneln. Allerdings könnten taktische Kampfspiele wie Pokémon-Kämpfe eine bessere Wahl sein, um die Fähigkeit von Large Language Models zu testen, virtuelle Spiele zu spielen. Der Hauptgrund, warum taktische Spiele eine bessere Benchmark sind, liegt darin, dass die Gewinnrate direkt gemessen werden kann und konsistente Gegner, einschließlich menschlicher Spieler und KI, immer verfügbar sind.

Aufbauend auf diesem Ansatz zielt POKELLMON darauf ab, der weltweit erste verkörperte Agent zu sein, der eine menschliche Leistung auf taktischen Spielen erreicht, ähnlich wie bei Pokémon-Kämpfen. Im Kern umfasst das POKELLMON-Framework drei Hauptstrategien.

1. In-Context-Reinforcement-Learning, das textbasiertes Feedback aus Kämpfen instantan konsumiert, um die Richtlinie iterativ zu verfeinern.
2. Knowledge-Augmented-Generation, das externes Wissen abruft, um Halluzinationen zu bekämpfen und es dem Agenten ermöglicht, rechtzeitig und angemessen zu handeln.
3. Konsistente Aktionserzeugung, um das Panik-Switching-Problem zu minimieren, wenn der Agent auf einen starken Gegner trifft und ihn vermeiden möchte.

Dieser Artikel soll das POKELLMON-Framework in seiner Tiefe abdecken und wir erforschen den Mechanismus, die Methodik, die Architektur des Frameworks sowie seinen Vergleich mit State-of-the-Art-Frameworks. Wir werden auch darüber sprechen, wie das POKELLMON-Framework bemerkenswerte menschliche Kampfstrategien und Entscheidungsfähigkeiten in Echtzeit zeigt und eine respektable Gewinnrate von fast 50% erreicht. Also los geht’s.

POKELLMON: Ein Human-Parity-Agent mit LLM für Pokémon-Kämpfe

Das Wachstum der Fähigkeiten und Effizienz von Large Language Models und Generative AI-Frameworks in den letzten Jahren war nichts weniger als bemerkenswert, insbesondere bei NLP-Aufgaben. Kürzlich haben Entwickler und KI-Forscher daran gearbeitet, Generative AI und LLMs in realen Szenarien mit der Fähigkeit zu machen, autonom in der physischen Welt zu handeln. Um diese autonome Leistung in physischen und realen Situationen zu erreichen, betrachten Forscher und Entwickler Spiele als geeignete Testumgebung, um LLM-Embodied Agents mit der Fähigkeit zu entwickeln, mit der virtuellen Umgebung auf eine Weise zu interagieren, die einem menschlichen Verhalten ähnelt.

Zuvor haben Entwickler versucht, LLM-Embodied Agents in virtuellen SimulationsSpielen wie Minecraft und Sims zu entwickeln, obwohl es geglaubt wird, dass taktische Spiele wie Pokémon-Kämpfe eine bessere Wahl sein könnten, um diese Agenten zu entwickeln. Pokémon-Kämpfe ermöglichen es den Entwicklern, die Fähigkeit eines Trainers zu bewerten, in bekannten Pokémon-Spielen zu kämpfen, und bieten mehrere Vorteile gegenüber anderen taktischen Spielen. Da die Aktionen und Zustandsräume diskret sind, können sie ohne Verlust in Text übersetzt werden. Die folgende Abbildung zeigt einen typischen Pokémon-Kampf, bei dem der Spieler aufgefordert wird, eine Aktion zu generieren, um bei jedem Zug den aktuellen Zustand des Pokémon von jeder Seite zu berücksichtigen. Der Benutzer hat die Möglichkeit, aus fünf verschiedenen Pokémon auszuwählen, und es gibt insgesamt vier Bewegungen im Aktionsspielraum. Darüber hinaus hilft das Spiel dabei, den Stress auf die Inferenzzeit und die Inferenzkosten für LLMs zu reduzieren, da das rundenbasierte Format die Notwendigkeit für ein intensives Gameplay eliminiert. Als Ergebnis hängt die Leistung hauptsächlich von der Denkfähigkeit des Large Language Models ab.

POKELLMON: Methodik und Architektur

Das Gesamtframework und die Architektur des POKELLMON-Frameworks sind in der folgenden Abbildung dargestellt.

Während jedes Zuges verwendet das POKELLMON-Framework die vorherigen Aktionen und das entsprechende textbasierte Feedback, um die Richtlinie iterativ zu verfeinern und die aktuelle Zustandsinformation mit externem Wissen wie Fähigkeits-/Bewegungseffekten oder Vorteil-/Schwachheitsbeziehungen zu ergänzen. Für die als Eingabe gegebenen Informationen generiert das POKELLMON-Framework mehrere Aktionen unabhängig und wählt dann die konsistentesten als Endausgabe aus.

In-Context-Reinforcement-Learning

Menschliche Spieler und Athleten treffen Entscheidungen nicht nur auf der Grundlage des aktuellen Zustands, sondern sie reflektieren auch über das Feedback von vorherigen Aktionen sowie die Erfahrungen anderer Spieler. Es wäre sicher zu sagen, dass positives Feedback dazu beiträgt, dass ein Spieler aus seinen Fehlern lernt und sich davon abhält, dieselbe falsche Aktion immer wieder zu wiederholen. Ohne angemessenes Feedback könnte der POKELLMON-Agent an derselben falschen Aktion festhalten, wie in der folgenden Abbildung gezeigt.

Wie zu sehen ist, verwendet der Agent im Spiel eine wasserbasierte Bewegung gegen ein Pokémon, das die Fähigkeit “Trockene Haut” hat, die es ermöglicht, den Schaden durch wasserbasierte Angriffe zu nullifizieren. Das Spiel versucht, den Benutzer durch das Aufblenden der Nachricht “Immune” auf dem Bildschirm zu warnen, was einen menschlichen Spieler dazu veranlassen könnte, seine Aktionen zu überdenken und zu ändern, auch ohne von “Trockene Haut” zu wissen. Allerdings ist dies nicht im Zustandsbeschreibung für den Agenten enthalten, was dazu führt, dass der Agent denselben Fehler wiederholt.

Um sicherzustellen, dass der POKELLMON-Agent aus seinen vorherigen Fehlern lernt, implementiert das Framework den In-Context-Reinforcement-Learning-Ansatz. Reinforcement-Learning ist ein beliebter Ansatz in der maschinellen Lerntheorie, und es hilft Entwicklern bei der Verfeinerung der Richtlinie, da es numerische Belohnungen erfordert, um Aktionen zu bewerten. Da Large Language Models die Fähigkeit haben, Sprache zu interpretieren und zu verstehen, sind textbasierte Beschreibungen als neue Form von Belohnung für LLMs entstanden. Durch die Einbeziehung von textbasiertem Feedback aus vorherigen Aktionen kann der POKELLMON-Agent seine Richtlinie iterativ und instantan verfeinern, nämlich den In-Context-Reinforcement-Learning-Ansatz. Das POKELLMON-Framework entwickelt vier Arten von Feedback,

1. Den tatsächlichen Schaden, der durch eine Angriffsbewegung auf der Grundlage der Differenz der HP über zwei aufeinanderfolgende Züge verursacht wird.
2. Die Wirksamkeit von Angriffsbewegungen. Das Feedback zeigt die Wirksamkeit des Angriffs in Bezug auf keine Wirkung oder Immunität, unwirksam oder überaus wirksam aufgrund von Fähigkeits-/Bewegungseffekten oder Typvorteil.
3. Die Prioritätsordnung für die Ausführung einer Bewegung. Da die genauen Statistiken für das gegnerische Pokémon nicht verfügbar sind, bietet die Prioritätsordnung Feedback eine grobe Schätzung der Geschwindigkeit.
4. Die tatsächliche Wirkung der ausgeführten Bewegungen auf den Gegner. Sowohl Angriffsbewegungen als auch Status können Ergebnisse wie HP-Wiederherstellung, Stat-Boost oder Debuffs, Erkrankungen wie Erfrieren, Verbrennungen oder Vergiftungen verursachen.

Darüber hinaus zeigt die Verwendung des In-Context-Reinforcement-Learning-Ansatzes einen signifikanten Leistungsschub, wie in der folgenden Abbildung gezeigt.

Wenn man es mit der ursprünglichen Leistung auf GPT-4 vergleicht, steigt die Gewinnrate um fast 10% und der Kampfpunktestand um fast 13%. Darüber hinaus beginnt der Agent, wie in der folgenden Abbildung gezeigt, seine Aktion zu analysieren und zu ändern, wenn die in den vorherigen Zügen ausgeführten Bewegungen nicht den Erwartungen entsprachen.

Knowledge-Augmented-Generation oder KAG

Obwohl die Implementierung von In-Context-Reinforcement-Learning teilweise dazu beiträgt, Halluzinationen zu reduzieren, kann es immer noch zu fatalen Konsequenzen führen, bevor der Agent das Feedback erhält. Zum Beispiel, wenn der Agent beschließt, gegen ein Feuer-Pokémon mit einem Gras-Pokémon zu kämpfen, wird das Feuer-Pokémon wahrscheinlich in nur einem Zug gewinnen. Um Halluzinationen weiter zu reduzieren und die Entscheidungsfähigkeit des Agents zu verbessern, implementiert das POKELLMON-Framework den Knowledge-Augmented-Generation- oder KAG-Ansatz, eine Technik, die externes Wissen zur Ergänzung der Generierung einsetzt.

Jetzt, wenn das Modell die vier Arten von Feedback generiert, die oben diskutiert wurden, annotiert es die Pokémon-Bewegungen und -Informationen, sodass der Agent die Typvorteilsbeziehung selbst ableiten kann. In einem Versuch, die Halluzinationen in der Argumentation weiter zu reduzieren, annotiert das POKELLMON-Framework explizit den Typvorteil und die Schwäche des gegnerischen Pokémon und des Pokémon des Agents mit angemessenen Beschreibungen. Darüber hinaus ist es schwierig, die Bewegungen und Fähigkeiten mit unterschiedlichen Effekten von Pokémon zu memorieren, insbesondere da es viele davon gibt. Die folgende Tabelle zeigt die Ergebnisse der Knowledge-Augmented-Generation. Es ist erwähnenswert, dass durch die Implementierung des Knowledge-Augmented-Generation-Ansatzes das POKELLMON-Framework die Gewinnrate um etwa 20% von 36% auf 55% steigern kann.

Darüber hinaus beobachteten die Entwickler, dass, wenn dem Agenten externes Wissen über Pokémon zur Verfügung stand, er begann, spezielle Bewegungen zur richtigen Zeit auszuführen, wie in der folgenden Abbildung gezeigt.

Konsistente Aktionserzeugung

Bestehende Modelle zeigen, dass die Implementierung von Prompting- und Argumentationsansätzen die Fähigkeit von LLMs bei der Lösung komplexer Aufgaben verbessern kann. Anstatt eine Einmal-Aktion zu generieren, bewertet das POKELLMON-Framework bestehende Prompting-Strategien, einschließlich CoT oder Chain of Thought, ToT oder Tree of Thought und Self Consistency. Für Chain of Thought generiert der Agent zunächst einen Gedanken, der die aktuelle Kampfsituation analysiert, und gibt eine Aktion aus, die von diesem Gedanken abhängt. Für Self Consistency generiert der Agent drei Aktionen und wählt die Ausgabe, die die meisten Stimmen erhalten hat. Schließlich generiert der Agent für den Tree of Thought-Ansatz drei Aktionen, wie bei der Self-Consistency-Strategie, aber wählt die beste nach eigener Bewertung. Die folgende Tabelle fasst die Leistung der Prompting-Ansätze zusammen.

Es gibt nur eine Aktion pro Zug, was bedeutet, dass, auch wenn der Agent beschließt, zu wechseln und der Gegner beschließt, anzugreifen, das eingeschaltete Pokémon den Schaden erleiden wird. Normalerweise beschließt der Agent, zu wechseln, weil er einen Typvorteil für ein außerhalb des Kampfes stehendes Pokémon haben möchte und das eingeschaltete Pokémon den Schaden aushalten kann, da es typresistent gegenüber den Bewegungen des gegnerischen Pokémon ist. Allerdings kann der Agent mit CoT-Argumentation inkonsistent handeln, weil er möglicherweise nicht in das Pokémon wechseln möchte, sondern mehrere Pokémon und zurück, was wir als Panik-Wechseln bezeichnen. Panik-Wechseln eliminiert die Chancen, Bewegungen auszuführen, und führt zu Niederlagen.

POKELLMON: Ergebnisse und Experimente

Bevor wir die Ergebnisse diskutieren, ist es wichtig, dass wir die Kampfumgebung verstehen. Zu Beginn eines Zuges erhält die Umgebung eine Aktion-Anfrage-Nachricht vom Server und antwortet auf diese Nachricht am Ende, die auch die Ausführungsergebnisse des letzten Zuges enthält.

1. Zuerst parsen wir die Nachricht und aktualisieren die lokalen Zustandsvariablen, 2. dann übersetzen wir die Zustandsvariablen in Text. Die Textbeschreibung hat hauptsächlich vier Teile: 1. Eigene Team-Informationen, die die Attribute der Pokémon im Feld und außerhalb des Feldes (unbenutzt) enthalten.
2. Gegner-Team-Informationen, die die Attribute der gegnerischen Pokémon im Feld und außerhalb des Feldes (einige Informationen sind unbekannt) enthalten.
3. Kampf-Informationen, die Wetter, Eintrittsgefahren und Gelände enthalten.
4. Historische Zugs-Log-Informationen, die die vorherigen Aktionen beider Pokémon enthalten und in einer Log-Warteschlange gespeichert sind. LLMs nehmen den übersetzten Zustand als Eingabe und geben Aktionen für den nächsten Schritt aus. Die Aktion wird dann an den Server gesendet und gleichzeitig mit der Aktion des Menschen ausgeführt.

Kampf gegen menschliche Spieler

Die folgende Tabelle zeigt die Leistung des POKELLMON-Agents gegen menschliche Spieler.

Wie zu sehen ist, liefert der POKELLMON-Agent eine Leistung, die mit der von Leiter-Spielern vergleichbar ist, die eine höhere Gewinnrate haben als ein eingeladener Spieler und umfangreiche Kampferfahrung haben.

Kampffähigkeitsanalyse

Das POKELLMON-Framework macht selten einen Fehler bei der Auswahl der effektiven Bewegung und wechselt zu einem anderen geeigneten Pokémon aufgrund der Knowledge-Augmented-Generation-Strategie.

Wie in dem obigen Beispiel gezeigt, verwendet der Agent nur ein Pokémon, um das gesamte gegnerische Team zu besiegen, da er in der Lage ist, unterschiedliche Angriffsbewegungen auszuwählen, die am effektivsten für den Gegner in dieser Situation sind. Darüber hinaus zeigt das POKELLMON-Framework eine menschliche Auszehrungsstrategie. Einige Pokémon haben eine “Gift”-Bewegung, die zusätzlichen Schaden bei jedem Zug verursachen kann, während die “Wiederherstellungs”-Bewegung es ermöglicht, die HP wiederherzustellen. Der Agent nutzt dies aus, indem er zuerst das gegnerische Pokémon vergiftet und dann die Wiederherstellungs-Bewegung verwendet, um sich selbst vor dem Ausfall zu schützen.

Letzte Gedanken

In diesem Artikel haben wir über POKELLMON gesprochen, einem Ansatz, der es Large Language Models ermöglicht, Pokémon-Kämpfe gegen Menschen autonom zu spielen. POKELLMON zielt darauf ab, der weltweit erste verkörperte Agent zu sein, der eine menschliche Leistung auf taktischen Spielen erreicht, ähnlich wie bei Pokémon-Kämpfen. Das POKELLMON-Framework introduceert drei Schlüsselstrategien: In-Context-Reinforcement-Learning, das textbasiertes Feedback als “Belohnung” konsumiert, um die Aktionserzeugungspolitik iterativ zu verfeinern, ohne Trainingsdaten zu benötigen, Knowledge-Augmented-Generation, die externes Wissen abruft, um Halluzinationen zu bekämpfen und sicherzustellen, dass der Agent rechtzeitig und angemessen handelt, und konsistente Aktionserzeugung, die das Panik-Wechseln-Problem verhindert, wenn der Agent auf einen starken Gegner trifft.