Store sprogmodeller og generative AI har demonstreret usædvanlig succes på en bred vifte af naturligsproglige opgaver. Efter at have erobret NLP-området er den næste udfordring for GenAI- og LLM-forskere at udforske, hvordan store sprogmodeller kan handle selvstændigt i den virkelige verden med en udvidet generationskløft fra tekst til handling, og dermed repræsenterer en betydelig paradigme i jagten på kunstig generel intelligens. Online-spil anses for at være en egnet testgrund til at udvikle store sprogmodeller, der kan interagere med den visuelle omgivelse på en måde, der ligner menneskelig adfærd.

For eksempel i et populært online-simuleringspil som Minecraft kan beslutningsagenter anvendes til at hjælpe spillere med at udforske verden samt udvikle færdigheder til at lave værktøj og løse opgaver. Et andet eksempel på LLM-agenter, der interagerer med den visuelle omgivelse, kan opleves i et andet online-spil, The Sims, hvor agenter har demonstreret bemærkelsesværdig succes i sociale interaktioner og udviser adfærd, der ligner mennesker. Men i forhold til eksisterende spil kan taktiske kampspil måske være et bedre valg til at benchmarkere evnen af store sprogmodeller til at spille virtuelle spil. Den primære grund til, at taktiske spil er et bedre benchmark, er, at sejrsprocenten kan måles direkte, og konsekvente modstandere, herunder menneskelige spillere og AI, er altid tilgængelige.

Byggende på dette, har POKELLMON til formål at være verdens første inkarneret agent, der opnår menneske-lignende præstationer på taktiske spil, lignende dem, der ses i Pokémon-kampe. I sin kerne inkorporerer POKELLMON-rammen tre hovedstrategier.

1. Inkontekstuel forstærkninglæring, der forbruger tekstbaseret feedback fra kampe øjeblikkeligt til at raffinere politikken iterativt.
2. Viden-forstærket generering, der henter ekstern viden til at imødegå hallucinationer, og muliggør, at agenterne kan handle korrekt og når det er nødvendigt.
3. Konsekvent handlingsgenerering til at minimere panik-skift-situationen, når agenterne møder en stærk modstander, og ønsker at undgå at møde dem.

Denne artikel har til formål at dække POKELLMON-rammen i dybden, og vi udforsker mekanismen, metoden, arkitekturen i rammen samt sammenligningen med state-of-the-art-rammer. Vi vil også tale om, hvordan POKELLMON-rammen demonstrerer bemærkelsesværdig menneske-lignende kampstrategier og beslutningstagningsevner, og opnår en respektabel sejrsprocent på næsten 50%. Så lad os komme i gang.

POKELLMON: En menneske-lignende agent med LLM til Pokémon-kampe

Væksten i evnerne og effektiviteten af store sprogmodeller og generative AI-rammer i de seneste år har været intet mindre end vidunderligt, især på NLP-opgaver. Nyligt har udviklere og AI-forskere arbejdet på at gøre generative AI og LLM’er mere fremtrædende i virkelige scenarier med evnen til at handle selvstændigt i den fysiske verden. For at opnå denne selvstændige præstation i fysiske og virkelige situationer anses spil for at være en egnet testgrund til at udvikle LLM-inkarnerede agenter med evnen til at interagere med den visuelle omgivelse på en måde, der ligner menneskelig adfærd.

Tidligere har udviklere forsøgt at udvikle LLM-inkarnerede agenter på virtuelle simulerings-spil som Minecraft og Sims, selv om det anses for, at taktiske spil som Pokémon måske er et bedre valg til at udvikle disse agenter. Pokémon-kampe giver udviklerne mulighed for at evaluere en træners evne til at kæmpe i velkendte Pokémon-spil, og tilbyder flere fordele i forhold til andre taktiske spil. Da handlings- og tilstandsrummene er diskrete, kan de oversættes til tekst uden nogen tab. Følgende figur illustrerer en typisk Pokémon-kamp, hvor spilleren bedes om at generere en handling til at udføre ved hver tur, givet den nuværende tilstand af Pokémon på hver side. Brugerne har mulighed for at vælge mellem fem forskellige Pokémon, og der er i alt fire bevægelser i handlingsrummet. Yderligere hjælper spillet med at lette presset på slutningen af spillet og slutningsomkostningerne for LLM’er, da tur-baseret format eliminerer behovet for intensiv spilletid. Som følge heraf afhænger præstationen primært af den rationelle evne af den store sprogmodel.

POKELLMON: Metode og arkitektur

Den samlede ramme og arkitektur af POKELLMON-rammen er illustreret i følgende billede.

Under hver tur bruger POKELLMON-rammen tidligere handlinger og deres tilhørende tekstbaserede feedback til at raffinere politikken iterativt samt til at supplere den nuværende tilstandsoplysninger med ekstern viden som f.eks. evne/bevægelseseffekter eller fordel/svaghedsforhold. For input-oplysninger genererer POKELLMON-rammen multiple handlinger uafhængigt og vælger herefter de mest konsekvente som den endelige output.

Inkontekstuel forstærkninglæring

Menneskelige spillere og atleter tager ofte beslutninger ikke kun på baggrund af den nuværende tilstand, men de reflekterer også over feedback fra tidligere handlinger samt erfaringer fra andre spillere. Det ville være sikkert at sige, at positivt feedback er, hvad der hjælper en spiller med at lære af sine fejl, og forhindrer dem i at gentage de samme fejl igen og igen. Uden ordentligt feedback kan POKELLMON-agenterne fastholde den samme fejlhandling, som demonstreret i følgende figur.

Som det kan ses, bruger spil-agenteren en vand-baseret bevægelse mod en Pokémon-karakter, der har “Dry Skin”-evnen, der tillader den at neutralisere skaden mod vand-baserede angreb. Spillet forsøger at advare brugeren ved at flash “Immune”-meddelelsen på skærmen, der måske kan få en menneskelig spiller til at overveje sine handlinger og ændre dem, selv uden at kende til “Dry Skin”. Men det er ikke inkluderet i tilstandsbeskrivelsen for agenten, hvilket resulterer i, at agenten gentager den samme fejl.

For at sikre, at POKELLMON-agenten lærer af sine tidligere fejl, implementerer rammen Inkontekstuel forstærkninglæring. Forstærkninglæring er en populær tilgang i maskinlæring, og det hjælper udviklere med at raffinere politik, da det kræver numeriske belønninger til at evaluere handlinger. Da store sprogmodeller har evnen til at fortolke og forstå sprog, er tekstbaserede beskrivelser blevet en ny form for belønning til LLM’er. Ved at inkludere tekstbaseret feedback fra tidligere handlinger kan POKELLMON-agenten iterativt og øjeblikkeligt raffinere sin politik, nemlig Inkontekstuel forstærkninglæring.

Viden-forstærket generering eller KAG

Selv om implementering af Inkontekstuel forstærkninglæring hjælper med hallucinationer til en vis udstrækning, kan det stadig resultere i fatale konsekvenser, før agenten modtager feedback. For eksempel, hvis agenten beslutter at kæmpe mod en ild-type Pokémon med en græs-type Pokémon, er den sidste sandsynligvis at vinde i sandsynligvis kun en tur. For at reducere hallucinationer yderligere og forbedre beslutningstagningsevnen hos agenten, implementerer POKELLMON-rammen Viden-forstærket generering eller KAG-tilgangen, en teknik, der anvender ekstern viden til at supplere generering.

Nu, når modellen genererer de fire typer af feedback, der er nævnt ovenfor, annoterer den Pokémon-bevægelser og -information, der tillader agenten at slutte typefordelen-forhold på egen hånd. I et forsøg på at reducere hallucinationer i resonnering yderligere, annoterer POKELLMON-rammen eksplicit typefordel og svaghed hos den modsatte Pokémon og agentens Pokémon med passende beskrivelser. Yderligere er det vanskeligt at huske bevægelser og evner med distinkte effekter af Pokémon, især da der er mange af dem.

Konsekvent handlingsgenerering

Eksisterende modeller demonstrerer, at implementering af promptning og resonneringstilgange kan forbedre LLM’ernes evne til at løse komplekse opgaver. I stedet for at generere en enkelt handling, evaluerer POKELLMON-rammen eksisterende promptningstrategier, herunder CoT eller Chain of Thought, ToT eller Tree of Thought, og Selv-konsistens. For Chain of Thought genererer agenten først en tanke, der analyserer den nuværende kamp-scenarie, og udgangen en handling betinget af tanken.

POKELLMON: Resultater og eksperimenter

Før vi diskuterer resultaterne, er det essentiel for os at forstå kamp-miljøet. Ved starten af en tur modtager miljøet en handling-anmodning fra serveren og vil svare på denne besked ved slutningen, der også indeholder udførelsesresultatet fra den foregående tur.

1. Først parser beskeden og opdaterer lokale tilstandsvariable, 2. derefter oversætter tilstandsvariable til tekst. Tekstbeskrivelsen har primært fire dele: 1. Egen holdinformation, der indeholder attributter af Pokémon på banen og udenfor banen (ubrugt).
2. Modstanderholdinformation, der indeholder attributter af modstander-Pokémon på banen og udenfor banen (nogen information er ukendt).
3. Kampinformation, der inkluderer vejr, indgangsfare og terræn.
4. Historisk tur-log-information, der indeholder tidligere handlinger af både Pokémon og er gemt i en log-kø.

Kamp mod menneskelige spillere

Følgende tabel illustrerer præstationen af POKELLMON-agenten mod menneskelige spillere.

Som det kan ses, leverer POKELLMON-agenten en præstation, der er sammenlignelig med ladder-spillere, der har en højere sejrsprocent i forhold til en inviteret spiller samt har omfattende kamp-erfaring.

Kampfærdighedsanalyse

POKELLMON-rammen gør sjældent fejl ved at vælge den effektive bevægelse og skifter til en anden egnet Pokémon takket være Viden-forstærket generering-strategien.

Som vist i ovenstående eksempel, bruger agenten kun en Pokémon til at besejre hele modstanderholdet, da den kan vælge forskellige angrebsbevægelser, de mest effektive for modstanderen i den pågældende situation. Yderligere udviser POKELLMON-rammen også en menneske-lignende slid-strategi. Nogle Pokémon har en “Toxic”-bevægelse, der kan påføre ekstra skade ved hver tur, mens “Recover”-bevægelsen tillader den at genoprette sin HP. Ved at udnytte dette, forgifter agenten først den modsatte Pokémon og bruger Recover-bevægelsen til at forhindre, at den selv svimmel.

Afslutning

I denne artikel har vi talt om POKELLMON, en tilgang, der muliggør, at store sprogmodeller kan spille Pokémon-kampe mod mennesker selvstændigt. POKELLMON har til formål at være verdens første inkarnerede agent, der opnår menneske-lignende præstationer på taktiske spil, lignende dem, der ses i Pokémon-kampe. POKELLMON-rammen introducerer tre nøglestrategier: Inkontekstuel forstærkninglæring, der forbruger tekstbaseret feedback som “belønning” til at raffinere handlingsgenereringspolitikken uden træning, Viden-forstærket generering, der henter ekstern viden til at imødegå hallucinationer og sikrer, at agenten handler korrekt og når det er nødvendigt, og Konsekvent handlingsgenerering, der forhindrer panik-skift-problemet, når agenten møder en stærk modstander.