Os Grandes Modelos de Linguagem e a Inteligência Artificial Gerativa demonstraram um sucesso sem precedentes em uma ampla gama de tarefas de Processamento de Linguagem Natural. Após conquistar o campo da NLP, o próximo desafio para os pesquisadores e desenvolvedores de GenAI e LLM é explorar como os grandes modelos de linguagem podem agir autonomamente no mundo real com uma lacuna de geração estendida de texto para ação, representando um paradigma significativo na busca por Inteligência Artificial Geral. Os jogos online são considerados uma base de teste adequada para desenvolver agentes incorporados de LLM que interagem com o ambiente visual de uma maneira que um humano faria.

Por exemplo, em um popular jogo de simulação online, Minecraft, agentes de tomada de decisão podem ser empregados para ajudar os jogadores a explorar o mundo e desenvolver habilidades para fazer ferramentas e resolver tarefas. Outro exemplo de agentes LLM interagindo com o ambiente visual pode ser experimentado em outro jogo online, The Sims, onde os agentes demonstraram um sucesso notável em interações sociais e exibem comportamento que se assemelha ao humano. No entanto, em comparação com jogos existentes, jogos táticos de batalha podem provar ser uma melhor escolha para medir a capacidade dos grandes modelos de linguagem de jogar jogos virtuais. A principal razão pela qual os jogos táticos são uma melhor referência é que a taxa de vitória pode ser medida diretamente, e oponentes consistentes, incluindo jogadores humanos e IA, estão sempre disponíveis.

Com base nisso, o POKELLMON visa ser o primeiro agente incorporado a alcançar o desempenho de nível humano em jogos táticos, semelhante ao observado em batalhas de Pokémon. Em seu núcleo, o framework POKELLMON incorpora três estratégias principais.

1. Aprendizado de reforço em contexto que consome feedback baseado em texto derivado de batalhas instantaneamente para refinar a política iterativamente.
2. Geração aumentada por conhecimento que recupera conhecimento externo para combater alucinações, permitindo que o agente aja propriamente e quando necessário.
3. Geração de ação consistente para minimizar a situação de troca de pânico quando o agente encontra um oponente forte e deseja evitar enfrentá-lo.

Este artigo visa cobrir o framework POKELLMON em profundidade e exploramos o mecanismo, a metodologia, a arquitetura do framework, juntamente com sua comparação com frameworks de estado da arte. Também discutiremos como o framework POKELLMON demonstra estratégias de batalha semelhantes às humanas e capacidades de tomada de decisão em tempo real, alcançando uma taxa de vitória respeitável de quase 50%. Vamos começar.

POKELLMON: Um Agente de Paridade Humana com LLM para Batalhas de Pokémon

O crescimento nas capacidades e eficiência dos Grandes Modelos de Linguagem e frameworks de Inteligência Artificial Gerativa nos últimos anos tem sido nada menos que notável, especialmente em tarefas de NLP. Recentemente, desenvolvedores e pesquisadores de IA têm trabalhado em maneiras de tornar a IA Gerativa e os LLM mais proeminentes em cenários do mundo real com a capacidade de agir autonomamente no mundo físico. Para alcançar esse desempenho autônomo em situações físicas e do mundo real, os pesquisadores e desenvolvedores consideram os jogos como uma base de teste adequada para desenvolver agentes incorporados de LLM com a capacidade de interagir com o ambiente virtual de uma maneira que se assemelha ao comportamento humano.

Anteriormente, os desenvolvedores tentaram desenvolver agentes incorporados de LLM em jogos de simulação virtuais como Minecraft e The Sims, embora se acredite que jogos táticos como Pokémon possam ser uma melhor escolha para desenvolver esses agentes. As batalhas de Pokémon permitem que os desenvolvedores avaliem a capacidade de um treinador de batalhar em jogos de Pokémon conhecidos e oferecem várias vantagens sobre outros jogos táticos. Como os espaços de ação e estado são discretos, podem ser traduzidos em texto sem perda. A figura a seguir ilustra uma batalha de Pokémon típica onde o jogador é solicitado a gerar uma ação para realizar a cada turno, dado o estado atual do Pokémon de cada lado. Os usuários têm a opção de escolher entre cinco Pokémon diferentes e há um total de quatro movimentos no espaço de ação. Além disso, o jogo ajuda a aliviar a pressão sobre o tempo de inferência e os custos de inferência para os LLM, pois o formato baseado em turnos elimina a necessidade de um jogo intensivo. Como resultado, o desempenho depende principalmente da capacidade de raciocínio do grande modelo de linguagem.

POKELLMON: Metodologia e Arquitetura

A arquitetura geral do framework POKELLMON é ilustrada na figura a seguir.

Durante cada turno, o framework POKELLMON usa ações anteriores e o feedback baseado em texto correspondente para refinar a política iterativamente, juntamente com a informação de estado atual aumentada com conhecimento externo, como efeitos de habilidade/movimento ou relacionamento de vantagem/fraqueza. Para as informações dadas como entrada, o framework POKELLMON gera várias ações independentemente e, em seguida, seleciona as mais consistentes como saída final.

Aprendizado de Reforço em Contexto

Jogadores humanos e atletas frequentemente tomam decisões não apenas com base no estado atual, mas também refletem sobre o feedback de ações anteriores, bem como as experiências de outros jogadores. Seria seguro dizer que o feedback positivo é o que ajuda um jogador a aprender com seus erros e evita cometê-los repetidamente. Sem feedback adequado, os agentes POKELLMON podem ficar presos ao mesmo erro de ação, como demonstrado na figura a seguir.

Como pode ser observado, o agente no jogo usa um movimento baseado em água contra um personagem Pokémon que tem a habilidade “Dry Skin”, permitindo que ele anule o dano contra ataques baseados em água. O jogo tenta alertar o usuário piscando a mensagem “Imune” na tela, o que pode promover que um jogador humano reconsidere suas ações e mudá-las, mesmo sem saber sobre “Dry Skin”. No entanto, não está incluído na descrição de estado para o agente, resultando no agente cometendo o mesmo erro novamente.

Para garantir que o agente POKELLMON aprenda com seus erros anteriores, o framework implementa a abordagem de Aprendizado de Reforço em Contexto. O aprendizado de reforço é uma abordagem popular em aprendizado de máquina, e ajuda os desenvolvedores a refinar a política, pois requer recompensas numéricas para avaliar ações. Como os grandes modelos de linguagem têm a capacidade de interpretar e entender a linguagem, as descrições baseadas em texto emergiram como uma nova forma de recompensa para os LLM. Ao incluir feedback baseado em texto de ações anteriores, o agente POKELLMON é capaz de refinar sua política iterativa e instantaneamente, nomeadamente o Aprendizado de Reforço em Contexto. O framework POKELLMON desenvolve quatro tipos de feedback,

1. O dano real causado por um movimento de ataque com base na diferença de HP entre dois turnos consecutivos.
2. A eficácia dos movimentos de ataque. O feedback indica a eficácia do ataque em termos de não ter efeito ou ser imune, ineficaz ou super-eficaz devido a efeitos de habilidade/movimento ou vantagem de tipo.
3. A ordem de prioridade para executar um movimento. Como os estatutos precisos para o personagem Pokémon oponente não estão disponíveis, o feedback de ordem de prioridade fornece uma estimativa aproximada de velocidade.
4. O efeito real dos movimentos executados no oponente. Tanto os movimentos de ataque quanto os de status podem resultar em resultados como recuperação de HP, aumento de estatutos ou redução, infligir condições como congelamento, queimaduras ou envenenamento.

Além disso, o uso da abordagem de Aprendizado de Reforço em Contexto resulta em um aumento significativo no desempenho, como demonstrado na figura a seguir.

Quando comparado ao desempenho original no GPT-4, a taxa de vitória aumenta em quase 10% junto com um aumento de quase 13% na pontuação de batalha. Além disso, como demonstrado na figura a seguir, o agente começa a analisar e mudar sua ação se os movimentos executados nas ações anteriores não atenderam às expectativas.

Geração Aumentada por Conhecimento ou GAC

Embora a implementação do Aprendizado de Reforço em Contexto ajude com as alucinações até certo ponto, ainda pode resultar em consequências fatais antes que o agente receba o feedback. Por exemplo, se o agente decidir lutar contra um Pokémon do tipo fogo com um Pokémon do tipo grama, o primeiro provavelmente vencerá em um único turno. Para reduzir as alucinações ainda mais e melhorar a capacidade de tomada de decisão do agente, o framework POKELLMON implementa a abordagem de Geração Aumentada por Conhecimento ou GAC, uma técnica que emprega conhecimento externo para aumentar a geração.

Agora, quando o modelo gera os quatro tipos de feedback discutidos acima, ele anota os movimentos e informações do Pokémon, permitindo que o agente infira a relação de vantagem de tipo por conta própria. Em uma tentativa de reduzir ainda mais as alucinações contidas no raciocínio, o framework POKELLMON anota explicitamente a vantagem de tipo e a fraqueza do Pokémon oponente e do Pokémon do agente com descrições adequadas. Além disso, é desafiador memorizar os movimentos e habilidades com efeitos distintos dos Pokémon, especialmente porque há muitos deles. A tabela a seguir demonstra os resultados da geração aumentada por conhecimento. É digno de nota que, implementando a abordagem de Geração Aumentada por Conhecimento, o framework POKELLMON é capaz de aumentar a taxa de vitória em cerca de 20% do existente 36% para 55%.

Além disso, os desenvolvedores observaram que, quando o agente foi fornecido com conhecimento externo de Pokémon, ele começou a usar movimentos especiais no momento certo, como demonstrado na imagem a seguir.

Geração de Ação Consistente

Os modelos existentes demonstram que a implementação de abordagens de prompting e raciocínio pode melhorar a capacidade dos LLM de resolver tarefas complexas. Em vez de gerar uma ação de um único disparo, o framework POKELLMON avalia estratégias de prompting existentes, incluindo CoT ou Cadeia de Pensamento, ToT ou Árvore de Pensamento e Autoconsistência. Para a Cadeia de Pensamento, o agente inicialmente gera um pensamento que analisa o cenário de batalha atual e produz uma ação condicionada ao pensamento. Para a Autoconsistência, o agente gera três vezes as ações e seleciona a saída que recebeu o maior número de votos. Finalmente, para a abordagem Árvore de Pensamento, o framework gera três ações, como na abordagem de autoconsistência, mas escolhe a que considera a melhor após avaliá-las todas por si mesmo. A tabela a seguir resume o desempenho das abordagens de prompting.

Há apenas uma ação para cada turno, o que implica que, mesmo que o agente decida trocar e o oponente decida atacar, o Pokémon que entra em cena sofrerá o dano. Normalmente, o agente decide trocar porque deseja trocar um Pokémon fora da batalha para um que tenha vantagem de tipo, e assim o Pokémon que entra em cena pode sustentar o dano, pois é resistente ao movimento do Pokémon oponente. No entanto, como acima, para o agente com raciocínio CoT, mesmo que o oponente poderoso force várias rotações, ele age de forma inconsistente com a missão, pois pode não querer trocar para o Pokémon, mas para vários Pokémon e de volta, o que chamamos de troca de pânico. A troca de pânico elimina as chances de realizar movimentos e, portanto, derrotas.

POKELLMON: Resultados e Experimentos

Antes de discutirmos os resultados, é essencial entender o ambiente de batalha. No início de um turno, o ambiente recebe uma mensagem de solicitação de ação do servidor e responderá a essa mensagem no final, que também contém o resultado da execução do último turno.

1. Primeiro, analisa a mensagem e atualiza as variáveis de estado locais, 2. em seguida, traduz as variáveis de estado em texto. A descrição de texto tem quatro partes principais: 1. Informações da equipe própria, que contém os atributos dos Pokémon em campo e fora do campo (não utilizados).
2. Informações da equipe oponente, que contém os atributos dos Pokémon oponentes em campo e fora do campo (algumas informações são desconhecidas).
3. Informações do campo de batalha, que incluem o clima, perigos de entrada e terreno.
4. Informações do registro de turnos históricos, que contém ações anteriores de ambos os Pokémon e é armazenado em uma fila de registro. Os LLMs recebem o estado traduzido como entrada e produzem ações para o próximo passo. A ação é então enviada ao servidor e executada ao mesmo tempo que a ação realizada pelo humano.

Batalha Contra Jogadores Humanos

A tabela a seguir ilustra o desempenho do agente POKELLMON contra jogadores humanos.

Como pode ser observado, o agente POKELLMON entrega um desempenho comparável ao dos jogadores da escada que têm uma taxa de vitória mais alta quando comparados a um jogador convidado, juntamente com experiência de batalha extensa.

Análise de Habilidades de Batalha

O framework POKELLMON raramente comete um erro ao escolher o movimento eficaz e troca para outro Pokémon adequado devido à estratégia de Geração Aumentada por Conhecimento.

Como mostrado no exemplo acima, o agente usa apenas um Pokémon para derrotar a equipe oponente inteira, pois é capaz de escolher diferentes movimentos de ataque, os mais eficazes para o oponente naquela situação. Além disso, o framework POKELLMON também exibe uma estratégia de desgaste humana. Alguns Pokémon têm um movimento “Tóxico” que pode infligir dano adicional a cada turno, enquanto o movimento “Recuperar” permite que ele recupere seu HP. Aproveitando disso, o agente primeiro envenena o Pokémon oponente e usa o movimento Recuperar para evitar desmaiar.

Pensamentos Finais

Neste artigo, discutimos o POKELLMON, uma abordagem que permite que os grandes modelos de linguagem joguem batalhas de Pokémon contra humanos de forma autônoma. O POKELLMON visa ser o primeiro agente incorporado a alcançar o desempenho de nível humano em jogos táticos, semelhante ao observado em batalhas de Pokémon. O framework POKELLMON introduz três estratégias principais: Aprendizado de Reforço em Contexto, que consome o feedback baseado em texto como “recompensa” para refinar a política de geração de ação sem treinamento, Geração Aumentada por Conhecimento que recupera conhecimento externo para combater alucinações e garante que o agente aja oportunamente e corretamente, e Geração de Ação Consistente que evita o problema de troca de pânico ao enfrentar oponentes poderosos.