Técnica Permite que a IA Pense Muito no Futuro

Uma equipe de pesquisadores do MIT, do MIT-IBM Watson AI Lab e de outras instituições desenvolveu uma nova abordagem que permite que os agentes de inteligência artificial (IA) alcancem uma perspectiva de longo prazo. Em outras palavras, a IA pode pensar muito no futuro ao considerar como seus comportamentos podem incluir os comportamentos de outros agentes de IA ao completar uma tarefa.

A pesquisa será apresentada na Conferência sobre Processamento de Informações Neurais.

IA Considerando Ações Futuras de Outros Agentes

O framework de aprendizado de máquina criado pela equipe permite que os agentes de IA cooperativos ou competitivos considerem o que outros agentes farão. Isso não é apenas sobre os próximos passos, mas sim sobre como o tempo se aproxima do infinito. Os agentes adaptam seus comportamentos de acordo para influenciar os comportamentos futuros de outros agentes, ajudando-os a chegar a soluções ótimas e de longo prazo.

De acordo com a equipe, o framework pode ser usado, por exemplo, por um grupo de drones autônomos trabalhando juntos para encontrar um caminhante perdido. Ele também pode ser usado por veículos autônomos para antecipar os movimentos futuros de outros veículos e melhorar a segurança dos passageiros.

Dong-Ki Kim é um estudante de pós-graduação no Laboratório de Informação e Decisão do MIT (LIDS) e autor principal do artigo de pesquisa.

“Quando os agentes de IA estão cooperando ou competindo, o que mais importa é quando seus comportamentos convergem em algum ponto no futuro”, diz Kim. “Há muitos comportamentos transitórios ao longo do caminho que não importam muito no longo prazo. Chegar a esse comportamento convergente é o que realmente nos importa, e agora temos uma forma matemática de permitir isso.”

O problema abordado pelos pesquisadores é chamado de aprendizado de reforço multiagente, com aprendizado de reforço sendo uma forma de aprendizado de máquina em que os agentes de IA aprendem por tentativa e erro.

Sempre que há vários agentes cooperativos ou competitivos aprendendo simultaneamente, o processo pode se tornar muito mais complexo. À medida que os agentes consideram mais passos futuros dos outros agentes, bem como seu próprio comportamento e como ele influencia os outros, o problema exige muito poder computacional.

IA Pensando no Infinito

“A IA realmente quer pensar no final do jogo, mas não sabe quando o jogo terminará”, diz Kim. “Eles precisam pensar sobre como continuar adaptando seu comportamento ao infinito para que possam vencer em algum momento distante no futuro. Nosso artigo propõe basicamente um novo objetivo que permite que a IA pense no infinito.”

É impossível integrar o infinito a um algoritmo, então a equipe projetou o sistema de forma que os agentes se concentrem em um ponto futuro em que seu comportamento convergirá com o dos outros agentes. Isso é referido como equilíbrio, e um ponto de equilíbrio determina o desempenho de longo prazo dos agentes.

É possível que existam vários equilíbrios em um cenário de multiagente, e quando um agente eficaz ativamente influencia os comportamentos futuros dos outros agentes, eles podem alcançar um equilíbrio desejável do ponto de vista do agente. Quando todos os agentes influenciam uns aos outros, eles convergem para um conceito geral chamado de “equilíbrio ativo”.

Framework FURTHER

O framework de aprendizado de máquina da equipe é chamado de FURTHER e permite que os agentes aprendam a ajustar seus comportamentos com base em suas interações com outros agentes para alcançar o equilíbrio ativo.

O framework depende de dois módulos de aprendizado de máquina. O primeiro é um módulo de inferência que permite que um agente adivinhe os comportamentos futuros dos outros agentes e os algoritmos de aprendizado que eles usam com base em ações anteriores. As informações são então alimentadas no módulo de aprendizado de reforço, que o agente usa para adaptar seu comportamento e influenciar os outros agentes.

“O desafio foi pensar no infinito. Nós tivemos que usar muitas ferramentas matemáticas diferentes para permitir isso e fazer algumas suposições para que funcionasse na prática”, diz Kim.

A equipe testou seu método contra outros frameworks de aprendizado de reforço multiagente em diferentes cenários, nos quais os agentes de IA que usavam FURTHER saíram à frente.

A abordagem é descentralizada, então os agentes aprendem a vencer de forma independente. Além disso, é melhor projetada para escalar em comparação com outros métodos que exigem um computador central para controlar os agentes.

De acordo com a equipe, FURTHER pode ser usado em uma ampla gama de problemas de multiagente. Kim é especialmente otimista sobre suas aplicações em economia, onde pode ser aplicado para desenvolver políticas sólidas em situações que envolvem muitas entidades interagindo com comportamentos e interesses que mudam ao longo do tempo.