Técnica Permite que a IA Pense Muito no Futuro

Uma equipe de pesquisadores do MIT, do MIT-IBM Watson AI Lab e de outras instituições desenvolveu uma nova abordagem que permite que agentes de inteligência artificial (IA) alcancem uma perspectiva de longo prazo. Em outras palavras, a IA pode pensar muito no futuro ao considerar como seus comportamentos podem incluir os comportamentos de outros agentes de IA ao completar uma tarefa.

A pesquisa será apresentada na Conferência sobre Processamento de Informações Neurais.

IA Considerando Ações Futuras de Outros Agentes

O framework de aprendizado de máquina criado pela equipe permite que agentes de IA cooperativos ou competitivos considerem o que outros agentes farão. Isso não é apenas sobre os próximos passos, mas sim à medida que o tempo se aproxima do infinito. Os agentes adaptam seus comportamentos de acordo para influenciar os comportamentos futuros de outros agentes, ajudando-os a chegar a soluções ótimas e de longo prazo.

De acordo com a equipe, o framework pode ser usado, por exemplo, por um grupo de drones autônomos trabalhando juntos para encontrar um caminhante perdido. Ele também pode ser usado por veículos autônomos para antecipar os movimentos futuros de outros veículos e melhorar a segurança dos passageiros.

Dong-Ki Kim é um estudante de pós-graduação no Laboratório de Informação e Decisão dos Sistemas do MIT (LIDS) e autor principal do artigo de pesquisa.

“Quando os agentes de IA estão cooperando ou competindo, o que mais importa é quando seus comportamentos convergem em algum ponto no futuro”, diz Kim. “Há muitos comportamentos transitórios ao longo do caminho que não importam muito no longo prazo. Alcançar esse comportamento convergente é o que realmente nos importa, e agora temos uma maneira matemática de permitir isso.”

O problema abordado pelos pesquisadores é chamado de aprendizado de reforço multiagente, com aprendizado de reforço sendo uma forma de aprendizado de máquina em que os agentes de IA aprendem por tentativa e erro.

Sempre que há vários agentes cooperativos ou competitivos aprendendo simultaneamente, o processo pode se tornar muito mais complexo. À medida que os agentes consideram mais passos futuros dos outros agentes, bem como seu próprio comportamento e como ele influencia os outros, o problema requer muito poder computacional.

https://www.youtube.com/watch?v=-J3zYh3XuX4

IA Pensando sobre o Infinito

“A IA realmente quer pensar sobre o final do jogo, mas não sabe quando o jogo terminará”, diz Kim. “Eles precisam pensar sobre como continuar adaptando seu comportamento ao infinito para que possam vencer em algum momento distante no futuro. Nosso artigo propõe basicamente um novo objetivo que permite que a IA pense sobre o infinito.”

É impossível integrar o infinito a um algoritmo, então a equipe projetou o sistema de forma que os agentes se concentrem em um ponto futuro onde seu comportamento convergirá com o dos outros agentes. Isso é referido como equilíbrio, e um ponto de equilíbrio determina o desempenho de longo prazo dos agentes.

É possível que múltiplos equilíbrios existam em um cenário multiagente, e quando um agente eficaz ativamente influencia os comportamentos futuros de outros agentes, eles podem alcançar um equilíbrio desejável do ponto de vista do agente. Quando todos os agentes influenciam uns aos outros, eles convergem para um conceito geral chamado de “equilíbrio ativo”.

Framework FURTHER

O framework de aprendizado de máquina da equipe é chamado de FURTHER e permite que os agentes aprendam a ajustar seus comportamentos com base em suas interações com outros agentes para alcançar o equilíbrio ativo.

O framework depende de dois módulos de aprendizado de máquina. O primeiro é um módulo de inferência que permite que um agente adivinhe os comportamentos futuros de outros agentes e os algoritmos de aprendizado que eles usam com base em ações anteriores. As informações são então alimentadas no módulo de aprendizado de reforço, que o agente usa para adaptar seu comportamento e influenciar outros agentes.

“O desafio foi pensar sobre o infinito. Tivemos que usar muitas ferramentas matemáticas diferentes para permitir isso e fazer algumas suposições para funcionar na prática”, diz Kim.

A equipe testou seu método contra outros frameworks de aprendizado de reforço multiagente em diferentes cenários, onde os agentes de IA que usavam FURTHER saíram à frente.

A abordagem é descentralizada, então os agentes aprendem a vencer de forma independente. Além disso, é melhor projetada para escalar em comparação com outros métodos que exigem um computador central para controlar os agentes.

De acordo com a equipe, FURTHER pode ser usado em uma ampla gama de problemas multiagentes. Kim é especialmente otimista sobre suas aplicações em economia, onde pode ser aplicado para desenvolver políticas sólidas em situações que envolvem muitas entidades interagindo com comportamentos e interesses que mudam ao longo do tempo.