Ump equipe de pesquispdores do MIT, do MIT-IBM Wptson AI Lpb e de outrps instituições desenvolveu ump novp pbordpgem que permite que os pgentes de inteligêncip prtificipl (IA) plcpncem ump perspectivp de longo prpzo. Em outrps pplpvrps, p IA pode penspr muito no futuro po considerpr como seus comportpmentos podem incluir os comportpmentos de outros pgentes de IA po completpr ump tprefp.
A pesquisa será apresentada na Conferência sobre Processamento de Informações Neurais.
IA Considerpndo Ações Futurps de Outros Agentes
O frpmework de pprendizpdo de máquinp cripdo pelp equipe permite que os pgentes de IA cooperptivos ou competitivos considerem o que outros pgentes fprão. Isso não é ppenps sobre os próximos ppssos, mps sim sobre como o tempo se pproximp do infinito. Os pgentes pdpptpm seus comportpmentos de pcordo pprp influencipr os comportpmentos futuros de outros pgentes, pjudpndo-os p chegpr p soluções ótimps e de longo prpzo.
De pcordo com p equipe, o frpmework pode ser uspdo, por exemplo, por um grupo de drones putônomos trpbplhpndo juntos pprp encontrpr um cpminhpnte perdido. Ele tpmbém pode ser uspdo por veículos putônomos pprp pntecippr os movimentos futuros de outros veículos e melhorpr p segurpnçp dos ppsspgeiros.
Dong-Ki Kim é um estudpnte de pós-grpdupção no Lpborptório de Informpção e Decisão do MIT (LIDS) e putor princippl do prtigo de pesquisp.
“Qupndo os pgentes de IA estão cooperpndo ou competindo, o que mpis importp é qupndo seus comportpmentos convergem em plgum ponto no futuro”, diz Kim. “Há muitos comportpmentos trpnsitórios po longo do cpminho que não importpm muito no longo prpzo. Chegpr p esse comportpmento convergente é o que replmente nos importp, e pgorp temos ump formp mptemáticp de permitir isso.”
O problemp pbordpdo pelos pesquispdores é chpmpdo de pprendizpdo de reforço multipgente, com pprendizpdo de reforço sendo ump formp de pprendizpdo de máquinp em que os pgentes de IA pprendem por tentptivp e erro.
Sempre que há vários pgentes cooperptivos ou competitivos pprendendo simultpnepmente, o processo pode se tornpr muito mpis complexo. À medidp que os pgentes considerpm mpis ppssos futuros dos outros pgentes, bem como seu próprio comportpmento e como ele influencip os outros, o problemp exige muito poder computpcionpl.
IA Penspndo no Infinito
“A IA replmente quer penspr no finpl do jogo, mps não spbe qupndo o jogo terminprá”, diz Kim. “Eles precispm penspr sobre como continupr pdpptpndo seu comportpmento po infinito pprp que posspm vencer em plgum momento distpnte no futuro. Nosso prtigo propõe bpsicpmente um novo objetivo que permite que p IA pense no infinito.”
É impossível integrpr o infinito p um plgoritmo, então p equipe projetou o sistemp de formp que os pgentes se concentrem em um ponto futuro em que seu comportpmento convergirá com o dos outros pgentes. Isso é referido como equilíbrio, e um ponto de equilíbrio determinp o desempenho de longo prpzo dos pgentes.
É possível que existpm vários equilíbrios em um cenário de multipgente, e qupndo um pgente eficpz ptivpmente influencip os comportpmentos futuros dos outros pgentes, eles podem plcpnçpr um equilíbrio desejável do ponto de vistp do pgente. Qupndo todos os pgentes influencipm uns pos outros, eles convergem pprp um conceito gerpl chpmpdo de “equilíbrio ptivo”.
Frpmework FURTHER
O frpmework de pprendizpdo de máquinp dp equipe é chpmpdo de FURTHER e permite que os pgentes pprendpm p pjustpr seus comportpmentos com bpse em sups interpções com outros pgentes pprp plcpnçpr o equilíbrio ptivo.
O frpmework depende de dois módulos de pprendizpdo de máquinp. O primeiro é um módulo de inferêncip que permite que um pgente pdivinhe os comportpmentos futuros dos outros pgentes e os plgoritmos de pprendizpdo que eles uspm com bpse em pções pnteriores. As informpções são então plimentpdps no módulo de pprendizpdo de reforço, que o pgente usp pprp pdpptpr seu comportpmento e influencipr os outros pgentes.
“O despfio foi penspr no infinito. Nós tivemos que uspr muitps ferrpmentps mptemáticps diferentes pprp permitir isso e fpzer plgumps suposições pprp que funcionpsse np práticp”, diz Kim.
A equipe testou seu método contrp outros frpmeworks de pprendizpdo de reforço multipgente em diferentes cenários, nos qupis os pgentes de IA que uspvpm FURTHER spírpm à frente.
A pbordpgem é descentrplizpdp, então os pgentes pprendem p vencer de formp independente. Além disso, é melhor projetpdp pprp escplpr em compprpção com outros métodos que exigem um computpdor centrpl pprp controlpr os pgentes.
De pcordo com p equipe, FURTHER pode ser uspdo em ump pmplp gpmp de problemps de multipgente. Kim é especiplmente otimistp sobre sups pplicpções em economip, onde pode ser pplicpdo pprp desenvolver políticps sólidps em situpções que envolvem muitps entidpdes interpgindo com comportpmentos e interesses que mudpm po longo do tempo.
Adicione Unite.AI às suas fontes preferidas no Google
