Techniek maakt het mogelijk voor AI om ver in de toekomst te denken

Een team van onderzoekers van het MIT, het MIT-IBM Watson AI Lab en andere instellingen heeft een nieuwe aanpak ontwikkeld die het mogelijk maakt voor kunstmatige intelligentie (AI) om een verreikend perspectief te bereiken. Met andere woorden, de AI kan ver in de toekomst denken wanneer het gaat om het overwegen van hoe hun gedrag andere AI-agents kan beïnvloeden bij het voltooien van een taak.

Het onderzoek zal worden gepresenteerd op de Conference on Neural Information Processing Systems.

AI die de toekomstige acties van andere agents overweegt

Het machine learning-kader dat door het team is gemaakt, maakt het mogelijk voor coöperatieve of concurrerende AI-agents om te overwegen wat andere agents zullen doen. Dit is niet alleen over de volgende stappen, maar ook over een periode die tot in het oneindige reikt. De agents passen hun gedrag dienovereenkomstig aan om het toekomstige gedrag van andere agents te beïnvloeden, waardoor ze optimaal, langetermijnoplossingen kunnen bereiken.

Volgens het team kan het kader bijvoorbeeld worden gebruikt door een groep autonome drones die samenwerken om een verloren wandelaar te vinden. Het kan ook worden gebruikt door zelfrijdende voertuigen om de toekomstige bewegingen van andere voertuigen te voorspellen en de veiligheid van passagiers te verbeteren.

Dong-Ki Kim is een promovendus in het MIT Laboratory for Information and Decision Systems (LIDS) en de eerste auteur van het onderzoeksrapport.

“Wanneer AI-agents samenwerken of concurreren, is het meest belangrijk wanneer hun gedrag op een bepaald moment in de toekomst convergeert”, zegt Kim. “Er zijn veel tijdelijke gedragingen onderweg die niet veel uitmaken op de lange termijn. Het bereiken van dit geconvergeerde gedrag is waar we ons echt zorgen over maken, en we hebben nu een wiskundige manier om dat mogelijk te maken.”

Het probleem dat de onderzoekers hebben aangepakt, heet multi-agent reinforcement learning, waarbij reinforcement learning een vorm van machine learning is waarbij AI-agents leren door trial and error.

Wanneer er meerdere coöperatieve of concurrerende agents tegelijkertijd leren, kan het proces veel complexer worden. Wanneer agents meer toekomstige stappen van andere agents overwegen, evenals hun eigen gedrag en hoe het andere agents beïnvloedt, vereist het probleem te veel rekenkracht.

AI die over oneindigheid nadenkt

“De AI wil echt over het einde van het spel nadenken, maar ze weten niet wanneer het spel zal eindigen”, zegt Kim. “Ze moeten nadenken over hoe ze hun gedrag kunnen aanpassen tot in het oneindige, zodat ze op een verre toekomstige tijd kunnen winnen. Ons artikel stelt een nieuw doel voor dat het mogelijk maakt voor AI om over oneindigheid na te denken.”

Het is onmogelijk om oneindigheid in een algoritme te integreren, dus het team heeft het systeem zo ontworpen dat agents zich richten op een toekomstig punt waar hun gedrag zal convergeren met dat van andere agents. Dit wordt evenwicht genoemd, en een evenwichtspunt bepaalt de langetermijnprestaties van agents.

Het is mogelijk dat meerdere evenwichten bestaan in een multi-agent scenario, en wanneer een effectieve agent actief de toekomstige gedragingen van andere agents beïnvloedt, kunnen ze een wenselijk evenwicht bereiken vanuit het perspectief van de agent. Wanneer alle agents elkaar beïnvloeden, convergeren ze naar een algemeen concept dat “actief evenwicht” wordt genoemd.

FURTHER-kader

Het machine learning-kader van het team heet FURTHER, en het maakt het mogelijk voor agents om te leren hoe ze hun gedrag kunnen aanpassen op basis van hun interacties met andere agents om actief evenwicht te bereiken.

Het kader is afhankelijk van twee machine learning-modules. De eerste is een inferentie-module die het mogelijk maakt voor een agent om de toekomstige gedragingen van andere agents en de leer-algoritmes die ze gebruiken te raden op basis van eerdere acties. De informatie wordt vervolgens doorgegeven aan de reinforcement learning-module, die de agent gebruikt om zijn gedrag aan te passen en andere agents te beïnvloeden.

“De uitdaging was om over oneindigheid na te denken”, zegt Kim. “We moesten veel verschillende wiskundige instrumenten gebruiken om dat mogelijk te maken en enkele aannamen doen om het in de praktijk te laten werken.”

Het team heeft hun methode getest tegen andere multi-agent reinforcement learning-kaders in verschillende scenario’s, waarin de AI-agents die FURTHER gebruikten, beter presteerden.

De aanpak is gedecentraliseerd, dus de agents leren onafhankelijk te winnen. Bovendien is het beter ontworpen om te schalen in vergelijking met andere methoden die een centrale computer vereisen om de agents te controleren.

Volgens het team kan FURTHER worden gebruikt in een breed scala aan multi-agent problemen. Kim is vooral hoopvol over de toepassingen in de economie, waar het kan worden gebruikt om een solide beleid te ontwikkelen in situaties met veel interactieve entiteiten met gedragingen en belangen die veranderen over tijd.