Technika umožňuje umělé inteligenci myslet daleko do budoucnosti

Tým výzkumníků z MIT, MIT-IBM Watson AI Lab a dalších institucí vyvinul nový přístup, který umožňuje agentům umělé inteligence (AI) dosáhnout prozíravé perspektivy. Jinými slovy, umělá inteligence může myslet daleko do budoucnosti, když zvažuje, jak může jejich chování zahrnovat chování jiných agentů umělé inteligence při plnění úkolu. 

Projekt výzkum je připravena být předložena na Konference o systémech zpracování neurálních informací.

Umělá inteligence zvažuje budoucí akce ostatních agentů

Rámec strojového učení vytvořený týmem umožňuje spolupracujícím nebo konkurenčním agentům umělé inteligence zvážit, co udělají ostatní agenti. Nejde jen o další kroky, ale spíše o to, jak se čas blíží k nekonečnu. Agenti přizpůsobují své chování podle toho, aby ovlivnili budoucí chování ostatních agentů a pomohli jim dosáhnout optimálních dlouhodobých řešení. 

Podle týmu by framework mohla využít například skupina autonomních dronů, která by společně našla ztraceného turistu. Mohla by být také použita samořídícími vozidly k předvídání budoucích pohybů jiných vozidel za účelem zvýšení bezpečnosti cestujících.

Dong-Ki Kim je postgraduální student v laboratoři MIT pro informační a rozhodovací systémy (LIDS) a hlavní autor výzkumné práce. 

„Když agenti umělé inteligence spolupracují nebo soutěží, nejdůležitější je, když se jejich chování někdy v budoucnu sblíží,“ říká Kim. „Podél cesty dochází k mnoha přechodným chováním, na kterých z dlouhodobého hlediska příliš nezáleží. Dosažení tohoto konvergovaného chování je to, na čem nám opravdu záleží, a nyní máme matematický způsob, jak to umožnit.“

Problém, kterým se výzkumníci zabývají, se nazývá multiagentní posilovací učení, přičemž posilovací učení je formou strojového učení, kde se agenti AI učí metodou pokusu a omylu. 

Kdykoli se současně učí více spolupracujících nebo soutěžících agentů, může se proces stát mnohem složitější. Jak agenti zvažují další budoucí kroky ostatních agentů, stejně jako své vlastní chování a to, jak ovlivňuje ostatní, problém vyžaduje příliš mnoho výpočetního výkonu. 

AI myšlení o nekonečnu

„Umělá inteligence opravdu chce myslet na konec hry, ale nevědí, kdy hra skončí,“ říká Kim. "Musí přemýšlet o tom, jak neustále přizpůsobovat své chování do nekonečna, aby mohli vyhrát v nějaké vzdálené budoucnosti." Náš článek v podstatě navrhuje nový cíl, který umožňuje AI přemýšlet o nekonečnu. 

Je nemožné integrovat nekonečno do algoritmu, takže tým navrhl systém tak, aby se agenti zaměřili na budoucí bod, kde se jejich chování bude sbližovat s ostatními agenty. To se nazývá rovnováha a rovnovážný bod určuje dlouhodobý výkon agentů. 

Je možné, že ve scénáři s více agenty existuje vícenásobná rovnováha, a když účinný agent aktivně ovlivňuje budoucí chování jiných agentů, mohou dosáhnout žádoucí rovnováhy z pohledu agenta. Když se všichni činitelé navzájem ovlivňují, konvergují k obecnému konceptu označovanému jako „aktivní rovnováha“. 

DALŠÍ Rámec

Rámec strojového učení týmu se nazývá FURTHER a umožňuje agentům naučit se, jak upravit své chování na základě jejich interakcí s jinými agenty, aby dosáhli aktivní rovnováhy. 

Rámec se opírá o dva moduly strojového učení. První z nich je inferenční modul, který umožňuje agentovi odhadnout budoucí chování ostatních agentů a algoritmy učení, které používají, na základě předchozích akcí. Informace se pak zasílají do výukového modulu posílení, na který se agent spoléhá, ​​aby přizpůsobil své chování a ovlivnil ostatní agenty. 

„Výzvou bylo přemýšlet o nekonečnu. Abychom to umožnili, museli jsme použít spoustu různých matematických nástrojů a vytvořit určité předpoklady, abychom to uvedli do praxe,“ říká Kim. 

Tým testoval svou metodu proti jiným výukovým rámcům multiagentního posílení v různých scénářích, kde agenti AI používající DÁLE vycházeli dopředu. 

Přístup je decentralizovaný, takže se agenti učí vyhrávat samostatně. Navíc je lépe navržen pro škálování ve srovnání s jinými metodami, které vyžadují centrální počítač pro řízení agentů. 

Podle týmu by FURTHER mohl být použit v široké škále multiagentních problémů. Kim je obzvláště nadějný pro své aplikace v ekonomii, kde by mohl být aplikován na rozvoj zdravé politiky v situacích zahrnujících mnoho interagujících entit s chováním a zájmy, které se v průběhu času mění.