Tehnica care permite inteligenței artificiale să gândească departe în viitor

O echipă de cercetători de la MIT, MIT-IBM Watson AI Lab și alte instituții a dezvoltat o nouă abordare care permite agenților de inteligență artificială (IA) să aibă o perspectivă cu vedere largă. Cu alte cuvinte, IA poate gândi departe în viitor atunci când ia în considerare modul în care comportamentul lor poate include comportamentul altor agenți IA atunci când finalizează o sarcină.

Cercetarea este programată să fie prezentată la Conferința pe Sisteme de Procesare a Informațiilor Neuronale.

IA care ia în considerare acțiunile viitoare ale altor agenți

Cadruul de învățare automată creat de echipă permite agenților de IA cooperativi sau competitivi să ia în considerare ce vor face alți agenți. Acest lucru nu se aplică doar pentru următorii pași, ci mai degrabă pe măsură ce timpul se apropie de infinit. Agenții se adaptează comportamentul lor în consecință pentru a influența comportamentul viitor al altor agenți, ajutându-i să ajungă la soluții optime pe termen lung.

Conform echipei, cadruul poate fi utilizat, de exemplu, de un grup de drone autonome care lucrează împreună pentru a găsi un turist pierdut. De asemenea, poate fi utilizat de vehicule autonome pentru a anticipa mișcările viitoare ale altor vehicule și a îmbunătăți siguranța pasagerilor.

Dong-Ki Kim este student doctorand în Laboratorul de Informații și Decizii de la MIT (LIDS) și autor principal al lucrării de cercetare.

„Atunci când agenții de IA cooperează sau concurează, ceea ce contează cel mai mult este atunci când comportamentul lor converge într-un anumit moment din viitor”, spune Kim. „Există multe comportamente tranzitorii de-a lungul drumului care nu contează foarte mult pe termen lung. Atingerea acestui comportament convergent este ceea ce ne interesează cu adevărat, și acum avem o modalitate matematică de a face posibilă aceasta.”

Problema abordată de cercetători se numește învățare automată multi-agent, învățarea automată fiind o formă de învățare în care agenții de IA învață prin încercare și eroare.

Oricând există mai mulți agenți cooperativi sau competitivi care învață simultan, procesul poate deveni mult mai complex. Pe măsură ce agenții iau în considerare mai multe pași viitori ai altor agenți, precum și propriul comportament și modul în care influențează alții, problema necesită prea multă putere de calcul.

IA care gândește despre infinit

„IA realmente vrea să gândească despre sfârșitul jocului, dar nu știu când se va termina jocul”, spune Kim. „Trebuie să gândească despre cum să-și adapteze comportamentul în infinit pentru a câștiga la un moment din viitor. Lucrarea noastră propune în esență un nou obiectiv care permite IA să gândească despre infinit.”

Este imposibil să integrăm infinitul într-un algoritm, așa că echipa a proiectat sistemul astfel încât agenții să se concentreze pe un punct viitor în care comportamentul lor va converge cu al altor agenți. Acesta este numit echilibru, și un punct de echilibru determină performanța pe termen lung a agenților.

Este posibil ca mai multe echilibre să existe într-un scenariu multi-agent, și atunci când un agent eficient influențează activ comportamentul viitor al altor agenți, aceștia pot ajunge la un echilibru dorit din perspectiva agentului. Atunci când toți agenții se influențează reciproc, ei converg către un concept general numit „echilibru activ”.

Cadruul FURTHER

Cadruul de învățare automată al echipei se numește FURTHER, și permite agenților să învețe cum să-și adapteze comportamentul pe baza interacțiunilor cu alți agenți pentru a atinge echilibru activ.

Cadruul se bazează pe două module de învățare automată. Primul este un modul de inferență care permite unui agent să ghicească comportamentul viitor al altor agenți și algoritmii de învățare pe care îi utilizează pe baza acțiunilor anterioare. Informațiile sunt apoi transmise în modulul de învățare prin întărire, pe care agentul se bazează pentru a-și adapta comportamentul și a influența alți agenți.

„Provocarea a fost să gândim despre infinit. Am trebuit să utilizăm multe unelte matematice diferite pentru a face posibilă aceasta și să facem unele presupuneri pentru a face ca lucrurile să funcționeze în practică”, spune Kim.

Echipa a testat metoda lor împotriva altor cadruuri de învățare multi-agent în diferite scenarii în care agenții de IA care utilizează FURTHER au ieșit învingători.

Abordarea este descentralizată, astfel încât agenții învață să câștige independent. Pe lângă aceasta, este mai bine proiectată pentru a se scala în comparație cu alte metode care necesită un calculator central pentru a controla agenții.

Conform echipei, FURTHER poate fi utilizat într-o gamă largă de probleme multi-agent. Kim este deosebit de optimist cu privire la aplicațiile sale în economie, unde poate fi utilizat pentru a dezvolta politici solide în situații care implică multe entități care interacționează cu comportamente și interese care se schimbă în timp.