Technika umożliwia sztucznej inteligencji myślenie o dalekiej przyszłości

Zespół badaczy z MIT, MIT-IBM Watson AI Lab i innych instytucji opracował nowe podejście, które umożliwia sztucznej inteligencji (AI) osiągnięcie dalekowzrocznego punktu widzenia. Innymi słowy, AI może myśleć o dalekiej przyszłości, biorąc pod uwagę, jak ich zachowania mogą uwzględniać zachowania innych agentów AI podczas wykonywania zadania.

Badania zostaną przedstawione na Konferencji o Przetwarzaniu Informacji Neuronowej.

Sztuczna inteligencja biorąca pod uwagę przyszłe działania innych agentów

Stworzony przez zespół framework machine learning umożliwia współpracującym lub konkurującym agentom AI uwzględnianie tego, co inni agenci będą robić. Nie tylko w następnych krokach, ale także w miarę zbliżania się do nieskończoności. Agenci dostosowują swoje zachowania odpowiednio, aby wpłynąć na przyszłe zachowania innych agentów, co pomaga im osiągnąć optymalne, długoterminowe rozwiązania.

Według zespołu, framework może być wykorzystany na przykład przez grupę autonomicznych dronów pracujących razem, aby znaleźć zagubionego turystę. Może być również wykorzystany przez samochody autonomiczne, aby przewidzieć przyszłe ruchy innych pojazdów i poprawić bezpieczeństwo pasażerów.

Dong-Ki Kim jest studentem w Laboratorium Informacji i Decyzji w MIT (LIDS) i głównym autorem artykułu badawczego.

„Gdy agenci AI współpracują lub konkurują, najważniejsze jest to, kiedy ich zachowania zbiegają się w pewnym momencie w przyszłości”, mówi Kim. „Istnieje wiele przejściowych zachowań po drodze, które nie mają dużego znaczenia w długiej perspektywie. Osiągnięcie tego zbieżnego zachowania jest tym, co nas naprawdę interesuje, a teraz mamy matematyczny sposób, aby to umożliwić”.

Problem, który badacze starali się rozwiązać, nazywa się wieloagentowym uczeniem wzmacnianym, a uczenie wzmacniane jest formą machine learning, w której agenci AI uczą się przez próby i błędy.

Gdy istnieje wiele współpracujących lub konkurujących agentów, którzy jednocześnie uczą się, proces może stać się znacznie bardziej złożony. Gdy agenci uwzględniają więcej przyszłych kroków innych agentów, a także swoje własne zachowanie i to, jak wpływa ono na innych, problem wymaga zbyt dużej mocy obliczeniowej.

Sztuczna inteligencja myśląca o nieskończoności

„Agenci AI naprawdę chcą myśleć o końcu gry, ale nie wiedzą, kiedy gra się skończy”, mówi Kim. „Muszą myśleć o tym, jak dostosować swoje zachowanie do nieskończoności, aby wygrać w jakimś odległym momencie w przyszłości. Nasz artykuł proponuje nowy cel, który umożliwia agentom AI myślenie o nieskończoności”.

Nie jest możliwe uwzględnienie nieskończoności w algorytmie, więc zespół zaprojektował system w taki sposób, aby agenci koncentrowali się na przyszłym punkcie, w którym ich zachowania zbiegną się z zachowaniami innych agentów. Nazywa się to równowagą, a punkt równowagi określa długoterminową wydajność agentów.

Istnieje możliwość, że w scenariuszu wieloagentowym może istnieć wiele równowag, a gdy skuteczny agent aktywnie wpływa na przyszłe zachowania innych agentów, może osiągnąć pożądaną równowagę z perspektywy agenta. Gdy wszystkie agenty wpływają na siebie, zbiegają się do ogólnego pojęcia zwanego „aktywną równowagą”.

Framework FURTHER

Framework machine learning stworzony przez zespół nazywa się FURTHER i umożliwia agentom uczenie się, jak dostosować swoje zachowania na podstawie interakcji z innymi agentami, aby osiągnąć aktywną równowagę.

Framework opiera się na dwóch modułach machine learning. Pierwszy to moduł inferencyjny, który umożliwia agentowi zgadywanie przyszłych zachowań innych agentów i algorytmów uczenia, na podstawie poprzednich działań. Następnie informacje te są przekazywane do modułu uczenia wzmacnianego, który agent wykorzystuje do dostosowania swojego zachowania i wpływania na inne agenty.

„Wyzwaniem było myślenie o nieskończoności. Musieliśmy wykorzystać wiele różnych narzędzi matematycznych, aby to umożliwić, i poczynić pewne założenia, aby to działało w praktyce”, mówi Kim.

Zespół przetestował swoją metodę w porównaniu z innymi frameworkami wieloagentowego uczenia wzmacnianego w różnych scenariuszach, w których agenci AI wykorzystujący FURTHER wychodzili na pierwsze miejsce.

Podejście jest zdecentralizowane, więc agenci uczą się wygrywać niezależnie. Co więcej, jest lepiej zaprojektowane do skalowania w porównaniu z innymi metodami, które wymagają centralnego komputera do kontrolowania agentów.

Według zespołu, FURTHER może być wykorzystany w szerokim zakresie problemów wieloagentowych. Kim jest szczególnie optymistyczny co do jego zastosowań w ekonomii, gdzie może być wykorzystany do opracowania skutecznej polityki w sytuacjach, w których wiele podmiotów oddziałuje na siebie, a ich zachowania i interesy zmieniają się w czasie.