Naukowcy szukają inspiracji u zwierząt, aby nadać systemom uczenia wzmacniania zdrowy rozsądek

Naukowcy z instytutów takich jak Imperial College London, University of Cambridge i Google DeepMind szukają inspiracji u zwierząt, aby poprawić wydajność systemów uczenia wzmacniania. W wspólnej pracy opublikowanej w CellPress Reviews, zatytułowanej „Sztuczna inteligencja i zdrowy rozsądek zwierząt”, naukowcy twierdzą, że percepcja zwierząt dostarcza przydatnych punktów odniesienia i metod oceny dla agentów uczenia wzmacniania i może również poinformować inżynierię zadań i środowisk.

Naukowcy i inżynierowie AI od dawna szukają inspiracji w biologicznych sieciach neuronowych przy projektowaniu algorytmów, używając zasad z behawioralnej nauki i neurobiologii, aby poinformować strukturę algorytmów. Jednak większość wskazówek, które naukowcy AI pobierają z dziedziny neurobiologii i behawioralnej nauki, oparte są na ludziach, a percepcja małych dzieci i niemowląt służy jako punkt odniesienia. Naukowcy AI jeszcze nie zainspirowali się modelem zwierzęcym, ale percepcja zwierząt jest niewykorzystanym zasobem, który ma potencjał doprowadzić do ważnych przełomów w dziedzinie uczenia wzmacniania.

Głębokie systemy uczenia wzmacniania są szkolone poprzez proces prób i błędów, wzmocnione nagrodami, gdy agent uczenia wzmacniania zbliża się do zrealizowania pożądanego celu. Jest to bardzo podobne do nauczania zwierzęcia, aby wykonało pożądane zadanie, używając jedzenia jako nagrody. Biologowie i specjaliści od percepcji zwierząt przeprowadzili wiele eksperymentów oceniających zdolności poznawcze różnych zwierząt, w tym psów, niedźwiedzi, wiewiórek, świń, kruków, delfinów, kotów, myszy, słoni i ośmiornic. Wiele zwierząt wykazuje imponujące pokazy inteligencji, a niektóre zwierzęta, takie jak słonie i delfiny mogą nawet mieć teorię umysłu.

Spójrz na korpus badań dotyczących percepcji zwierząt, co może zainspirować naukowców AI do rozważenia problemów z różnych punktów widzenia. Ponieważ głębokie uczenie wzmacniania stało się bardziej potężne i zaawansowane, naukowcy AI specjalizujący się w tej dziedzinie szukają nowych sposobów testowania zdolności poznawczych agentów uczenia wzmacniania. W pracy badawczej zespół badawczy odnosi się do typów eksperymentów przeprowadzonych z małpami i ptakami, mentionując, że celem jest zaprojektowanie systemów zdolnych do wykonania podobnych zadań, dając AI rodzaj „zdrowego rozsądku”. Zgodnie z autorami pracy, „opowiadają się za podejściem, w którym agenci RL, być może z jeszcze nierozwiniętymi architekturami, nabywają to, co jest potrzebne, poprzez przedłużoną interakcję z bogatymi wirtualnymi środowiskami.”

Jak donosi VentureBeat, naukowcy AI twierdzą, że zdrowy rozsądek nie jest cechą wyłącznie ludzką i że zależy od zrozumienia podstawowych właściwości świata fizycznego, takich jak jak obiekt zajmuje punkt i przestrzeń, jakie ograniczenia istnieją na ruchach tego obiektu i docenienie przyczyny i skutku. Zwierzęta wykazują te cechy w badaniach laboratoryjnych. Na przykład, kruki rozumieją, że obiekty są trwałe, ponieważ są w stanie odzyskać nasiona, nawet gdy nasiona są ukryte przed nimi, zakryte przez inny obiekt.

Aby wyposażyć system uczenia wzmacniania w te właściwości, naukowcy twierdzą, że będą musieli stworzyć zadania, które, w połączeniu z odpowiednią architekturą, utworzą agenci zdolni do przeniesienia nauczonej wiedzy na inne zadania. Naukowcy twierdzą, że szkolenie takiego modelu powinno obejmować techniki, które wymagają, aby agent nabył zrozumienie pojęcia po ekspozycji na tylko kilka przykładów, zwanego szkoleniem z few-shot. Jest to w przeciwieństwie do tradycyjnych setek lub tysięcy prób, które zwykle wchodzą w skład szkolenia prób i błędów agenta RL.

Zespół badawczy wyjaśnia dalej, że chociaż niektórzy nowocześni agenci RL mogą nauczyć się rozwiązywać wiele zadań, niektóre z nich wymagają podstawowego przeniesienia nauczonej wiedzy, nie jest jasne, czy agenci RL mogą nauczyć się tak abstrakcyjnego pojęcia, jak „zdrowy rozsądek”. Jeśli byłby agent, który mógłby nauczyć się takiego pojęcia, potrzebowaliby testów, które mogłyby ustalić, czy agent RL zrozumiał pojęcie pojemnika.

DeepMind w szczególności jest podekscytowany zaangażowaniem w nowe i różne sposoby rozwijania i testowania agentów uczenia wzmacniania. Niedawno, na konferencji Stanford HAI, która odbyła się wcześniej w październiku, szef neuroscience research w DeepMind, Matthew Botvinick, wezwał naukowców i inżynierów machine learning do współpracy w innych dziedzinach nauki. Botvinick podkreślił wagę międzydyscyplinarnej pracy z psychologami i neurobiologią dla dziedziny AI w prezentacji zatytułowanej „Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.