Naukowcy szukają inspiracji u zwierząt, aby nadać systemom uczenia się wzmocnienia zdrowy rozsądek

Naukowcy z instytutów takich jak Imperial College London, University of Cambridge i Google DeepMind szukają inspiracji u zwierząt, aby poprawić wydajność systemów uczenia się wzmocnienia. W wspólnej publikacji w CellPress Reviews, zatytułowanej „Sztuczna inteligencja i zdrowy rozsądek zwierząt”, naukowcy argumentują, że poznawanie zwierząt zapewnia przydatne punkty odniesienia i metody oceny dla agentów uczenia się wzmocnienia i może również wpłynąć na inżynierię zadań i środowisk.

Naukowcy i inżynierowie AI od dawna szukają inspiracji w biologicznych sieciach neuronowych przy projektowaniu algorytmów, używając zasad z nauk behawioralnych i neurobiologii, aby poinformować strukturę algorytmów. Jednak większość wskazówek, które naukowcy AI pobierają z dziedziny neurobiologii/nauk behawioralnych, oparte są na ludziach, a poznawanie małych dzieci i niemowląt służy jako punkt odniesienia. Naukowcy AI jeszcze nie zainspirowali się zbyt wiele modelem zwierzęcym, ale poznawanie zwierząt jest niewykorzystanym zasobem, który ma potencjał doprowadzić do ważnych przełomów w dziedzinie uczenia się wzmocnienia.

Głębokie systemy uczenia się wzmocnienia są szkolone poprzez proces prób i błędów, wzmocnione nagrodami, kiedy agent uczenia się wzmocnienia zbliża się do ukończenia pożądanego celu. Jest to bardzo podobne do nauczania zwierzęcia, aby wykonało pożądane zadanie, używając jedzenia jako nagrody. Biologowie i specjaliści od poznawania zwierząt przeprowadzili wiele eksperymentów oceniających zdolności poznawcze różnych zwierząt, w tym psów, niedźwiedzi, wiewiórek, świń, kruków, delfinów, kotów, myszy, słoni i ośmiornic. Wiele zwierząt wykazuje imponujące pokazy inteligencji, a niektóre zwierzęta, takie jak słonie i delfiny mogą nawet mieć teorię umysłu.

Spojrzenie na dorobek badań dotyczących poznawania zwierząt może zainspirować naukowców AI do rozważania problemów z różnych punktów widzenia. Ponieważ głębokie uczenie się wzmocnienia stało się bardziej potężne i zaawansowane, naukowcy AI specjalizujący się w tej dziedzinie szukają nowych sposobów testowania zdolności poznawczych agentów uczenia się wzmocnienia. W publikacji naukowej zespół badawczy odnosi się do typów eksperymentów przeprowadzonych z małpami i ptakami, wspominając, że celem jest zaprojektowanie systemów zdolnych do wykonania podobnych zadań, nadając AI rodzaj „zdrowego rozsądku”. Według autorów publikacji, „opowiadają się za podejściem, w którym agenci RL, być może z jeszcze nierozwiniętymi architekturami, nabywają tego, co potrzebne, poprzez przedłużoną interakcję z bogatymi wirtualnymi środowiskami.”

Jak donosi VentureBeat, naukowcy AI argumentują, że zdrowy rozsądek nie jest cechą wyłącznie ludzką i że zależy od zrozumienia podstawowych właściwości świata fizycznego, takich jak jak obiekt zajmuje punkt i przestrzeń, jakie są ograniczenia ruchu tego obiektu i docenienie przyczyny i skutku. Zwierzęta wykazują te cechy w badaniach laboratoryjnych. Na przykład, kruki rozumieją, że obiekty są trwałymi rzeczami, ponieważ są w stanie odzyskać nasiona, nawet gdy nasiono jest ukryte przed nimi, zakryte przez inny obiekt.

Aby wyposażyć system uczenia się wzmocnienia w te właściwości, naukowcy argumentują, że będą musieli stworzyć zadania, które, w połączeniu z odpowiednią architekturą, utworzą agenci zdolne do przeniesienia nauczonej wiedzy na inne zadania. Naukowcy argumentują, że szkolenie takiego modelu powinno obejmować techniki, które wymagają od agenta zrozumienia pojęcia po ekspozycji na tylko kilka przykładów, zwanych szkoleniem z few-shot. Jest to w przeciwieństwie do tradycyjnych setek lub tysięcy prób, które zwykle wchodzą w skład szkolenia prób i błędów agenta RL.

Zespół badawczy wyjaśnia dalej, że chociaż niektórzy nowocześni agenci RL mogą nauczyć się rozwiązywać wiele zadań, niektóre z nich wymagają podstawowego przeniesienia nauczonej wiedzy, nie jest jasne, czy agenci RL mogą nauczyć się tak abstrakcyjnego pojęcia, jak „zdrowy rozsądek”. Jeśli byłby agent potencjalnie zdolny do nauczenia się takiego pojęcia, potrzebowaliby testów, które mogłyby ustalić, czy agent RL zrozumiał pojęcie pojemnika.

DeepMind jest w szczególności zainteresowany zaangażowaniem w nowe i różne sposoby rozwijania i testowania agentów uczenia się wzmocnienia. Niedawno, na konferencji Stanford HAI, która odbyła się wcześniej w październiku, szef neuroscience research w DeepMind, Matthew Botvinick, zachęcał naukowców i inżynierów machine learning do współpracy w innych dziedzinach nauki. Botvinick podkreślił wagę pracy międzydyscyplinarnej z psychologami i neurobiologami dla dziedziny AI w prezentacji zatytułowanej „Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.