DeepMind Tworzy Sztuczną Inteligencję, Która Przywołuje Pamięć Podobnie Jak Hipokamp

Ludzki mózg często przypomina sobie wspomnienia z przeszłości (wydaje się) bez powodu. Podczas naszego dnia mamy spontaniczne przebłyski pamięci z naszego życia. Chociaż ten spontaniczny powrót wspomnień od dawna interesuje neurobiologów, firma badawcza DeepMind opublikowała niedawno artykuł opisujący, jak ich sztuczna inteligencja odtworzyła ten dziwny wzorzec przypominania.

Przywoływanie wspomnień w mózgu, odtwarzanie neuronalne, jest ściśle związane z hipokampem. Hipokamp to formation w kształcie konia morskiego w mózgu, należąca do układu limbicznego, i jest związana z tworzeniem nowych wspomnień, a także emocjami, które wywołują wspomnienia. Obecne teorie na temat roli hipokampu (jest jeden w każdej półkuli mózgu) mówią, że różne obszary hipokampu są odpowiedzialne za obsługę różnych typów wspomnień. Na przykład, pamięć przestrzenna jest uważana za obszar tylny hipokampu.

Według Jesusa Rodrigueza, dr John O’Keefe jest odpowiedzialny za wiele wkładów w nasze zrozumienie hipokampu, w tym hipokampowych „komórek miejsca”. Komórki miejsca w hipokampie są wyzwalane przez bodźce w określonym środowisku. Na przykład, eksperymenty na szczurach pokazały, że określone neurony były aktywowane, gdy szczury biegały przez określone części toru. Naukowcy kontynuowali monitorowanie szczurów, nawet gdy odpoczywały, i odkryli, że te same wzory neuronów oznaczających część labiryntu były aktywowane, chociaż z przyspieszonym tempem. Szczury wydawały się odtwarzać wspomnienia labiryntu w swoich umysłach.

U ludzi, przypominanie wspomnień jest ważną częścią procesu uczenia się, ale gdy próbuje się umożliwić sztucznej inteligencji uczenie się, trudno odtworzyć ten fenomen.

Zespół DeepMind próbował odtworzyć zjawisko przypominania przy użyciu uczenia się wzmocnionego. Algorytmy uczenia się wzmocnionego działają, otrzymując informacje zwrotne z interakcji ze środowiskiem, otrzymując nagrody, gdy wykonują działania, które przybliżają je do pożądanego celu. W tym kontekście, agent uczenia się wzmocnionego rejestruje zdarzenia, a następnie odtwarza je w późniejszym czasie, z systemem, który jest wzmocniony, aby poprawić, jak efektywnie kończy się przypominanie wcześniejszych doświadczeń.

DeepMind dodał odtwarzanie doświadczeń do algorytmu uczenia się wzmocnionego przy użyciu bufora odtwarzania, który odtwarzał wspomnienia/zarejestrowane doświadczenia w określonych momentach. Niektóre wersje systemu miały doświadczenia odtwarzane w losowych kolejnościach, podczas gdy inne modele miały wcześniej wybrane kolejności odtwarzania. Podczas gdy naukowcy eksperymentowali z kolejnością odtwarzania dla agentów wzmocnionych, eksperymentowali również z różnymi metodami odtwarzania samych doświadczeń.

Istnieją dwie podstawowe metody, które są używane do dostarczania algorytmom wzmocnionym odtwarzanych doświadczeń. Metody te to metoda odtwarzania wyobraźni i metoda odtwarzania filmu. Artykuł DeepMind używa analogii, aby opisać obie strategie:

„Wyobraź sobie, że wracasz do domu i, ku Twojemu zaskoczeniu i rozczarowaniu, odkrywasz, że na Twoich pięknych drewnianych podłogach gromadzi się woda. Wchodząc do jadalni, znajdujesz zbitą wazę. Następnie słyszysz jęk i spoglądasz przez drzwi patio, widząc, jak Twój pies wygląda bardzo winnie.”

Według Rodrigueza, metoda odtwarzania wyobraźni nie rejestruje zdarzeń w kolejności, w jakiej zostały doświadczone. Zamiast tego, między zdarzeniami wnioskuje się o prawdopodobnej przyczynie. Zdarzenia są wnioskowane na podstawie zrozumienia świata przez agenta. Tymczasem metoda odtwarzania filmu przechowuje wspomnienia w kolejności, w jakiej wystąpiły zdarzenia, i odtwarza sekwencję bodźców – „rozlanej wody, zbitą wazę, psa”. Kolejność zdarzeń jest zachowana.

Badania z dziedziny neurobiologii wskazują, że metoda odtwarzania filmu jest integralna dla tworzenia skojarzeń między pojęciami i połączenia neuronów między zdarzeniami. Metoda odtwarzania wyobraźni mogłaby jednak pomóc agentowi w tworzeniu nowych sekwencji, gdy rozumuje przez analogię. Na przykład, agent mógłby wnioskować, że jeśli beczka jest do oleju, jak waza jest do wody, beczka mogłaby być rozbita przez robota fabrycznego zamiast psa. W rzeczywistości, gdy DeepMind zgłębił możliwości metody odtwarzania wyobraźni, odkryli, że ich agent uczenia się był w stanie tworzyć imponujące, innowacyjne sekwencje, biorąc pod uwagę wcześniejsze doświadczenia.

Większość postępów w dziedzinie pamięci uczenia się wzmocnionego jest obecnie robiona przy użyciu strategii filmowej, chociaż naukowcy ostatnio zaczęli robić postępy w strategii wyobraźni. Badania nad obiema metodami pamięci sztucznej inteligencji mogą nie tylko umożliwić lepszą wydajność agentom uczenia się wzmocnionego, ale mogą również pomóc nam uzyskać nowe spojrzenie na to, jak może funkcjonować ludzki umysł.