Eksperci pokonują główną przeszkodę w technologii sztucznej inteligencji za pomocą mechanizmu mózgu

Grupa ekspertów od sztucznej inteligencji (AI) z różnych instytucji pokonała “główną, długo utrzymującą się przeszkodę w zwiększaniu możliwości AI”. Zespół spojrzał w stronę ludzkiego mózgu, co jest przypadkiem wielu rozwojów AI. Konkretnie, zespół skupił się na ludzkim mechanizmie pamięci mózgu znanym jako “powtórka”.

Gido van de Ven jest pierwszym autorem i postdoktoranckim badaczem. Dołączył do niego główny badacz Andreas Tolias z Baylor, a także Hava Siegelmann z UMass Amherst.

Badanie zostało opublikowane w Nature Communications.

Nowa metoda

Według badaczy, opracowali nową metodę, która efektywnie chroni głębokie sieci neuronowe przed “katastrofalnym zapomnieniem”. Kiedy sieć neuronowa uczy się nowych rzeczy, może zapomnieć tego, co było wcześniej nauczone.

Ta przeszkoda jest tym, co powstrzymuje wiele postępów w dziedzinie AI.

“Jednym z rozwiązań byłoby przechowywanie wcześniej spotkanych przykładów i ponowne ich przeglądanie podczas uczenia się nowych rzeczy. Chociaż taka ‘powtórka’ lub ‘przegląd’ rozwiązuje katastrofalne zapomnienie, ciągłe ponowne szkolenie na wszystkich wcześniej nauczonych zadaniach jest bardzo nieefektywne, a ilość danych, które musiałyby być przechowywane, staje się niezarządzalna bardzo szybko”, napisali badacze.

Ludzki mózg

Badacze zainspirowali się ludzkim mózgiem, ponieważ jest on w stanie budować informacje bez zapomnienia, co nie jest przypadkiem sieci neuronowych AI. Bieżący rozwój został zbudowany na podstawie wcześniejszych prac badaczy, w tym ustaleń dotyczących mechanizmu w mózgu, który uważa się za odpowiedzialny za zapobieganie zapomnieniu wspomnień. Mechanizm ten jest powtórką wzorców aktywności neuronowej.

Według Siegelmann, główny rozwój wynika z “uznania, że powtórka w mózgu nie przechowuje danych”, ale “mózg generuje reprezentacje wspomnień na wysokim, bardziej abstrakcyjnym poziomie bez potrzeby generowania szczegółowych wspomnień”.

Siegelmann wzięła tę informację i dołączyła do swoich kolegów, aby opracować powtórkę podobną do mózgu z sztuczną inteligencją, gdzie nie przechowywano danych. Jak w przypadku ludzkiego mózgu, sztuczna sieć bierze to, co widziała wcześniej, aby wygenerować wysokiego poziomu reprezentacje.

Metoda była bardzo wydajna, a nawet tylko kilka wygenerowanych reprezentacji powtórek skutkowało tym, że starsze wspomnienia były zapamiętane, podczas gdy nowe były uczone. Powtórka generatywna jest skuteczna w zapobieganiu katastrofalnemu zapomnieniu, a jednym z głównych korzyści jest to, że pozwala systemowi uogólniać z jednej sytuacji na inną.

Według van de Ven, “Jeśli nasza sieć z powtórką generatywną najpierw uczy się rozróżniać koty od psów, a następnie rozróżniać niedźwiedzie od lisów, również powie koty od lisów bez konieczności specjalnego szkolenia. I co więcej, im więcej system uczy się, tym lepiej staje się w nauce nowych zadań”.

“Proponujemy nową, zainspirowaną mózgiem wersję powtórki, w której wewnętrzne lub ukryte reprezentacje są powtarzane, generowane przez własne, modyfikowane połączenia zwrotne sieci”, pisze zespół. “Nasza metoda osiągnęła najlepsze wyniki w wyzwaniach ciągłego uczenia się bez przechowywania danych i dostarcza nowy model abstrakcyjnej powtórki w mózgu”.

“Nasza metoda stwarza kilka interesujących przewidywań na temat tego, jak powtórka może przyczyniać się do konsolidacji pamięci w mózgu”, kontynuuje Van de Ven. “Już prowadzimy eksperyment, aby przetestować niektóre z tych przewidywań”.