Komputer wykorzystuje sygnały mózgu do modelowania percepcji wzrokowej

W tym, co jest pierwszym tego typu, naukowcy z Uniwersytetu w Helsinkach wykazali nową technikę, w której komputer monitoruje sygnały mózgu, aby modelować percepcję wzrokową. Innymi słowy, komputer próbuje odtworzyć to, o czym myśli człowiek w swojej głowie. Ta nowo opracowana technika pozwala komputerowi na tworzenie całkowicie nowych informacji i fikcyjnych obrazów, które nigdy wcześniej nie pojawiły się.

Nowe badanie zostało opublikowane we wrześniu w czasopiśmie Scientific Reports , które jest otwartym, internetowym czasopismem obejmującym wiele dziedzin.

Naukowcy opracowali tę technikę na podstawie nowego interfejsu mózg-komputer, który tradycyjnie umożliwia tylko jedną drogę komunikacji z mózgu do komputera. Wynika z tego na przykład, że litery są pisane lub kursor jest poruszany.

Praca była pierwszym, który wykazał zarówno prezentację informacji przez komputer, jak i modelowanie sygnałów mózgu w tym samym czasie za pomocą metod sztucznej inteligencji (AI). Ludzkie odpowiedzi mózgu i generatywna sieć neuronowa wzajemnie oddziaływały i generowały obrazy, które reprezentowały cechy wizualne tego, na co uczestnicy koncentrowali się.

Neuroadaptacyjne modelowanie generatywne

Metoda ta nazywa się neuroadaptacyjnym modelowaniem generatywnym, a jej skuteczność została przetestowana na 31 uczestnikach. Uczestnicy zostali pokazani setki obrazów wygenerowanych przez AI, przedstawiających różnorodną grupę ludzi, a ich EEG zostało zarejestrowane podczas oglądania tych obrazów.

Uczestnicy zostali poinstruowani, aby skoncentrować się na pewnych cechach w obrazach, takich jak wyraźne twarze i wyrażenia. Następnie zostali szybko pokazani serię obrazów twarzy, a ich EEG zostało wprowadzone do sieci neuronowej. Sieć neuronowa następnie wnioskowała, czy obraz został wykryty przez mózg jako pasujący do tego, na co uczestnicy koncentrowali się.

Korzystając z tych danych, sieć neuronowa była w stanie oszacować, jaki rodzaj twarzy ludzie myśleli, a obrazy wygenerowane przez komputer zostały ocenione przez uczestników. Wyniki wykazały, że obrazy prawie idealnie pasowały do tego, na co uczestnicy koncentrowali się, a wskaźnik dokładności eksperymentu wyniósł 83%.

Tuukka Ruotsalo jest stypendystą Fińskiej Akademii Nauk na Uniwersytecie w Helsinkach, Finlandia, a także profesorem nadzwyczajnym na Uniwersytecie w Kopenhadze, Dania.

“Technika łączy naturalne ludzkie odpowiedzi z możliwością komputera do tworzenia nowych informacji. W eksperymencie uczestnicy zostali poproszeni tylko o spojrzenie na obrazy wygenerowane przez komputer. Komputer, z kolei, modelował obrazy wyświetlane i ludzką reakcję na obrazy, korzystając z ludzkich odpowiedzi mózgu. Z tego komputer może stworzyć całkowicie nowy obraz, który pasuje do intencji użytkownika”, mówi Ruotsalo.

Inne potencjalne korzyści

Oprócz generowania obrazów twarzy ludzkich, to nowe badanie wykazało, jak komputery mogą wspomagać ludzką kreatywność.

“Jeśli chcesz coś narysować lub zilustrować, ale nie potrafisz, komputer może ci pomóc osiągnąć twój cel. Może po prostu obserwować focus uwagi i przewidzieć, co chcesz stworzyć”, mówi Ruotsalo. Jednak naukowcy uważają, że technika ta może być wykorzystana do zrozumienia percepcji i podstawowych procesów w naszym umyśle.

“Technika nie rozpoznaje myśli, ale raczej reaguje na skojarzenia, które mamy z kategoriami mentalnymi. Zatem, chociaż nie możemy dowiedzieć się, jaka konkretna osoba starsza była myślą uczestnika, możemy zrozumieć, co on kojarzy ze starością. Uważamy więc, że może to zapewnić nowy sposób zrozumienia procesów społecznych, poznawczych i emocjonalnych”, mówi starszy naukowiec Michiel Spapé.

Spapé również uważa, że wyniki te mogą być wykorzystane w psychologii.

“Pojęcie osoby starszej może być bardzo różne u różnych ludzi. Pracujemy obecnie nad tym, czy nasza technika może ujawnić nieświadome skojarzenia, na przykład poprzez sprawdzenie, czy komputer zawsze renderuje starsze osoby jako, powiedzmy, uśmiechniętych mężczyzn.”