Naukowcy wykorzystują generatywne sieci adversarialne do poprawy interfejsów mózg-komputer

Naukowcy z University of Southern California (USC) Viterbi School of Engineering wykorzystują generatywne sieci adversarialne (GAN) do poprawy interfejsów mózg-komputer (BCI) dla osób z niepełnosprawnościami. 

GAN są również wykorzystywane do tworzenia filmów deepfake i fotorealistycznych twarzy ludzkich. 

Artykuł naukowy został opublikowany w Nature Biomedical Engineering. 

Moc BCI

Zespół był w stanie nauczyć sztuczną inteligencję generowania syntetycznych danych aktywności mózgu za pomocą tego podejścia. Dane te są w postaci sygnałów neuralnych zwanych szynami, które mogą być wprowadzane do algorytmów uczenia maszynowego w celu poprawy BCI u osób z niepełnosprawnościami. 

BCI analizują sygnały mózgowe jednostki przed przetłumaczeniem aktywności neuralnej na polecenia, co umożliwia użytkownikowi kontrolę urządzeń cyfrowych tylko za pomocą myśli. Urządzenia te, które mogą obejmować takie rzeczy jak kursor komputera, mogą poprawić jakość życia pacjentów cierpiących na dysfunkcję ruchową lub paraliż. Mogą one również przynieść korzyści osobom z zespołem locked-in, który występuje, gdy osoba nie jest w stanie poruszać się lub komunikować, pomimo pełnej świadomości.

Istnieje wiele różnych typów BCI już na rynku, takich jak te, które mierzą sygnały mózgowe i urządzenia, które są wszczepiane do tkanek mózgu. Technologia ta jest ciągle ulepszana i stosowana w nowych sposobach, w tym w neurorehabilitacji i leczeniu depresji. Jednak nadal jest trudno uczynić systemy wystarczająco szybkimi, aby działały wydajnie w świecie rzeczywistym.

BCI wymagają ogromnych ilości danych neuralnych i długich okresów szkolenia, kalibracji i nauki, aby zrozumieć ich dane wejściowe.

Laurent Itti jest profesorem informatyki i współautorem badań. 

“Uzyskanie wystarczających danych dla algorytmów, które napędzają BCI, może być trudne, drogie lub nawet niemożliwe, jeśli osoby sparaliżowane nie są w stanie wytworzyć wystarczająco silnych sygnałów mózgowych”, powiedział Itti. 

Technologia ta jest specyficzna dla użytkownika, co oznacza, że musi być szkolona dla każdej jednostki. 

Generatywne sieci adversarialne

GAN mogą poprawić cały ten proces, ponieważ są w stanie tworzyć nieograniczoną ilość nowych, podobnych obrazów, przechodząc przez proces prób i błędów.

Shixian Wen, student doktorancki pod opieką Itti i główny autor studium, postanowił przyjrzeć się GAN i możliwości, że mogą one tworzyć dane szkoleniowe dla BCI, generując syntetyczne dane neurologiczne, które są nie do odróżnienia od prawdziwych. 

Zespół przeprowadził eksperyment, w którym wytrenowali syntetyzator szyn głębokich z jedną sesją danych zarejestrowanych od małpy, która sięgała po obiekt. Następnie użyli syntetyzatora do wygenerowania dużej ilości podobnych, ale fałszywych danych neuralnych.

Syntetyzowane dane zostały następnie połączone z niewielką ilością nowych danych rzeczywistych w celu wytrenowania BCI. Z tego podejścia system był w stanie szybciej uruchomić się niż obecne metody. Konkretnie, dane neuralne syntetyzowane przez GAN poprawiły ogólną prędkość szkolenia BCI o 20 razy.

“Mniej niż minuta danych rzeczywistych w połączeniu z danymi syntetycznymi działa tak dobrze, jak 20 minut danych rzeczywistych”, powiedział Wen.

“To jest pierwszy raz, kiedy widzimy, jak AI generuje przepis na myśl lub ruch za pomocą tworzenia syntetycznych szyn. To badanie jest krytycznym krokiem w kierunku uczynienia BCI bardziej odpowiednimi do użytku w świecie rzeczywistym.” 

Po pierwszych sesjach eksperymentalnych system był w stanie dostosować się do nowych sesji z ograniczonymi dodatkowymi danymi neuralnymi.

“To jest wielka innowacja – tworzenie fałszywych szyn, które wyglądają tak, jakby pochodziły od tej osoby, gdy wyobraża sobie różne ruchy, a następnie wykorzystywanie tych danych do pomocy w nauce na następną osobę”, powiedział Itti.

Te nowe rozwiązania z danymi syntetycznymi wygenerowanymi przez GAN mogą również prowadzić do przełomów w innych obszarach tej dziedziny.

“Gdy firma jest gotowa rozpocząć komercjalizację szkieletu robota, ramienia robota lub systemu syntezy mowy, powinna przyjrzeć się tej metodzie, ponieważ może pomóc im w przyspieszeniu szkolenia i ponownego szkolenia”, powiedział Itti. “Jeśli chodzi o wykorzystanie GAN do poprawy interfejsów mózg-komputer, myślę, że to jest tylko początek.”