Naukowcy wykorzystują sieci generatywne i przeciwstawne do poprawy interfejsów mózg-komputer

Naukowcy z University of Southern California (USC) Viterbi School of Engineering wykorzystują sieci generatywne i przeciwstawne (GAN) do poprawy interfejsów mózg-komputer (BCI) dla osób z niepełnosprawnościami.

GAN są również wykorzystywane do tworzenia filmów deepfake i fotorealistycznych twarzy ludzkich.

Artykuł naukowy został opublikowany w Nature Biomedical Engineering.

Moc interfejsów BCI

Zespół nauczył się generować syntetyczne dane aktywności mózgu za pomocą tego podejścia. Dane te są w postaci sygnałów neuronalnych zwanych szeregami impulsów, które mogą być wprowadzane do algorytmów uczenia maszynowego w celu poprawy interfejsów BCI u osób z niepełnosprawnościami.

Interfejsy BCI analizują sygnały mózgu jednostki przed tłumaczeniem aktywności neuronalnej na polecenia, co umożliwia użytkownikowi kontrolę urządzeń cyfrowych tylko za pomocą myśli. Urządzenia te, które mogą obejmować takie rzeczy jak kursor komputera, mogą poprawić jakość życia pacjentów cierpiących na dysfunkcję ruchową lub paraliż. Mogą one również przynieść korzyści osobom z zespołem locked-in, który występuje, gdy osoba nie jest w stanie poruszać się lub komunikować, pomimo tego, że jest w pełni świadoma.

Istnieje wiele różnych typów interfejsów BCI już dostępnych na rynku, takich jak te, które mierzą sygnały mózgu i urządzenia, które są implantowane w tkankach mózgu. Technologia ta jest ciągle udoskonalana i stosowana w nowych sposobach, w tym w neurorehabilitacji i leczeniu depresji. Jednak nadal jest trudno uczynić systemy wystarczająco szybkie, aby działały wydajnie w świecie rzeczywistym.

Interfejsy BCI wymagają ogromnych ilości danych neuronalnych i długich okresów szkolenia, kalibracji i nauki, aby zrozumieć ich dane wejściowe.

Laurent Itti jest profesorem informatyki i współautorem badań.

“Uzyskanie wystarczających danych dla algorytmów, które napędzają interfejsy BCI, może być trudne, drogie lub nawet niemożliwe, jeśli osoby sparaliżowane nie są w stanie wytworzyć wystarczająco silnych sygnałów mózgu”, powiedział Itti.

Technologia ta jest specyficzna dla użytkownika, co oznacza, że musi być szkolona dla każdej osoby.

Sieci generatywne i przeciwstawne

Sieci GAN mogą poprawić cały ten proces, ponieważ są w stanie tworzyć nieograniczoną ilość nowych, podobnych obrazów, przechodząc przez proces prób i błędów.

Shixian Wen, student doktorancki pod opieką Itti i główny autor studium, postanowił przyjrzeć się sieciom GAN i możliwości, że mogą one tworzyć dane szkoleniowe dla interfejsów BCI, generując syntetyczne dane neurologiczne, które są nie do odróżnienia od prawdziwych.

Zespół przeprowadził eksperyment, w którym szkolili syntetyzator szeregów impulsów z jednej sesji danych zarejestrowanych od małpy, która sięgała po obiekt. Następnie użyli syntetyzatora do wygenerowania dużej ilości podobnych, ale fałszywych danych neuronalnych.

Wygenerowane dane zostały połączone z niewielkimi ilościami nowych, prawdziwych danych, aby szkolić interfejs BCI. Z tego podejścia system był w stanie uruchomić się znacznie szybciej niż obecne metody. Konkretnie, wygenerowane dane GAN poprawiły ogólną prędkość szkolenia interfejsów BCI o 20 razy.

“Mniej niż minutę danych rzeczywistych w połączeniu z danymi syntetycznymi działa tak dobrze, jak 20 minut danych rzeczywistych”, powiedział Wen.

“To pierwszy raz, kiedy widzimy, jak AI generuje przepis na myśl lub ruch za pomocą tworzenia syntetycznych szeregów impulsów. To badanie jest krytycznym krokiem w kierunku uczynienia interfejsów BCI bardziej odpowiednimi do użytku w świecie rzeczywistym.”

Po pierwszych sesjach eksperymentalnych system był w stanie dostosować się do nowych sesji z ograniczonymi dodatkowymi danymi neuronalnymi.

“To jest wielka innowacja – tworzenie fałszywych szeregów impulsów, które wyglądają tak, jakby pochodziły od tej osoby, gdy wyobraża sobie różne ruchy, a następnie używanie tych danych, aby pomóc w nauce w następnej osobie”, powiedział Itti.

Te nowe rozwiązania z danymi syntetycznymi wygenerowanymi przez GAN mogą również prowadzić do przełomów w innych obszarach tej dziedziny.

“Gdy firma jest gotowa do rozpoczęcia komercjalizacji szkieletu robota, ramienia robota lub systemu syntezy mowy, powinna przyjrzeć się tej metodzie, ponieważ może ona pomóc im w przyspieszeniu szkolenia i ponownego szkolenia”, powiedział Itti. “Jeśli chodzi o wykorzystanie GAN do poprawy interfejsów mózg-komputer, myślę, że to jest tylko początek.”