Implanty mózgu i model AI wykorzystywany do tłumaczenia myśli na tekst

Naukowcy z Uniwersytetu Kalifornijskiego w San Francisco niedawno stworzyli system AI, który może generować tekst poprzez analizę aktywności mózgu, co w zasadzie przekłada myśli na tekst. System AI pobiera sygnały nerwowe od użytkownika i dekoduje je, a także może odczytać do 250 słów w czasie rzeczywistym na podstawie zestawu między 30 a 50 zdań.

Jak donosi Independent, model AI został opracowany na podstawie sygnałów nerwowych zebranych od czterech kobiet. Uczestniczki eksperymentu miały implanty elektrod w mózgu w celu monitorowania występowania napadów epileptycznych. Uczestniczki zostały poproszone o odczytanie zdań na głos, a ich sygnały nerwowe zostały wprowadzone do modelu AI. Model był w stanie rozpoznać aktywność nerwową skorelowaną z konkretnymi słowami, a wzorce były zgodne z rzeczywistymi słowami około 97% czasu, z średnim wskaźnikiem błędów na poziomie około 3%.

To nie jest pierwszy raz, kiedy sygnały nerwowe zostały skorelowane ze zdaniem, neurobiolodzy pracują nad podobnymi projektami od ponad dekady. Jednak model AI stworzony przez naukowców wykazuje imponującą dokładność i działa w zasadzie w czasie rzeczywistym. Model wykorzystuje sieć neuronową do zakodowania aktywności nerwowej w postaci reprezentacji, które mogą być przetłumaczone na słowa. Jak autorzy piszą w swoim artykule:

„Biorąc pod uwagę ostatnie postępy w tłumaczeniu maszynowym, opracowaliśmy sieć neuronową, aby zakodować każdą sekwencję aktywności nerwowej o długości zdania w abstrakcyjną reprezentację, a następnie odkodować tę reprezentację, słowo po słowie, w zdanie angielskie.”

Według ArsTechnica, aby lepiej zrozumieć, jak powstają połączenia między sygnałami nerwowymi a słowami, naukowcy przeprowadzili eksperymenty, wyłączając różne części systemu. Systematyczne wyłączanie wykazało, że dokładność systemu była wynikiem reprezentacji nerwowej. Stwierdzono również, że wyłączenie wejść audio do systemu spowodowało wzrost błędów, ale ogólna wydajność była nadal uważana za niezawodną. Oczywiście, oznacza to, że system mógłby być potencjalnie przydatny jako urządzenie dla osób, które nie mogą mówić.

Gdy wyłączono różne części wejścia elektrody, okazało się, że system najbardziej zwracał uwagę na pewne kluczowe obszary mózgu związane z przetwarzaniem i produkcją mowy. Na przykład, znaczna część wydajności systemu opierała się na obszarach mózgu, które zwracają uwagę na dźwięk własnego głosu podczas mówienia.

Chociaż początkowe wyniki wydają się obiecujące, zespół badawczy nie jest pewien, jak dobrze model będzie skalował się do większych słowników. Ważne jest, aby zasada ta mogła być uogólniona na większe słownictwo, ponieważ przeciętny użytkownik języka angielskiego ma aktywny słownik o rozmiarze około 20 000 słów. Bieżąca metoda dekodowania działa poprzez interpretację statycznej struktury zdania i wykorzystanie tej struktury do podejmowania wykształconych zgadywań o słowach, które odpowiadają określonemu wzorcowi aktywności nerwowej. Im słownik rośnie, ogólna dokładność może być zmniejszona, ponieważ więcej wzorców nerwowych może wyglądać podobnie.

Autorzy artykułu wyjaśniają, że chociaż mają nadzieję, iż dekoder w końcu nauczy się rozróżniać regularne, niezawodne wzorce w języku, nie są pewni, ile danych jest wymaganych do opracowania modelu, który mógłby uogólnić się do codziennego języka angielskiego. Jednym z potencjalnych sposobów rozwiązania tego problemu jest uzupełnienie treningu danymi zebranymi z innych interfejsów mózg-komputer, wykorzystujących różne algorytmy i implanty.

Badania przeprowadzone przez naukowców z Uniwersytetu Kalifornijskiego są tylko najnowszym rozwojem w rosnącej fali badań i rozwoju dotyczących interfejsów nerwowych i komputerów. Towarzystwo Królewskie opublikowało raport w zeszłym roku, który przewidywał, że interfejsy nerwowe łączące ludzi z komputerami w końcu pozwolą ludziom czytać myśli innych. Raport odnosi się do startupu Neuralink założonego przez Elona Muska oraz technologii opracowanych przez Facebooka jako dowód nadchodzących postępów w komputerach zorientowanych na ludzi. Towarzystwo Królewskie zauważa, że interfejsy człowiek-komputer będą potężną opcją w leczeniu chorób neurodegeneracyjnych, takich jak choroba Alzheimera, w ciągu najbliższych dwóch dekad.