Sztuczna inteligencja opracowana do tłumaczenia aktywności mózgu na słowa

Naukowcy z University of California, San Francisco opracowali sztuczną inteligencję (AI), która może tłumaczyć aktywność mózgu na tekst. System działa na wzorach neuronalnych, które są wykrywane, gdy ktoś mówi, ale eksperci mają nadzieję, że w końcu będzie można go użyć u osób, które nie są w stanie mówić, takich jak osoby cierpiące na zespół zamknięcia.

Dr Joseph Makin był współautorem badań.

„Nie jesteśmy jeszcze tam, ale uważamy, że to może być podstawą protezy mowy”, powiedział Makin.

Badania zostały opublikowane w czasopiśmie Nature Neuroscience.

Testowanie systemu

Joseph Makin i jego zespół wykorzystali algorytmy głębokiego uczenia, aby zbadać sygnały mózgu czterech kobiet, gdy mówiły. Wszystkie kobiety mają epilepsję, a elektrody zostały zaattached do ich mózgu, aby monitorować napady.

Po załączeniu elektrod każda kobieta odczytała na głos zestaw zdań, podczas gdy jej aktywność mózgu była mierzona. Największa ilość unikalnych słów użytych wynosiła 250. Mogły wybierać spośród zestawu 50 różnych zdań, w tym „Tina Turner jest piosenkarką pop” i „Ci złodzieje ukradli 30 klejnotów”.

Dane aktywności mózgu zostały następnie wprowadzone do algorytmu sieci neuronowej, a następnie przeszkolone do identyfikacji regularnie występujących wzorów. Te wzory mogły być następnie połączone z powtarzającymi się aspektami mowy, takimi jak samogłoski lub spółgłoski. Następnie zostały wprowadzone do drugiej sieci neuronowej, która próbowała przekonwertować je w słowa, aby utworzyć zdanie.

Każda kobieta została poproszona o powtórzenie zdań co najmniej dwa razy, a ostatnie powtórzenie nie zostało uwzględnione w danych treningowych. To pozwoliło naukowcom przetestować system.

„Zapamiętywanie aktywności mózgu tych zdań nie pomoże, więc sieć musi nauczyć się, co jest podobne w nich, aby mogła uogólnić to ostatnie przykład”, mówi Makin.

Wyniki

Pierwsze wyniki z systemu nie tworzyły zdań, które miały sens, ale poprawiły się, gdy system porównywał każdą sekwencję słów z zdaniami, które zostały odczytane na głos.

Zespół następnie przetestował system, generując tylko tekst pisany z aktywności mózgu podczas mowy.

Było wiele błędów w tłumaczeniu, ale wskaźnik dokładności był nadal bardzo imponujący i znacznie lepszy niż poprzednie podejścia. Dokładność różniła się od osoby do osoby, ale dla jednej osoby tylko 3% każdego zdania wymagało korekty.

Zespół również dowiedział się, że algorytm treningowy na danych jednej osoby pozwolił na znacznie mniejszą ilość danych treningowych dla końcowego użytkownika.

Według dra Christiana Herffa, który pochodzi z Uniwersytetu w Maastricht, ale nie jest zaangażowany w badanie, jest imponujące, że system wymagał mniej niż 40 minut danych treningowych dla każdego uczestnika i ograniczonej kolekcji zdań, w porównaniu z milionami godzin zwykle wymaganych.

„Dzięki temu osiągają poziomy dokładności, które nie zostały dotąd osiągnięte”, powiedział.

„Oczywiście to jest fantastyczne badanie, ale te osoby mogłyby po prostu użyć „OK Google (GOOGL ) ””, powiedział. „To nie jest tłumaczenie myśli [ale aktywności mózgu zaangażowanej w mowę]”.

Innym wyzwaniem może być to, że osoby z niepełnosprawnościami mowy mogą mieć różną aktywność mózgu.

„Chcemy wdrożyć to u pacjenta z rzeczywistą niepełnosprawnością mowy”, mówi Makin, „chociaż jest możliwe, że ich aktywność mózgu może być inna niż u kobiet w tym badaniu, co utrudnia to”.

Jeszcze długa droga przed nami, aby w pełni przetłumaczyć dane sygnału mózgu. Ludzie używają ogromnej ilości słów, a badanie użyło tylko bardzo ograniczonego zestawu mowy.