Sztuczna inteligencja opracowana do tłumaczenia aktywności mózgu na słowa

Naukowcy z University of California, San Francisco opracowali sztuczną inteligencję (AI), która może tłumaczyć aktywność mózgu na tekst. System działa na wzorach neuronalnych, które są wykrywane, gdy ktoś mówi, ale eksperci mają nadzieję, że w końcu będzie można go używać u osób, które nie są w stanie mówić, takich jak osoby cierpiące na zespół zamknięcia.

Dr Joseph Makin był współautorem badań.

„Nie jesteśmy jeszcze tam, ale uważamy, że to może być podstawą protezy mowy”, powiedział Makin.

Badania zostały opublikowane w czasopiśmie Nature Neuroscience.

Testowanie systemu

Joseph Makin i jego zespół wykorzystali algorytmy głębokiego uczenia, aby zbadać sygnały mózgu czterech kobiet, gdy mówiły. Wszystkie kobiety mają epilepsję, a elektrody zostały zaattached do ich mózgu w celu monitorowania drgawek.

Po załączeniu elektrod każda kobieta odczytała na głos zestaw zdań, podczas gdy jej aktywność mózgu była mierzona. Największa ilość unikalnych słów użytych wynosiła 250. Mogły wybierać spośród 50 różnych zdań, w tym „Tina Turner jest piosenkarką pop” i „Ci złodzieje ukradli 30 klejnotów”.

Dane dotyczące aktywności mózgu zostały następnie wprowadzone do algorytmu sieci neuronalnej, a następnie przeszkolone do identyfikacji regularnie występujących wzorów. Te wzory mogły być następnie powiązane z powtarzającymi się aspektami mowy, takimi jak samogłoski lub spółgłoski. Następnie zostały wprowadzone do drugiej sieci neuronalnej, która próbowała je przekonwertować na słowa, tworząc zdanie.

Każda kobieta została poproszona o powtórzenie zdań co najmniej dwa razy, a ostatnie powtórzenie nie zostało uwzględnione w danych szkoleniowych. To pozwoliło badaczom przetestować system.

„Zapamiętywanie aktywności mózgu tych zdań nie pomoże, więc sieć musi nauczyć się, co jest podobne w nich, aby mogła uogólnić to ostatnie przykład”, mówi Makin.

Wyniki

Pierwsze wyniki z systemu nie tworzyły zdań, które miały sens, ale poprawiły się, gdy system porównywał każdą sekwencję słów ze zdaniami, które zostały odczytane na głos.

Następnie zespół przetestował system, generując tylko tekst pisany z aktywności mózgu podczas mowy.

Było wiele błędów w tłumaczeniu, ale wskaźnik dokładności był nadal bardzo imponujący i znacznie lepszy niż poprzednie podejścia. Dokładność różniła się od osoby do osoby, ale dla jednej osoby tylko 3% każdego zdania wymagało korekty.

Zespół również dowiedział się, że algorytm szkoleniowy na danych jednej osoby pozwolił ostatecznemu użytkownikowi dostarczyć znacznie mniej danych.

Według dra Christiana Herffa, który pochodzi z Uniwersytetu w Maastricht, ale nie był zaangażowany w badanie, jest imponujące, że system wymagał mniej niż 40 minut danych szkoleniowych dla każdego uczestnika i ograniczonej kolekcji zdań, w porównaniu z milionami godzin zwykle wymaganych.

„Dzięki temu osiągają poziomy dokładności, które nie zostały dotąd osiągnięte”, powiedział.

„Oczywiście to jest fantastyczne badanie, ale ci ludzie mogliby po prostu użyć „OK Google””, powiedział. „To nie jest tłumaczenie myśli [ale aktywności mózgu zaangażowanej w mowę]”.

Innym wyzwaniem może być to, że osoby z niepełnosprawnościami mowy mogą mieć inną aktywność mózgu.

„Chcemy wdrożyć to u pacjenta z rzeczywistą niepełnosprawnością mowy”, mówi Makin, „chociaż jest możliwe, że ich aktywność mózgu może być inna niż u kobiet w tym badaniu, co utrudnia to zadanie”.

Jeszcze długa droga jest potrzebna, aby przetłumaczyć dane sygnału mózgu w sposób kompleksowy. Ludzie używają ogromnej ilości słów, a badanie użyło tylko bardzo ograniczonego zestawu mowy.