AI vyvinutá na preklad mozgovej aktivity do slov 

Výskumníci z Kalifornskej univerzity v San Franciscu vyvinuli umelú inteligenciu (AI), ktorá dokáže preložiť mozgovú aktivitu do textu. Systém funguje na neurálnych vzorcoch, ktoré sa detegujú, keď niekto hovorí, ale odborníci dúfajú, že ho možno nakoniec použiť aj na jednotlivcov, ktorí nie sú schopní hovoriť, ako sú ľudia trpiaci syndrómom uzamknutia. 

Dr. Joseph Makin bol spoluautorom výskumu. 

"Ešte tam nie sme, ale myslíme si, že by to mohol byť základ rečovej protézy," povedal Makin.

Výskum bol uverejnený v časopise Nature Neuroscience.

Testovanie systému

Joseph Makin a jeho tím sa spoliehali na algoritmy hlbokého učenia, aby študovali mozgové signály štyroch žien, keď hovorili. Všetky ženy majú epilepsiu a na mozog im pripojili elektródy na sledovanie záchvatov. 

Po pripojení elektród každá žena nahlas prečítala niekoľko viet, kým sa merala jej mozgová aktivita. Najväčšie množstvo použitých jedinečných slov bolo 250. Mohli si vybrať zo súboru 50 rôznych viet vrátane „Tina Turner je popová speváčka“ a „Tí zlodeji ukradli 30 šperkov“. 

Údaje o mozgovej aktivite boli potom privedené do algoritmu neurónovej siete a bol trénovaný na identifikáciu pravidelne sa vyskytujúcich vzorcov. Tieto vzory by potom mohli byť spojené s opakovanými aspektmi reči, ako sú samohlásky alebo spoluhlásky. Potom boli privedené do druhej neurónovej siete, ktorá sa ich pokúsila previesť na slová, aby vytvorili vetu. 

Každá žena bola požiadaná, aby vety zopakovala aspoň dvakrát, pričom posledné opakovanie sa nedostalo do tréningových údajov. To umožnilo výskumníkom otestovať systém. 

„Zapamätanie si mozgovej aktivity týchto viet by nepomohlo, takže sieť sa musí namiesto toho naučiť, čo je na nich podobné, aby to mohla zovšeobecniť na tento posledný príklad,“ hovorí Makin.

výsledky

Prvé výsledky zo systému nedávali vety, ktoré by dávali zmysel, ale zlepšili sa, keď systém porovnával každú sekvenciu slov s vetami, ktoré boli prečítané nahlas. 

Tím potom testoval systém generovaním písaného textu iba z mozgovej aktivity počas reči. 

V preklade bolo veľa chýb, ale miera presnosti bola stále veľmi pôsobivá a oveľa lepšia ako predchádzajúce prístupy. Presnosť sa líšila od osoby k osobe, ale u jedného jednotlivca potrebovali opravy v priemere len 3 % každej vety. 

Tím tiež zistil, že tréningový algoritmus na údajoch jedného jednotlivca umožnil konečnému používateľovi poskytnúť oveľa menej. 

Podľa Dr. Christiana Herffa, ktorý pochádza z Maastrichtskej univerzity, ale nie je zapojený do štúdie, je pôsobivé, že systém vyžadoval menej ako 40 minút tréningových údajov pre každého účastníka a obmedzený súbor viet v porovnaní s miliónmi hodín, ktoré bežne požadovaný. 

"Týmto spôsobom dosahujú úrovne presnosti, ktoré doteraz neboli dosiahnuté," povedal.

"Samozrejme, je to fantastický výskum, ale títo ľudia by mohli použiť aj 'OK Google'," povedal. "Toto nie je preklad myslenia [ale mozgovej aktivity zapojenej do reči]."

Ďalšou výzvou môže byť, že ľudia s poruchami reči môžu mať odlišnú mozgovú aktivitu. 

"Chceme to nasadiť u pacienta so skutočným postihnutím reči," hovorí Makin, "hoci je možné, že ich mozgová aktivita sa môže líšiť od mozgovej aktivity žien v tejto štúdii, čo sťažuje."

Ku komplexnému prekladu dát mozgových signálov je ešte dlhá cesta. Ľudia používajú obrovské množstvo slov a štúdia používala len veľmi obmedzený súbor reči.