Vyvinut umělý inteligence pro překlad mozkové aktivity do slov

Výzkumníci z University of California, San Francisco vyvinuli umělou inteligenci (AI), která může přeložit mozkovou aktivitu do textu. Systém funguje na základě neuronálních vzorců, které jsou detekovány, když někdo mluví, ale odborníci doufají, že může být nakonec použita u jedinců, kteří nejsou schopni mluvit, jako lidé trpící syndromem uzamčení.

Dr. Joseph Makin byl spoluautorem výzkumu.

“Ještě jsme tam nejsou, ale myslíme si, že to může být základem pro řečový protéz,” řekl Makin.

Výzkum byl zveřejněn v časopise Nature Neuroscience.

Testování systému

Joseph Makin a jeho tým se spoléhali na algoritmy hlubokého učení, aby studovali mozkové signály čtyř žen, zatímco mluvily. Všechny ženy trpí epilepsií a elektrody byly připojeny k jejich mozkům, aby monitorovaly záchvaty.

Po připojení elektrod každá žena četla nahlas sadu vět, zatímco její mozková aktivita byla měřena. Největší počet unikátních slov použitých byl 250. Mohly si vybrat ze sady 50 různých vět, včetně „Tina Turner je popová zpěvačka“ a „Ti zloději ukradli 30 drahokamů“.

Data o mozkové aktivitě byla poté zpracována pomocí neuronové sítě a byla trénována na identifikaci pravidelně se opakujících vzorců. Tyto vzorce mohly být poté propojeny s opakujícími se aspekty řeči, jako jsou samohlásky nebo souhlásky. Poté byly zpracovány druhou neuronovou sítí, která se pokusila je převést na slova a vytvořit větu.

Každá žena byla požádána, aby věty opakovala alespoň dvakrát, přičemž poslední opakování nebylo zahrnuto do trénovacího dat. To umožnilo výzkumníkům otestovat systém.

“Paměťování mozkové aktivity těchto vět by nepomohlo, takže síť místo toho musí naučit, co je podobné o nich, aby mohla generalizovat na tento konečný příklad,“ říká Makin.

Výsledky

První výsledky ze systému nevytvořily věty, které měly smysl, ale zlepšily se, když systém porovnával každou sekvenci slov s větami, které byly čteny nahlas.

Tým poté otestoval systém generováním psaného textu pouze z mozkové aktivity během řeči.

Bylo mnoho chyb v překladu, ale přesnost byla stále velmi působivá a mnohem lepší než předchozí přístupy. Přesnost se lišila od osoby k osobě, ale u jednoho jedince bylo pouze 3% každé věty v průměru třeba opravovat.

Tým také zjistil, že trénovací algoritmus na datech jednoho jedince umožnil konečnému uživateli poskytnout mnohem méně dat.

Podle Dr. Christiana Herffa, který je z Maastricht University, ale nebyl zapojen do studie, je působivé, že systém vyžadoval méně než 40 minut trénovacích dat pro každého účastníka a omezenou sbírku vět, ve srovnání s miliony hodin, které jsou obvykle vyžadovány.

“Tímto způsobem dosahují úrovní přesnosti, které dosud nebyly dosaženy,“ řekl.

“Samozřejmě, že je to fantastický výzkum, ale tito lidé mohli použít ‘OK Google’ (GOOGL ) také,“ řekl. “To není překlad myšlenek [ale mozkové aktivity zapojené do řeči].”

Další výzvou může být, že lidé se speechovými postiženími mohou mít jinou mozkovou aktivitu.

“Chceme nasadit tento systém u pacienta se skutečným speechovým postižením,“ říká Makin, “i když je možné, že jejich mozková aktivita může být jiná než u žen v této studii, což by to mohlo udělat obtížnějším.”

Ještě je dlouhá cesta, aby se mozková signální data mohla být kompletně přeložena. Lidé používají obrovské množství slov a studie použila pouze velmi omezenou sadu řeči.