Технологія “нейропротез мови” відновлює мову у пацієнта з важкою паралічем

У сфері штучного інтелекту (ШІ) відбулося ще один значний прорив – розробка “нейропротезу мови”, який частково відновив мову у чоловіка з важкою паралічем. Ця нова технологія допомогла йому говорити реченнями, коли вона перекладала сигнали з його мозку на голосовий тракт. Слова потім з’явилися у вигляді тексту на екрані.

Ця робота була проведена у рамках клінічного дослідження, яке триває вже понад десять років під керівництвом нейрохірурга Едварда Чанга з Університету Каліфорнії в Сан-Франциско. Метою цього дослідження було створення технології, яка дозволить людям з паралічем спілкуватися, навіть якщо вони не можуть говорити самостійно.

Дослідження було опубліковано 15 липня у журналі New England Journal of Medicine.

Перша система такого типу

Чанг є професором нейрохірургії Університету Каліфорнії в Сан-Франциско та старшим автором дослідження.

“На нашу думку, це перша успішна демонстрація прямого декодування повних слів з мозкової діяльності людини, яка паралізована і не може говорити”, – сказав Чанг. “Це показує великі перспективи відновлення спілкування шляхом використання природної мовної машини мозку.”

Традиційно робота в цій сфері зосереджується на відновленні спілкування через підхід, заснований на написанні окремих літер. Однак це нове дослідження зосереджується на перекладі сигналів, які насправді призначені для контролю м’язів голосового тракту для вимови слів. Це відрізняється від традиційної роботи, яка зосереджується на сигналах, які рухають руку або руку.

За словами Чанга, новий підхід використовує природні та плавні аспекти мови, і це може привести до значних досягнень у цій галузі. Він також зазначив, що підхід, заснований на написанні, який залежить від набору тексту, письма та контролю курсора, значно повільніший.

“При спілкуванні ми зазвичай передаємо інформацію з дуже високою швидкістю, до 150-200 слів на хвилину”, – сказав він. “Прямий перехід до слів, як ми робимо це зараз, має великі переваги, оскільки це ближче до того, як ми зазвичай говоримо.”

Раніша робота Чанга була заснована на пацієнтах Центру епілепсії Університету Каліфорнії в Сан-Франциско, які проходили нейрохірургічну операцію для виявлення причини їхніх нападів, і використовувала електродні масиви, які були розміщені на поверхні мозку пацієнтів. Пацієнти мали нормальну мову, і результати допомогли привести до поточного дослідження для осіб з паралічем.

Деякі з нових методів, розроблених командою, включали спосіб декодування кортикальної діяльності та статистичної мови для підвищення точності.

Девід Мозес, PhD, є постдокторальним інженером у лабораторії Чанга та одним з головних авторів.

“Наші моделі мали вивчити відображення між складними патернами мозкової діяльності та призначеною мовою”, – сказав Мозес. “Це становить великий виклик, коли учасник не може говорити.”

Перший учасник

Першим учасником дослідження був чоловік у віці пізніх 30-тих років, який переніс інсульт мозкового стовбура понад 15 років тому, який пошкодив з’єднання між його мозком і голосовим трактом та кінцівками.

Розробивши словниковий запас у 50 слів, який команда Чанга могла використовувати за допомогою передових комп’ютерних алгоритмів для розпізнавання, учасник міг створювати сотні речень, які виражали повсякденні концепції.

Йому було необхідно імплантувати високочутливий електродний масив над його мовним моторним кортексом, а після його відновлення було записано понад 22 години нейронної діяльності в цьому мозковому регіоні за 48 сесій.

Шон Метцгер, MS, і Джессі Лю, BS, є аспірантами-біоінженерами у лабораторії Чанга та були відповідальними за розробку спеціальних нейронних мережевих моделей, які могли перекладати патерни записаної нейронної діяльності на конкретні призначені слова.

Після тесту команда виявила, що система могла декодувати слова з мозкової діяльності зі швидкістю до 18 слів на хвилину, і вона була на 93% точною. Команда застосувала функцію “авто-виправлення” до мовної моделі, яка допомогла підвищити точність.

“Ми були у захваті від точного декодування різноманітних значимих речень”, – сказав Мозес. “Ми показали, що це дійсно можливо сприяти спілкуванню таким чином і що це має потенціал для використання у розмовних ситуаціях.”

Команда тепер розширить дослідження, щоб включити більше учасників, які страждають від важкої паралічу та проблем зі спілкуванням. Вони також розширюють словниковий запас та працюють над покращенням швидкості мови.

“Це важливий технологічний рубіж для людини, яка не може спілкуватися природнім чином”, – сказав Мозес, “і це демонструє потенціал цього підходу для надання голосу людям з важкою паралічем та втратою мови.”