Разработан ИИ для перевода мозговой активности в слова

Исследователи из Калифорнийского университета в Сан-Франциско разработали искусственный интеллект (ИИ), который может переводить мозговую активность в текст. Система работает на основе нейронных паттернов, которые обнаруживаются, когда кто-то говорит, но эксперты надеются, что в конечном итоге она сможет быть использована для людей, которые не могут говорить, таких как люди, страдающие от синдрома запертого человека.

Доктор Джозеф Макин был соавтором исследования.

«Мы еще не достигли этого, но мы думаем, что это может быть основой для речевого протеза», – сказал Макин.

Исследование было опубликовано в журнале Nature Neuroscience.

Тестирование системы

Джозеф Макин и его команда полагались на алгоритмы глубокого обучения, чтобы изучить мозговые сигналы четырех женщин, когда они говорили. Все эти женщины страдают от эпилепсии, и электроды были прикреплены к их мозгу, чтобы контролировать приступы.

После того, как электроды были прикреплены, каждая женщина затем прочитала вслух набор предложений, пока ее мозговая активность измерялась. Наибольшее количество уникальных слов, использованных было 250. Они могли выбрать из набора из 50 разных предложений, включая «Тина Тёрнер – поп-певица» и «Эти воры украли 30 драгоценных камней».

Данные мозговой активности затем были поданы в алгоритм нейронной сети, и он был обучен для выявления регулярно повторяющихся паттернов. Эти паттерны могли затем быть связаны с повторяющимися аспектами речи, такими как гласные или согласные. Затем они были поданы во вторую нейронную сеть, которая попыталась преобразовать их в слова, чтобы сформировать предложение.

Каждой женщине было предложено повторить предложения至少 дважды, с последним повторением, не вошедшим в обучающие данные. Это позволило исследователям протестировать систему.

«Запоминание мозговой активности этих предложений не поможет, поэтому сеть должна научиться тому, что общего у них, чтобы она могла обобщить это последнее пример», – говорит Макин.

Результаты

Первые результаты системы не дали осмысленных предложений, но она улучшилась, когда система сравнила каждую последовательность слов с предложениями, которые были прочитаны вслух.

Команда затем протестировала систему, генерируя письменный текст только из мозговой активности во время речи.

Было много ошибок в переводе, но точность была все еще очень впечатляющей и намного лучше, чем предыдущие подходы. Точность варьировалась от человека к человеку, но для одного человека только 3% каждого предложения в среднем требовалось исправлений.

Команда также узнала, что обучающий алгоритм на данных одного человека позволял окончательному пользователю предоставить намного меньше.

По словам доктора Кристиана Херффа, который из Мастрихтского университета, но не участвовал в исследовании, впечатляет, что система требует менее 40 минут обучающих данных для каждого участника и ограниченного набора предложений, по сравнению с миллионами часов, обычно необходимых.

«Таким образом, они достигают уровней точности, которые не были достигнуты до сих пор», – сказал он.

«Конечно, это фантастическое исследование, но эти люди могли бы просто использовать «OK Google (GOOGL ) »», – сказал он. «Это не перевод мысли [а мозговой активности, участвующей в речи]».

Другой вызов может заключаться в том, что люди с речевыми нарушениями могут иметь другую мозговую активность.

«Мы хотим развернуть это у пациента с реальной речевой недостаточностью», – говорит Макин, «хотя возможно, что их мозговая активность может быть другой, чем у женщин в этом исследовании, что делает это более сложным».

Еще много работы предстоит сделать, чтобы перевести данные мозговых сигналов комплексно. Люди используют огромное количество слов, и исследование использовало только очень ограниченный набор речи.