Мозговые имплантаты и модель искусственного интеллекта используются для перевода мысли в текст

Исследователи из Калифорнийского университета в Сан-Франциско недавно создали систему искусственного интеллекта, которая может создавать текст, анализируя активность мозга человека, по сути переводя его мысли в текст. ИИ принимает нейронные сигналы от пользователя и декодирует их, а также может расшифровать до 250 слов в режиме реального времени на основе набора от 30 до 50 предложений.

Как сообщает Independent, модель ИИ была обучена на нейронных сигналах, полученных от четырех женщин. Участникам эксперимента вживили в мозг электроды для наблюдения за возникновением эпилептических припадков. Участников просили читать предложения вслух, а их нейронные сигналы передавались модели ИИ. Модель смогла различить нейронную активность, связанную с конкретными словами, и шаблоны соответствовали фактическим словам примерно в 97% случаев со средней частотой ошибок около 3%.

Это не первый случай, когда нейронные сигналы коррелируют с предложениями, нейробиологи работают над подобными проектами уже более десяти лет. Однако модель искусственного интеллекта, созданная исследователями, демонстрирует впечатляющую точность и работает более или менее в режиме реального времени. Модель использует рекуррентную нейронную сеть для кодирования нейронной активности в представления, которые можно перевести в слова. Как говорят авторы в их газете:

«Принимая во внимание недавние достижения в области машинного перевода, мы обучили рекуррентную нейронную сеть кодировать каждую последовательность нейронной активности длиной в предложение в абстрактное представление, а затем декодировать это представление, слово за словом, в английское предложение».

По данным ArsTechnicaЧтобы лучше понять, как создаются связи между нейронными сигналами и словами, исследователи экспериментировали, отключая различные части системы. Систематическое отключение дало понять, что точность системы была обусловлена ​​нейронным представлением. Также было обнаружено, что отключение аудиовходов в системе вызывало скачок ошибок, но общая производительность по-прежнему считалась надежной. Очевидно, это означает, что система потенциально может быть полезна в качестве устройства для тех, кто не может говорить.

Когда различные части ввода электрода были отключены, было обнаружено, что система уделяла наибольшее внимание определенным ключевым областям мозга, связанным с обработкой и воспроизведением речи. Например, приличная часть производительности системы была основана на областях мозга, которые обращают внимание на звук собственного голоса при разговоре.

Хотя первоначальные результаты кажутся многообещающими, исследовательская группа не уверена, насколько хорошо модель будет масштабироваться для больших словарей. Важно, чтобы этот принцип можно было распространить на более широкий словарный запас, поскольку активный словарный запас среднестатистического носителя английского языка составляет примерно 20,000 XNUMX слов. Текущий метод декодера работает, интерпретируя статическую структуру предложения и используя эту структуру, чтобы делать обоснованные предположения о словах, которые соответствуют определенному шаблону нейронной активности. По мере роста словарного запаса общая точность может снижаться, поскольку большее количество нейронных паттернов может выглядеть одинаково.

Авторы статьи объясняют, что, хотя они надеются, что декодер в конечном итоге научится различать регулярные и надежные закономерности в языке, они не уверены, сколько данных потребуется для обучения модели, способной обобщать повседневный английский язык. Одним из возможных способов решения этой проблемы является дополнение обучения данными, собранными из других интерфейсов мозг-компьютер с использованием различных алгоритмов и имплантатов.

Исследование, проведенное учеными из Калифорнийского университета, является лишь недавним событием в растущей волне исследований и разработок, касающихся нейронных интерфейсов и компьютеров. В прошлом году Королевское общество опубликовало отчет, в котором предсказывалось, что нейронные интерфейсы, связывающие людей с компьютерами, в конечном итоге позволят людям читать мысли друг друга. В отчете упоминается стартап Neuralink, созданный Илоном Маском, и технологии, разработанные Facebook, как свидетельство грядущих достижений в области вычислений, ориентированных на человека. Королевское общество отмечает, что человеко-компьютерные интерфейсы станут мощным средством лечения нейродегенеративных заболеваний, таких как болезнь Альцгеймера, в течение следующих двух десятилетий.