Мозговые имплантаты и модель ИИ, используемые для перевода мыслей в текст

Исследователи из Калифорнийского университета в Сан-Франциско недавно создали систему ИИ, которая может производить текст, анализируя активность мозга человека, по сути, переводя его мысли в текст. Система ИИ принимает нейронные сигналы от пользователя и декодирует их, и она может расшифровать до 250 слов в режиме реального времени на основе набора из 30 до 50 предложений.

Как сообщает Independent, модель ИИ была обучена на нейронных сигналах, собранных от четырех женщин. Участницы эксперимента имели электроды, имплантированные в их мозг, для мониторинга возникновения эпилептических приступов. Участницам было предложено прочитать предложения вслух, и их нейронные сигналы были переданы модели ИИ. Модель смогла различить нейронную активность, связанную с конкретными словами, и закономерности совпадали с фактическими словами примерно 97% времени, со средней скоростью ошибок около 3%.

Это не первый раз, когда нейронные сигналы были связаны с предложениями, нейробиологи работали над подобными проектами более десяти лет. Однако модель ИИ, созданная исследователями, показывает впечатляющую точность и работает в режиме реального времени. Модель использует рекуррентную нейронную сеть для кодирования нейронной активности в представления, которые можно перевести в слова. Как говорят авторы в своей статье:

«Взяв за основу недавние достижения в машинном переводе, мы обучили рекуррентную нейронную сеть кодировать каждую последовательность нейронной активности длиной предложения в абстрактное представление, а затем декодировать это представление слово за словом в английское предложение».

По данным ArsTechnica, чтобы лучше понять, как были установлены связи между нейронными сигналами и словами, исследователи экспериментировали, отключая различные части системы. Систематическое отключение показало, что точность системы была обусловлена нейронным представлением. Также было обнаружено, что отключение аудиовходов системы увеличивало количество ошибок, но общая производительность все равно считалась надежной. Очевидно, что это означает, что система потенциально может быть полезна в качестве устройства для тех, кто не может говорить.

Когда были отключены различные части электродного входа, было обнаружено, что система обращала больше внимания на определенные ключевые области мозга, связанные с обработкой и производством речи. Например, значительная часть производительности системы была основана на областях мозга, которые обращают внимание на звук собственного голоса при говорении.

Хотя первые результаты кажутся перспективными, команда исследователей не уверена, насколько хорошо модель будет работать с более крупными словарями. Важно, чтобы принцип можно было обобщить на более крупные словари, поскольку средний английский говорящий имеет активный словарь примерно 20 000 слов. Текущий метод декодирования работает путем интерпретации статической структуры предложения и использования этой структуры для обоснованных предположений о словах, соответствующих определенной закономерности нейронной активности. По мере роста словаря общая точность может быть снижена, поскольку более нейронные закономерности могут иметь схожий вид.

Авторы статьи объясняют, что, хотя они надеются, что декодер в конечном итоге научится различать регулярные, надежные закономерности в языке, они не уверены, сколько данных необходимо для обучения модели, способной обобщать на повседневный английский язык. Одним из возможных способов решения этой проблемы является дополнение обучения данными, собранными из других интерфейсов мозг-компьютер, использующих различные алгоритмы и имплантаты.

Исследование, проведенное исследователями из Калифорнийского университета, является лишь недавним развитием в растущей волне исследований и разработок в области нейронных интерфейсов и компьютеров. Королевское общество выпустило отчет в прошлом году, в котором предсказало, что нейронные интерфейсы, связывающие людей с компьютерами, в конечном итоге позволят людям читать мысли друг друга. В отчете упоминается стартап Neuralink, созданный Илоном Маском, и технологии, разработанные Facebook (META ), как доказательство надвигающихся достижений в области ориентированного на человека вычисления. Королевское общество отмечает, что интерфейсы человека и компьютера будут мощным вариантом для лечения нейродегенеративных заболеваний, таких как болезнь Альцгеймера, в течение следующих двух десятилетий.