Исследователи используют генеративные состязательные сети для улучшения интерфейсов мозг-компьютер

Исследователи из Университета Южной Калифорнии (USC) Школы инженерии Витерби используют генеративные состязательные сети (GAN) для улучшения интерфейсов мозг-компьютер (ИМК) для людей с ограниченными возможностями.

GAN также используются для создания видео с глубокими подделками и фотографически реалистичными человеческими лицами.

Исследовательская работа была опубликована в Nature Biomedical Engineering.

Сила ИМК

Команда смогла научить ИИ генерировать синтетические данные мозговой активности с помощью этого подхода. Эти данные представлены в виде нейронных сигналов, называемых спайковыми тренировками, которые можно использовать в алгоритмах машинного обучения для улучшения ИМК у людей с ограниченными возможностями.

ИМК анализируют сигналы мозга человека, а затем переводят нейронную активность в команды, что позволяет пользователю контролировать цифровые устройства только своими мыслями. Эти устройства, которые могут включать в себя такие вещи, как компьютерные курсоры, могут улучшить качество жизни пациентов, страдающих от двигательных расстройств или паралича. Они также могут принести пользу людям с синдромом запертого человека, который возникает, когда человек не может двигаться или общаться, несмотря на то, что он полностью осознает свое окружение.

Существует много разных типов ИМК, уже доступных на рынке, таких как те, которые измеряют сигналы мозга, и устройства, имплантируемые в ткани мозга. Технология постоянно улучшается и применяется новыми способами, включая нейрореабилитацию и лечение депрессии. Однако все еще трудно сделать системы достаточно быстрыми, чтобы они могли работать эффективно в реальном мире.

ИМК требуют огромных объемов нейронных данных и длительных периодов обучения, калибровки и обучения, чтобы понять их входные данные.

Лоран Итти – профессор компьютерных наук и соавтор исследования.

“Получение достаточного количества данных для алгоритмов, которые обеспечивают работу ИМК, может быть трудным, дорогим или даже невозможным, если люди с параличом не могут производить достаточно сильные сигналы мозга”, – сказал Итти.

Технология является специфичной для пользователя, то есть она должна быть обучена для каждого человека.

Генеративные состязательные сети

GAN могут улучшить весь этот процесс, поскольку они способны создавать неограниченное количество новых, похожих изображений, проходя через процесс проб и ошибок.

Шисян Вен, аспирант, руководимый Итти и ведущий автор исследования, решил изучить GAN и возможность того, что они могут создавать обучающие данные для ИМК, генерируя синтетические нейрологические данные, которые неотличимы от реальных.

Команда провела эксперимент, в котором они обучили глубокий синтезатор спайков с одним сеансом данных, записанных от обезьяны, которая протягивала руку за объектом. Затем они использовали синтезатор для генерации большого количества подобных, но фальшивых нейронных данных.

Синтезированные данные затем объединили с небольшими объемами новых реальных данных для обучения ИМК. С помощью этого подхода система смогла запуститься намного быстрее, чем текущие методы. Более конкретно, GAN-синтезированные нейронные данные улучшили общую скорость обучения ИМК до 20 раз.

“Менее минуты реальных данных, объединенных с синтетическими данными, работает так же хорошо, как 20 минут реальных данных”, – сказал Вен.

“Это первый раз, когда мы видим, как ИИ генерирует рецепт мысли или движения через создание синтетических спайковых тренировок. Это исследование является важным шагом на пути к тому, чтобы сделать ИМК более подходящими для реального использования”.

После первых экспериментальных сессий система смогла адаптироваться к новым сессиям с ограниченными дополнительными нейронными данными.

“Это большое нововведение здесь – создание фальшивых спайковых тренировок, которые выглядят так, как если бы они исходили от этого человека, когда он представляет себе выполнение различных движений, а также использование этих данных для помощи в обучении на следующем человеке”, – сказал Итти.

Эти новые разработки с GAN-генерированными синтетическими данными также могут привести к прорывам в других областях этой области.

“Когда компания готова начать коммерциализацию роботизированного скелета, роботизированной руки или системы синтеза речи, они должны обратить внимание на этот метод, поскольку он может помочь им ускорить обучение и переобучение”, – сказал Итти. “Что касается использования GAN для улучшения интерфейсов мозг-компьютер, я думаю, что это только начало”.