Исследователи используют генеративные состязательные сети для улучшения интерфейсов мозг-компьютер

Исследователи в Университете Южной Калифорнии (USC) Витерби Школы Инженерии используют генеративные состязательные сети (GANs) для улучшения интерфейсов мозг-компьютер (BCIs) для людей с ограниченными возможностями.

GANs также используются для создания глубоких фейковых видео и фотографически реалистичных человеческих лиц.

Исследовательская статья была опубликована в Nature Biomedical Engineering.

Сила BCIs

Команда смогла научить ИИ генерировать синтетические данные мозговой активности с помощью этого подхода. Эти данные представлены в форме нейронных сигналов, называемых спайковыми тренировками, которые можно использовать в алгоритмах машинного обучения для улучшения BCIs среди людей с ограниченными возможностями.

BCIs анализируют сигналы мозга человека, прежде чем переводить нейронную активность в команды, что позволяет пользователю контролировать цифровые устройства только своими мыслями. Эти устройства, которые могут включать такие вещи, как компьютерные cursores, могут улучшить качество жизни пациентов, страдающих от двигательных расстройств или паралича. Они также могут принести пользу людям с синдромом запертого человека, который возникает, когда человек не может двигаться или общаться, несмотря на то, что он полностью сознательный.

Существует много разных типов BCIs, уже доступных на рынке, таких как те, которые измеряют сигналы мозга и устройства, имплантированные в ткань мозга. Технология постоянно улучшается и применяется новыми способами, включая нейрореабилитацию и лечение депрессии. Однако все еще сложно сделать системы достаточно быстрыми, чтобы они могли работать эффективно в реальном мире.

BCIs требуют огромного количества нейронных данных и длительных периодов обучения, калибровки и обучения для понимания их входных данных.

Laurent Itti является профессором компьютерных наук и соавтором исследования.

“Получение достаточного количества данных для алгоритмов, которые управляют BCIs, может быть сложным, дорогим или даже невозможным, если парализованные люди не могут производить достаточно сильные сигналы мозга”, – сказал Itti.

Технология является специфичной для пользователя, то есть она должна быть обучена для каждого человека.

Генеративные Состязательные Сети

GANs могут улучшить весь этот процесс, поскольку они способны создавать неограниченное количество новых, похожих изображений, проходя через процесс проб и ошибок.

Shixian Wen, аспирант, руководимый Itti и ведущий автор исследования, решил изучить GANs и возможность того, что они могут создавать обучающие данные для BCIs, генерируя синтетические нейронные данные, которые неотличимы от реальных.

Команда провела эксперимент, в котором они обучили глубокий синтезатор спайков с одной сессией данных, записанных от обезьяны, достигающей за объектом. Затем они использовали синтезатор для генерации большого количества подобных, но фальшивых нейронных данных.

Синтезированные данные затем были объединены с небольшими количествами новых реальных данных для обучения BCI. С помощью этого подхода система смогла запуститься намного быстрее, чем текущие методы. Более конкретно, GAN-синтезированные нейронные данные улучшили общую скорость обучения BCIs до 20 раз.

“Менее минуты реальных данных, объединенных с синтетическими данными, работает так же хорошо, как 20 минут реальных данных”, – сказал Wen.

“Это первый раз, когда мы видим, как ИИ генерирует рецепт мысли или движения посредством создания синтетических спайковых тренировок. Это исследование является важным шагом на пути к тому, чтобы сделать BCIs более подходящими для реального использования.”

После первых экспериментальных сессий система смогла адаптироваться к новым сессиям с ограниченными дополнительными нейронными данными.

“Это большое нововведение – создание фальшивых спайковых тренировок, которые выглядят так, как если бы они исходили от этого человека, когда он представляет себе разные движения, а затем также использовать эти данные для помощи в обучении на следующем человеке”, – сказал Itti.

Эти новые разработки с GAN-генерированными синтетическими данными также могут привести к прорывам в других областях этой области.

“Когда компания готова начать коммерциализацию роботизированного скелета, роботизированной руки или системы синтеза речи, они должны рассмотреть этот метод, поскольку он может помочь им ускорить обучение и переобучение”, – сказал Itti. “Что касается использования GAN для улучшения интерфейсов мозг-компьютер, я думаю, что это только начало.”