ИИ используется для реконструкции человеческих мозговых волн в реальном времени

Недавно команда исследователей создала нейронную сеть, которая может реконструировать человеческие мозговые волны в реальном времени. Как сообщает Futurism, команда исследователей из Московского физико-технического института (МФТИ) и корпорации Neurobotics смогла визуализировать мозговые волны человека, переводя их с помощью компьютерной нейронной сети, и отображая их в виде изображений.

Результаты исследования были опубликованы в bioRxiv, и вместе с исследовательской работой был опубликован видеоролик, показывающий, как сеть реконструировала изображения. Команда исследователей МФТИ надеется, что это исследование поможет им создать системы реабилитации после инсульта, которые будут контролироваться мозговыми волнами. Чтобы создать реабилитационные устройства для жертв инсульта, нейробиологам необходимо изучать процессы, которые использует мозг для кодирования информации. Одним из важных аспектов понимания этих процессов является изучение того, как люди воспринимают видеоинформацию. По данным ZME Science, текущие методы извлечения изображений из мозговых волн обычно анализируют сигналы, исходящие от нейронов, с помощью имплантатов или извлекают изображения с помощью функциональной МРТ.

Команда исследователей из Neurbiotics и МФТИ использовала электроэнцефалографию, или ЭЭГ, которая регистрирует мозговые волны, собранные с помощью электродов, размещенных на скальпе. В таких ситуациях люди часто носят устройства, которые отслеживают их нейронные сигналы, пока они смотрят видео или смотрят на изображения. Анализ мозговой активности дал входные данные, которые можно было использовать в системе машинного обучения. Система машинного обучения смогла реконструировать изображения, которые видел человек, отображая их на экране в реальном времени.

Эксперимент был разделен на несколько частей. В первой фазе эксперимента исследователи просили участников смотреть 10-секундные клипы видео с YouTube в течение примерно 20 минут. Видео были разделены на пять разных категорий: мотоспорт, человеческие лица, абстрактные формы, водопады и движущиеся механизмы. Эти разные категории могут содержать различные объекты. Например, категория мотоспорта содержала клипы снегоходов и мотоциклов.

Команда исследователей проанализировала данные ЭЭГ, собранные во время просмотра видео участниками. ЭЭГ показали конкретные закономерности для каждого из разных видеоклипов, и это означало, что команда потенциально могла интерпретировать, какой контент участники видели на видео в более или менее реальном времени.

Во второй фазе эксперимента были выбраны три категории случайным образом. Были созданы две нейронные сети для работы с этими двумя категориями. Первая сеть генерировала случайные изображения, принадлежащие к одной из трех категорий, создавая их из случайного шума, который был отфильтрован в изображение. Тем временем другая сеть генерировала шум на основе данных ЭЭГ. Данные в обеих сетях были сравнены, и случайно сгенерированные изображения были обновлены на основе данных ЭЭГ, пока сгенерированные изображения не стали похожи на изображения, которые видели участники теста.

После того, как система была разработана, исследователи протестировали способность программы визуализировать мозговые волны, показывая участникам видео, которые они еще не видели из тех же категорий. Данные ЭЭГ, сгенерированные во время второго раунда просмотра, были переданы сетям, и сети смогли сгенерировать изображения, которые можно было легко отнести к правильной категории 90% времени.

Исследователи отметили, что результаты их эксперимента были удивительными, поскольку долгое время считалось, что в ЭЭГ нет достаточной информации для реконструкции изображений. Однако результаты команды исследователей доказали, что это возможно.

Владимир Конышев, руководитель лаборатории нейроробототехники МФТИ, объяснил, что хотя сейчас команда исследователей фокусируется на создании вспомогательных технологий для людей с ограниченными возможностями, технология, над которой они работают, может быть использована для создания устройств нейронного контроля для общей популяции в будущем. Конышев объяснил TechXplore:

“Мы работаем над проектом «Вспомогательные технологии» Нейронета Национальной технологической инициативы, который фокусируется на интерфейсе «мозг-компьютер», позволяющем пациентам после инсульта контролировать экзоскелетную руку для целей нейрореабилитации или парализованным пациентам управлять электрическим креслом, например. Конечной целью является повышение точности нейронного контроля для здоровых людей тоже.”