Компьютер использует сигналы человеческого мозга для моделирования зрительного восприятия

В первом в своем роде исследовании ученые из Университета Хельсинки продемонстрировали новую технику, при которой компьютер отслеживает сигналы человеческого мозга, чтобы смоделировать зрительное восприятие. Другими словами, компьютер пытается воссоздать то, о чем человек думает в своей голове. Эта новая техника позволяет компьютеру производить совершенно новую информацию и вымышленные изображения, которые никогда не появлялись раньше.

Новое исследование было опубликовано в сентябре в журнале Scientific Reports , который является открытым онлайн-журналом, охватывающим несколько дисциплин.

Ученые основали эту технику на новом интерфейсе мозг-компьютер, который традиционно способен только на одностороннюю связь от мозга к компьютеру. Это приводит к тому, что, например, буквы набираются или курсор перемещается.

Работа была первой, которая продемонстрировала одновременное представление информации компьютером и моделирование сигналов мозга с помощью методов искусственного интеллекта. Ответы человеческого мозга и генеративная нейронная сеть взаимодействовали и генерировали изображения, представляющие визуальные характеристики того, на что были сосредоточены участники.

Нейроадаптивное генеративное моделирование

Этот метод называется нейроадаптивным генеративным моделированием, и его эффективность была протестирована на 31 участнике. Эти участники были показаны сотни генерированных искусственным интеллектом изображений разнообразных людей, и их ЭЭГ была записана во время просмотра изображений.

Участникам было сказано сосредоточиться на определенных чертах в изображениях, таких как характерные лица и выражения. Затем им быстро показали серию изображений лиц, а их ЭЭГ была подана в нейронную сеть. Эта нейронная сеть затем сделала вывод о том, было ли изображение обнаружено мозгом как соответствующее тому, на что были сосредоточены участники.

Используя эти данные, нейронная сеть смогла сделать оценку о том, какие лица люди думали, и компьютерные изображения были оценены участниками. Результаты показали, что изображения почти идеально соответствовали тому, на что были сосредоточены участники, и точность эксперимента составила 83%.

Туукка Руотсало является исследователем Академии Финляндии в Университете Хельсинки, Финляндия, а также доцентом в Университете Копенгагена, Дания.

“Техника сочетает естественные человеческие реакции с возможностью компьютера создавать новую информацию. В эксперименте участникам было сказано только смотреть на компьютерные изображения. Компьютер, в свою очередь, моделировал изображения и человеческую реакцию на них, используя ответы человеческого мозга. Из этого компьютер может создать совершенно новое изображение, соответствующее намерению пользователя”, – говорит Руотсало.

Другие потенциальные преимущества

Помимо генерации изображений человеческого лица, это новое исследование продемонстрировало, как компьютеры могут дополнить человеческую креативность.

“Если вы хотите нарисовать или проиллюстрировать что-то, но не можете сделать это, компьютер может помочь вам достичь вашей цели. Он может просто наблюдать за фокусом внимания и предсказать, что вы хотите создать”, – говорит Руотсало. Однако исследователи считают, что техника может быть использована для понимания восприятия и лежащих в основе процессов в нашем уме.

“Техника не распознает мысли, а скорее реагирует на ассоциации, которые у нас есть с умственными категориями. Таким образом, хотя мы не можем узнать идентификатор конкретного “старого человека”, о котором думал участник, мы можем получить понимание того, что они ассоциируют со старостью. Мы, поэтому, считаем, что это может предоставить новый способ получения представления о социальных, когнитивных и эмоциональных процессах”, – говорит старший исследователь Михиэль Спапе.

Спапе также считает, что эти результаты могут быть использованы в психологии.

“Идея одного человека о пожилом человеке может быть очень khácной от идеи другого. Мы сейчас исследуем, может ли наша техника раскрыть бессознательные ассоциации, например, глядя, всегда ли компьютер изображает старых людей как, скажем, улыбающихся мужчин.”