Комп’ютер використовує сигнали людського мозку для моделювання візуальної сприйняття

У тому, що є першим у своєму роді, дослідники університету Гельсінкі продемонстрували нову техніку, при якій комп’ютер відстежує сигнали людського мозку для моделювання візуальної сприйняття. Інакше кажучи, комп’ютер намагається відтворити те, про що людина думає у своїй голові. Ця нова техніка дозволяє комп’ютеру створювати абсолютно нову інформацію та вигадані зображення, яких раніше не існувало.

Нове дослідження було опубліковано у вересні в журналі Scientific Reports , який є відкритим онлайн-журналом, що охоплює кілька дисциплін.

Дослідники заснували цю техніку на новому інтерфейсі “мозок-комп’ютер”, який традиційно здатний лише на односторонню комунікацію від мозку до комп’ютера. Це призводить, наприклад, до того, що букви набираються або курсор переміщається.

Ця робота була першою, яка продемонструвала одночасне моделювання комп’ютером інформації та сигналів мозку за допомогою методів штучного інтелекту. Відгуки людського мозку та генеративна нейронна мережа взаємодіяли та генерували зображення, які представляли візуальні характеристики того, на що учасники були зосереджені.

Нейроадаптивне генеративне моделювання

Ця методика називається нейроадаптивним генеративним моделюванням, і її ефективність була перевірена на 31 учаснику. Цим учасникам були показані сотні зображень, згенерованих штучним інтелектом, різноманітних людей, і їхні ЕЕГ були записані під час перегляду цих зображень.

Учасників просили зосередитися на певних особливостях зображень, таких як виразні обличчя та вирази. Потім їм швидко показували серію зображень облич, а їхні ЕЕГ передавалися до нейронної мережі. Ця нейронна мережа потім робила висновок про те, чи було зображення визнане мозком як відповідне тому, на що учасники були зосереджені.

За допомогою цих даних нейронна мережа могла зробити оцінку про те, який тип обличчя люди мали на увазі, а комп’ютерні зображення були оцінені учасниками. Результати показали, що зображення майже ідеально відповідали тому, на що вони були зосереджені, а точність експерименту становила 83%.

Туукка Руотсало є дослідником Академії Фінляндії в університеті Гельсінкі, Фінляндія, а також доцентом університету Копенгагена, Данія.

“Ця техніка поєднує природні людські реакції з можливістю комп’ютера створювати нову інформацію. У експерименті учасників просили лише дивитися на комп’ютерні зображення. Комп’ютер, у свою чергу, моделював зображення, які відображалися, і людську реакцію на ці зображення, використовуючи реакції людського мозку. З цього комп’ютер може створити повністю нове зображення, яке відповідає наміру користувача”, – каже Руотсало.

Інші потенційні переваги

Крім генерації зображень людських облич, це нове дослідження продемонструвало, як комп’ютери можуть підвищити людську креативність.

“Якщо ви хочете намалювати або проілюструвати щось, але не можете цього зробити, комп’ютер може допомогти вам досягти вашої мети. Він просто спостерігає за фокусом уваги та передбачає, що ви хочете створити”, – каже Руотсало. Однак дослідники вважають, що ця техніка може бути використана для розуміння сприйняття та основних процесів у нашому розумі.

“Ця техніка не розпізнає думки, а радше реагує на асоціації, які ми маємо з психологічними категоріями. Отже, хоча ми не можемо дізнатися про ідентичність конкретної “старої людини”, про яку думав учасник, ми можемо зрозуміти, що вони асоціюють зі старістю. Ми, отже, вважаємо, що це може надати новий спосіб отримання інформації про соціальні, когнітивні та емоційні процеси”, – каже старший дослідник Міхіель Спапе.

Спапе також вважає, що ці результати можуть бути використані у психології.

“Ідея однієї людини про старшу людину може бути дуже khácною від ідеї іншої. Ми зараз досліджуємо, чи може наша техніка розкрити несвідомі асоціації, наприклад, дивлячись, чи комп’ютер завжди малює старих людей як, наприклад, усміхнених чоловіків.”