Комп’ютер використовує сигнали людського мозку для моделювання зорового сприйняття

Дослідники з Гельсінського університету вперше в своєму роді продемонстрували нову техніку, за допомогою якої комп’ютер відстежує сигнали людського мозку, щоб моделювати зорове сприйняття. Іншими словами, комп’ютер намагається відтворити те, про що думає людина в своїй голові. Ця нещодавно розроблена техніка дозволяє комп’ютеру створювати абсолютно нову інформацію та вигадані зображення, які ніколи раніше не з’являлися. 

Нове дослідження було опубліковано у вересні в Наукові доповіді journal, який є онлайн-журналом із відкритим доступом, що охоплює кілька дисциплін.

Дослідники заснували техніку на новому інтерфейсі мозок-комп’ютер, який традиційно здатний лише на односторонній зв’язок від мозку до комп’ютера. Це призводить, наприклад, до написання букв або переміщення курсору. 

Ця робота була першою, яка продемонструвала як комп’ютерне представлення інформації, так і сигнали мозку, що моделюються одночасно за допомогою методів штучного інтелекту (ШІ). Реакції людського мозку та генеративна нейронна мережа взаємодіяли та генерували зображення, які представляли візуальні характеристики того, на чому зосереджувалися учасники.

Нейроадаптивне генеративне моделювання

Метод називається нейроадаптивним генеративним моделюванням, і його ефективність перевірили за участю 31 учасника. Цим учасникам показали сотні створених штучним інтелектом зображень різноманітних людей, а ЕЕГ учасників записували під час перегляду зображень.

Учасникам сказали зосередитися на певних рисах зображень, наприклад, на чітких обличчях і виразах. Потім їм швидко представили серію зображень обличчя, а ЕЕГ передали в нейронну мережу. Потім ця нейронна мережа визначила, чи мозок визнав зображення таким, на якому зосереджувалися учасники.

Використовуючи ці дані, нейронна мережа змогла зробити оцінку того, про які обличчя думали люди, а учасники оцінили створені комп’ютером зображення. Результати показали, що зображення майже ідеально відповідали тому, на чому вони фокусувалися, а точність експерименту склала 83%. 

Туукка Руотсало є науковим співробітником Академії Фінляндії в Університеті Гельсінкі, Фінляндія, а також доцентом Університету Копенгагена, Данія.

«Техніка поєднує природні людські реакції зі здатністю комп’ютера створювати нову інформацію. Під час експерименту учасникам просили лише подивитися на зображення, створені комп’ютером. Комп’ютер, у свою чергу, моделював відображені зображення та реакцію людини на зображення, використовуючи відповіді людського мозку. Завдяки цьому комп’ютер може створити абсолютно нове зображення, яке відповідає намірам користувача», — каже Руотсало.

Інші потенційні переваги

Окрім створення зображень людського обличчя, це нове дослідження продемонструвало, як комп’ютери можуть підвищити людську творчість.

«Якщо ви хочете щось намалювати чи проілюструвати, але не можете це зробити, комп’ютер може допомогти вам досягти вашої мети. Він може просто спостерігати за фокусом уваги та передбачити, що ви хотіли б створити», — каже Руотсало. Однак дослідники вважають, що цю техніку можна використовувати для розуміння сприйняття та основних процесів у нашому розумі.

«Техніка не розпізнає думки, а швидше реагує на асоціації, які ми маємо з розумовими категоріями. Таким чином, хоча ми не можемо з’ясувати особу конкретної «старої людини», про яку думав учасник, ми можемо отримати розуміння того, що вони асоціюють зі старістю. Тому ми вважаємо, що це може надати новий спосіб отримати розуміння соціальних, когнітивних і емоційних процесів», — говорить старший науковий співробітник Міхіель Спапе.

Спапе також вважає, що ці результати можуть бути використані в психології.

«Уявлення однієї людини про літню людину можуть сильно відрізнятися від уявлень іншої. Наразі ми з’ясовуємо, чи може наш метод виявити несвідомі асоціації, наприклад, дивлячись, чи завжди комп’ютер перетворює старих людей, скажімо, на усміхнених чоловіків».