Використання штучного інтелекту для реконструкції хвиль мозку людини в реальному часі

Нещодавно команда дослідників створила нейронну мережу, яка здатна реконструювати хвилі мозку людини в реальному часі. За повідомленням Futurism, команда дослідників з Московського інституту фізики та технологій (MIPT) та корпорації Neurobotics змогла візуалізувати хвилі мозку людини, перекладаючи їх за допомогою комп’ютерної нейронної мережі, що відтворює зображення.

Результати дослідження були опубліковані в bioRxiv, а разом з дослідженням був розміщений відеоролик, який демонструє, як мережа відтворює зображення. Команда дослідників MIPT сподівається, що це дослідження допоможе їм створити системи реабілітації після інсульту, які контролюються хвилями мозку. Для створення реабілітаційних пристроїв для пацієнтів, які перенесли інсульт, нейробіологам необхідно вивчити процеси, які використовує мозок для кодування інформації. Критично важливим етапом у розумінні цих процесів є вивчення того, як люди сприймають відеоінформацію. За даними ZME Science, сучасні методи витягування зображень з хвиль мозку зазвичай аналізують сигнали, що походять від нейронів, за допомогою імплантів, або витягують зображення за допомогою функціональної МРТ.

Команда дослідників з Neurbiotics і MIPT використовувала електроенцефалографію, або ЕЕГ, яка реєструє хвилі мозку, зібрані з електродів, розміщених на шкірі голови. У таких ситуаціях люди часто носять пристрої, які відстежують їхні нейронні сигнали, коли вони дивляться відео або розглядають зображення. Аналіз активності мозку дав 输入ні ознаки, які можна було б використовувати в системі машинного навчання. Система машинного навчання змогла відтворити зображення, які бачила людина, відтворюючи їх на екрані в реальному часі.

Експеримент був розділений на кілька частин. У першій фазі експерименту дослідники просили учасників дивитися 10-секундні кліпи відео з YouTube протягом близько 20 хвилин. Відео були розділені на п’ять категорій: мотоспорт, людські обличчя, абстрактні форми, водоспади та рухомі механізми. Ці категорії можуть містити різноманітні об’єкти. Наприклад, категорія мотоспорту містила кліпи снігоходів і мотоциклів.

Команда дослідників проаналізувала дані ЕЕГ, зібрані під час перегляду відео учасниками. ЕЕГ показували конкретні закономірності для кожного з відеокліпів, і це означало, що команда могла потенційно інтерпретувати вміст, який учасники бачили на відео, майже в реальному часі.

У другій фазі експерименту було вибрано три категорії випадковим чином. Було створено дві нейронні мережі для роботи з цими двома категоріями. Перша мережа генерувала випадкові зображення, які належали до однієї з трьох категорій, створюючи їх з випадкового шуму, який був уточнений у зображення. Тоді як друга мережа генерувала шум на основі даних ЕЕГ. Дані в обидвох мережах були порівняні, і випадково згенеровані зображення були оновлені на основі даних ЕЕГ, поки згенеровані зображення не стали схожими на зображення, які бачили учасники тестування.

Після того, як система була розроблена, дослідники протестували її здатність візуалізувати хвилі мозку, показуючи учасникам відео, яких вони ще не бачили з тих самих категорій. Дані ЕЕГ, отримані під час другого раунду перегляду, були передані в мережі, і мережі змогли згенерувати зображення, які можна було легко розмістити в правильну категорію 90% часу.

Дослідники відзначили, що результати їхнього експерименту були несподіваними, оскільки протягом тривалого часу вважалося, що в ЕЕГ немає достатньої інформації для реконструкції зображень, які бачила людина. Однак результати команди дослідників довели, що це можливо.

Володимир Конишев, керівник лабораторії нейроробототехніки MIPT, пояснив, що хоча зараз команда дослідників зосереджена на створенні допоміжних технологій для людей з інвалідністю, технологія, над якою вони працюють, може бути використана для створення пристроїв нейронного контролю для загальної популяції в майбутньому. Конишев пояснив TechXplore:

“Ми працюємо над проектом Assistive Technologies проекту Neuronet Національної технологічної ініціативи, який зосереджується на інтерфейсі мозку-комп’ютера, який дозволяє пацієнтам після інсульту контролювати екзоскелетну руку для нейрореабілітаційних цілей або паралізованим пацієнтам керувати електричним інвалідним візком, наприклад. Остаточною метою є збільшення точності нейронного контролю для здорових людей також.”