Дослідники використовують генеративні суперницькі мережі для покращення інтерфейсів “мозок-комп’ютер”

Дослідники Університету Південної Каліфорнії (USC) Інженерної школи Вітербі використовують генеративні суперницькі мережі (GAN) для покращення інтерфейсів “мозок-комп’ютер” (BCI) для людей з інвалідністю.

GAN також використовуються для створення відео з глибокими підробками та фотографічно реалістичними людськими обличчями.

Дослідницька робота була опублікована в Nature Biomedical Engineering.

Потужність BCI

Команда змогла навчити штучний інтелект генерувати синтетичні дані мозкової діяльності за допомогою цього підходу. Ці дані мають форму нейронних сигналів, які називаються спайкові потоки, які можна вводити в алгоритми машинного навчання для покращення BCI серед людей з інвалідністю.

BCI аналізують сигнали мозку окремої особи перед перекладом нейронної діяльності в команди, що дозволяє користувачеві керувати цифровими пристроями тільки своїми думками. Ці пристрої, до яких належать речі, такі як курсори комп’ютера, можуть покращити якість життя пацієнтів, які страждають від моторної дисфункції або паралічу. Вони також можуть бути корисними для осіб з синдромом замкнутого стану, який виникає, коли людина не може рухатися чи спілкуватися, незважаючи на те, що вона повністю свідома.

Існує багато різних типів BCI, які вже доступні на ринку, таких як ті, які вимірюють сигнали мозку, та пристрої, які імплантуються в тканини мозку. Технологія постійно покращується та застосовується новими способами, включаючи нейрореабілітацію та лікування депресії. Однак все ще складно зробити системи достатньо швидкими для ефективної роботи в реальному світі.

BCI вимагають величезної кількості нейронних даних та тривалих періодів навчання, калібрування та навчання для розуміння їхніх входів.

Лоран Ітті – професор комп’ютерних наук і співавтор дослідження.

“Отримання достатньої кількості даних для алгоритмів, які живлять BCI, може бути складним, дорогим або навіть неможливим, якщо люди з паралічем не можуть виробляти достатньо сильні сигнали мозку”, – сказав Ітті.

Технологія є індивідуально-специфічною, тобто вона повинна бути навчена для кожної окремої особи.

Генеративні суперницькі мережі

GAN можуть покращити весь цей процес, оскільки вони здатні створювати необмежену кількість нових, подібних зображень шляхом проходження процесу проб і помилок.

Шіксьян Вен, аспірант під керівництвом Ітті та головний автор дослідження, вирішив розглянути GAN та можливість створення тренувальних даних для BCI шляхом генерації синтетичних нейрологічних даних, які є нерозрізними від реальних.

Команда провела експеримент, під час якого вони навчили синтезатор спайкових даних за допомогою однієї сесії даних, записаних з мавпи, яка тягнеться за об’єктом. Потім вони використали синтезатор для генерації великої кількості подібних, але фальшивих нейронних даних.

Синтезовані дані були потім об’єднані з малими кількостями нових реальних даних для навчання BCI. За допомогою цього підходу система змогла запуститися значно швидше, ніж поточні методи. Конкретно, GAN-синтезовані нейронні дані покращили загальну швидкість навчання BCI до 20 разів.

“Менше хвилини реальних даних, об’єднаних з синтетickými даними, працює так само добре, як і 20 хвилин реальних даних”, – сказав Вен.

“Це перший раз, коли ми бачимо, як штучний інтелект генерує рецепт думки або руху шляхом створення синтетичних спайкових потоків. Це дослідження є критичним кроком до того, щоб зробити BCI більш придатними для реального використання.”

Після першої експериментальної сесії система змогла адаптуватися до нових сесій з обмеженими додатковими нейронними даними.

“Це велика інновація – створення фальшивих спайкових потоків, які виглядають так, як ніби вони походять від цієї людини, коли вона уявляє різні рухи, а потім використання цих даних для допомоги в навчанні на наступній людині”, – сказав Ітті.

Ці нові розробки з GAN-генерованими синтетickými даними можуть також привести до проривів в інших областях галузі.

“Коли компанія готова почати комерціалізацію роботизованого скелета, роботизованої руки або системи синтезу мови, вони повинні розглянути цей метод, оскільки він може допомогти їм прискорити навчання та повторне навчання”, – сказав Ітті. “Що стосується використання GAN для покращення інтерфейсів мозок-комп’ютер, я думаю, що це тільки початок.”