Імплантати мозку та модель штучного інтелекту для перекладу думок у текст

Дослідники з Університету Каліфорнії в Сан-Франциско створили штучну систему інтелекту, яка може створювати текст, аналізуючи активність мозку людини, фактично перекладаючи її думки у текст. Штучний інтелект приймає сигнали мозку від користувача та розшифровує їх, і може розшифрувати до 250 слів в реальному часі на основі набору з 30 до 50 речень.

За повідомленням Independent, модель штучного інтелекту була навчена на сигналах мозку, зібраних від чотирьох жінок. Учасниці експерименту мали електроди, імплантовані в їхній мозок, для моніторингу появи епілептичних нападів. Учасниці були проінструктовані читати речення вголос, і їхні сигнали мозку були подані до моделі штучного інтелекту. Модель була здатна розрізнити активність мозку, корельовану з конкретними словами, і закономірності збігалися з фактичними словами приблизно 97% часу, з середнім рівнем помилок близько 3%.

Це не перший раз, коли сигнали мозку були корельовані з реченнями, нейробіологи працюють над подібними проектами вже понад десятиліття. Однак модель штучного інтелекту, створена дослідниками, показала вражаючу точність і працює майже в реальному часі. Модель використовує рекурентну нейронну мережу для кодування активності мозку у представлення, які можуть бути перекладені у слова. Як зазначають автори у своїй статті:

“Взявши за приклад недавні досягнення у машинному перекладі, ми навчили рекурентну нейронну мережу кодувати кожну послідовність активності мозку у абстрактне представлення, а потім розшифрувати це представлення слово за словом у англійське речення.”

За даними ArsTechnica, щоб краще зрозуміти, як були встановлені зв’язки між сигналами мозку та словами, дослідники проводили експерименти, вимикаючи різні частини системи. Систематичне вимикання зробило ясним, що точність системи була обумовлена представленням мозку. Було також виявлено, що вимикання аудіовхідних сигналів системи підвищувало кількість помилок, але загальна продуктивність все одно вважалася надійною. Очевидно, що це означає, що система могла б бути корисною як пристрій для тих, хто не може говорити.

Коли були вимкнені різні частини електродного входу, було виявлено, що система найбільш уважно ставилася до певних ключових областей мозку, пов’язаних з обробкою та виробництвом мови. Наприклад, значна частина продуктивності системи була заснована на областях мозку, які звертають увагу на звук власного голосу під час мовлення.

Хоча початкові результати здаються перспективними, команда дослідників не впевнена, як добре модель буде масштабуватися до більших словників. Значно, що принцип може бути узагальнений до більших словників, оскільки середній англомовний мовець має активний словник приблизно з 20 000 слів. Поточний метод декодування працює шляхом інтерпретації статичної структури речення та використання цієї структури для зроблення обґрунтованих припущень про слова, які відповідають певному шаблону активності мозку. Коли словник зростає, загальна точність може бути знижена, оскільки більше шаблонів мозкової активності можуть схожими.

Автори статті пояснюють, що хоча вони сподіваються, що декодер врешті-решт навчиться розрізняти звичайні, надійні закономірності мови, вони не впевнені, скільки даних потрібно для навчання моделі, яка зможе узагальнювати до повсякденної англійської мови. Одним із потенційних способів вирішення цієї проблеми є доповнення навчання даними, зібраними з інших інтерфейсів мозку-комп’ютера, які використовують різні алгоритми та імплантати.

Дослідження, проведене дослідниками з Університету Каліфорнії, є лише недавнім розвитком у зростаючій хвилі досліджень та розробок щодо нейронних інтерфейсів та комп’ютерів. Королівське товариство випустило звіт минулого року, який передбачав, що нейронні інтерфейси, які з’єднують людей з комп’ютерами, врешті-решт дозволять людям читати думки один одного. Звіт посилається на стартап Neuralink, створений Ілоном Маском, та технології, розроблені Facebook (META ), як доказ майбутніх досягнень у сфері орієнтованої на людину обчислювальної техніки. Королівське товариство зазначає, що інтерфейси людини та комп’ютера будуть потужним варіантом у лікуванні нейродегенеративних захворювань, таких як хвороба Альцгеймера, протягом наступних двох десятиліть.