Розроблено штучний інтелект для перекладу активності мозку на слова

Дослідники з Каліфорнійського університету в Сан-Франциско розробили штучний інтелект (AI), який може перекладати активність мозку на текст. Система працює на основі нейронних патернів, які виявляються, коли хтось говорить, але експерти сподіваються, що її можна буде використовувати для людей, які не можуть говорити, наприклад, тих, хто страждає на синдром блокованого мозку.

Доктор Джозеф Макін був співавтором дослідження.

«Ми ще не досягли цього, але вважаємо, що це може бути основою для протезу мови», – сказав Макін.

Дослідження було опубліковано в журналі Nature Neuroscience.

Тестування системи

Джозеф Макін і його команда використовували алгоритми глибокого навчання для вивчення сигналів мозку чотирьох жінок під час мови. Усі ці жінки мали епілепсію, і електроди були прикріплені до їхніх мозків для моніторингу судом.

Після прикріплення електродів кожна жінка прочитала вголос набір речень, а її активність мозку була виміряна. Найбільша кількість унікальних слів, використаних у цьому дослідженні, становила 250. Жінкам було дозволено вибирати з набору з 50 різних речень, включаючи «Тіна Тернер – поп-співачка» та «Ті злодії вкрали 30 коштовностей».

Дані про активність мозку були потім введені в алгоритм нейронної мережі, і він був навчений визнавати регулярно повторювані патерни. Ці патерни могли бути потім пов’язані з повторюваними аспектами мови, такими як голосні або приголосні. Потім вони були введені в другу нейронну мережу, яка намагалася перетворити їх на слова для формування речення.

Кожна жінка була просила повторити речення щонайменше двічі, а останнє повторення не ввійшло до навчальних даних. Це дозволило дослідникам протестувати систему.

«Запам’ятовування активності мозку цих речень не допоможе, тому мережа повинна навчитися, що спільного в них, щоб вона могла узагальнити це останнє приклад», – говорить Макін.

Результати

Перші результати системи не дали речень, які мали сенс, але вона покращала, коли система порівнювала кожну послідовність слів з реченнями, прочитаними вголос.

Команда потім протестувала систему, генеруючи написаний текст лише з активності мозку під час мови.

Було багато помилок у перекладі, але рівень точності був все ж таки досить високим і значно кращим, ніж попередні підходи. Точність варіювалася від людини до людини, але для однієї особи лише 3% кожного речення в середньому потребували виправлення.

Команда також дізналася, що навчальний алгоритм на даних однієї особи дозволяв кінцевому користувачеві надавати значно менше даних.

За словами доктора Крістіана Герффа з Мастрихтського університету, який не брав участі в дослідженні, вражає те, що система вимагала менше 40 хвилин навчальних даних для кожної учасниці та обмеженої колекції речень, порівняно з мільйонами годин, які зазвичай потрібні.

«Таким чином вони досягають рівнів точності, яких раніше не досягали», – сказав він.

«Звичайно, це фантастичне дослідження, але ці люди могли б просто використовувати «OK Google (GOOGL ) »», – сказав він. «Це не переклад думок [а активності мозку, пов’язаної з мовою]».

Іншим викликом може бути те, що люди з порушеннями мови можуть мати іншу активність мозку.

«Ми хочемо розгорнути це в пацієнта з справжнім порушенням мови», – говорить Макін, – «хоча можливо, що їхня активність мозку буде відрізнятися від активності жінок у цьому дослідженні, що робить це більш складним».

Є ще довгий шлях, щоб перекласти дані сигналів мозку комплексно. Люди використовують величезну кількість слів, а дослідження використовувало дуже обмежений набір мови.