Розроблено штучний інтелект для перекладу активності мозку на слова

Дослідники з Університету Каліфорнії, Сан-Франциско розробили штучний інтелект (AI), який може перекладати активність мозку на текст. Система працює на основі нейронних моделей, які виявляються, коли хтось говорить, але експерти сподіваються, що її можна буде використовувати на осіб, які не можуть говорити, наприклад, людей, які страждають на синдром «замкнутого» мозку. 

Доктор Джозеф Макін був співавтором дослідження. 

«Ми ще не досягли мети, але вважаємо, що це може бути основою для протезу мови», – сказав Макін.

Дослідження було опубліковано в журналі Nature Neuroscience.

Тестування системи

Джозеф Макін та його команда використовували алгоритми глибокого навчання для вивчення сигналів мозку чотирьох жінок під час мовлення. Усі ці жінки страждають на епілепсію, і їм були прикріплені електроди до мозку для моніторингу судом.

Після прикріплення електродів кожна жінка прочитала вголос набір речень, під час чого вимірювалася її активність мозку. Найбільша кількість унікальних слів, які вони використовували, становила 250. Вони могли вибирати з набору з 50 різних речень, включаючи «Тіна Тернер – поп-співачка» та «Ці злодії вкрали 30 коштовностей».

Дані про активність мозку були потім подані в алгоритм нейронної мережі, і його навчали визнавати регулярно повторювані моделі. Ці моделі можна було потім пов’язати з повторюваними аспектами мови, такими як голосні чи приголосні. Потім їх подали до другої нейронної мережі, яка намагалася перетворити їх на слова для формування речення.

Кожну жінку просили повторити речення щонайменше двічі, причому останнє повторення не входило до навчальних даних. Це дозволило дослідникам протестувати систему.

«Запам’ятовування активності мозку цих речень не допоможе, тому мережа повинна навчитися, що спільного в них, щоб вона могла узагальнити це останнє приклад», – говорить Макін.

Результати

Перші результати системи не давали речень, які мали сенс, але вона покращала, коли система порівнювала кожну послідовність слів з реченнями, які були прочитані вголос.

Команда потім протестувала систему, генеруючи написаний текст лише з активності мозку під час мовлення.

Було багато помилок у перекладі, але рівень точності був все ж таки дуже вражаючий і значно кращий, ніж попередні підходи. Точність варіювалася від особи до особи, але для однієї людини лише 3% кожного речення в середньому потребували виправлення.

Команда також дізналася, що навчальний алгоритм на даних однієї особи дозволяє кінцевому користувачеві надавати значно менше даних.

За словами доктора Крістіана Герффа з Мастрихтського університету, який не брав участі в дослідженні, вражаючим є те, що система вимагала менше 40 хвилин навчальних даних для кожного учасника та обмеженої колекції речень, порівняно з мільйонами годин, які зазвичай потрібні.

«Таким чином вони досягають рівнів точності, яких раніше не досягали», – сказав він.

«Звичайно, це фантастичне дослідження, але ці люди могли б просто використовувати «OK Google»», – сказав він. «Це не переклад думок [а активності мозку, пов’язаної з мовленням]».

Іншим викликом може бути те, що люди з порушеннями мови можуть мати іншу активність мозку.

«Ми хочемо застосувати це в пацієнта з реальною порушеннями мови», – говорить Макін, «хоча можливо, що їхня активність мозку буде відрізнятися від активності жінок у цьому дослідженні, що робить це більш складним».

Все ж таки ще довго потрібно працювати, щоб перекладати дані про активність мозку комплексно. Люди використовують величезну кількість слів, а дослідження використовувало дуже обмежений набір мовлення.