脳活動を言葉に翻訳するAIの開発

カリフォルニア大学サンフランシスコ校の研究者は、脳活動をテキストに翻訳できる人工知能（AI）を開発した。このシステムは、誰かが話している時に検出される神経パターンに基づいて機能し、専門家は、最終的に、ロックイン症候群に苦しむような、話すことができない人にも使用できるようになることを希望している。

ジョセフ・マキン博士は、この研究の共著者である。

「まだそこまで達成できていないが、この技術が話す補助装置の基礎になる可能性がある」とマキンは述べた。

この研究は、Nature Neuroscience誌に掲載された。

システムのテスト

ジョセフ・マキンと彼のチームは、4人の女性が話している時の脳信号を研究するために、ディープラーニングアルゴリズムを使用した。すべての女性はてんかんを患っており、てんかんの発作を監視するために脳に電極が付着されていた。

電極が付着された後、各女性は、脳活動が測定されるながら、文章を朗読した。使用された独自の言葉の最大数は250だった。彼女らは、「ティナ・ターナーはポップシンガーだ」や「泥棒が30の宝石を盗んだ」などの50の異なる文章から選択できた。

脳活動データは、ニューラルネットワークアルゴリズムに供給され、定期的に発生するパターンを識別するためにトレーニングされた。これらのパターンは、母音や子音などの話しの繰り返し的な側面にリンクできる。次に、2つ目のニューラルネットワークに供給され、単語に変換して文章を形成しようとした。

各女性は、少なくとも2回、文章を繰り返すように求められた。最後の繰り返しは、トレーニングデータには含まれないようにした。これにより、研究者はシステムをテストすることができた。

「これらの文章の脳活動を暗記することは役に立たないので、代わりにネットワークは、これらの文章が類似している点を学習して、最後の例に一般化できるようにする必要がある」とマキンは述べた。

結果

システムからの最初の結果は、意味のある文章ではなかったが、システムが朗読された文章と各単語のシーケンスを比較するにつれて、改善された。

研究チームは、話し手の脳活動のみから生成された書き起こされたテキストでシステムをテストした。

翻訳には多くのミスがあったが、精度率はまだ非常に印象的で、以前のアプローチよりもはるかに良かった。精度は人によって異なったが、1人の個人の場合、平均して各文章に3%の修正が必要だっただけだった。

チームはまた、1人の個人のデータでトレーニングアルゴリズムを適用することで、最終的なユーザーが提供する必要があるデータを大幅に削減できることを発見した。

マーストリヒト大学のクリスチャン・ヘルフ博士は、この研究に参加していないが、「参加者ごとに40分未満のトレーニングデータと、制限された文章のコレクションでシステムが機能することは、通常必要な数百万時間のトレーニングデータと比較して、印象的である」と述べた。

「そうすることで、以前達成できなかった精度のレベルを達成している」と彼は述べた。

「もちろん、これは素晴らしい研究だが、これらの人々は『OK Google』を使用することもできる」と彼は述べた。「これは、思考の翻訳ではなく、話しに関連する脳活動の翻訳だからだ」。

別の課題は、話すことができない人々の脳活動が異なる可能性があることである。

「実際の話語障害を持つ患者にこのシステムを適用したい」とマキンは述べた。「ただし、この研究で調査した女性たちの脳活動と異なる可能性があるため、より困難になるかもしれない」。

脳信号データを包括的に翻訳するには、まだ長い道のりがある。人間は大量の言葉を使用するが、この研究では非常に制限されたセットの話しか使用された。