脳の活動を言葉に変換するAIの開発

カリフォルニア大学サンフランシスコ校の研究者は、脳の活動をテキストに変換することができる人工知能（AI）を開発した。このシステムは、誰かが話している時に検出される神経パターンに基づいて動作し、専門家は将来的には、ロックイン症候群に苦しむような話すことができない人にも使用できるようになることを希望している。

ジョセフ・マキン博士は、この研究の共同著者である。

「まだ達成していないが、この技術が話す補助装置の基礎になる可能性がある」とマキンは述べた。

この研究は、ネイチャー・ニューロサイエンス誌に掲載された。

システムのテスト

ジョセフ・マキンと彼のチームは、深層学習アルゴリズムを使用して、4人の女性が話している時の脳の信号を調査した。すべての女性はてんかんを患っており、脳に電極を付けててんかんの発作を監視していた。

電極が付けた後、各女性は、脳の活動が測定される間に、セットの文章を朗読した。使用された一意の言葉の最大数は250だった。彼女たちは、50の異なる文章から選択できた。「ティナ・ターナーはポップ・シンガーである」と「その泥棒たちは30の宝石を盗んだ」という文章も含まれている。

脳の活動データは、ニューラルネットワーク・アルゴリズムに与えられ、定期的に発生するパターンを識別するためにトレーニングされた。これらのパターンは、母音や子音のような話しの反復的な側面に結びつけることができた。次に、2つ目のニューラルネットワークに与えられ、文章を形成するためにそれらを単語に変換することができた。

各女性は、文章を少なくとも2回繰り返すように求められた。最後の繰り返しは、トレーニングデータには含まれないようにした。これにより、研究者はシステムをテストすることができた。

「これらの文章の脳の活動を記憶することは役に立たないので、ネットワークはそれらが共通するものを学習しなければならない。そうすれば、最後の例に一般化することができる」とマキンは述べた。

結果

システムの最初の結果は、意味のある文章を生成しなかったが、システムが比較するにつれて、読み上げられた文章と一致する言葉のシーケンスを比較するにつれて、改善された。

チームは、話しの時の脳の活動だけから生成されたテキストを使用して、システムをテストした。

翻訳には多くの間違いがあったが、精度率は非常に印象的で、以前のアプローチよりもはるかに良かった。精度は人によって異なったが、1人の個人の場合、各文章の平均で3%だけ修正が必要だった。

チームはまた、1人の個人のデータでトレーニング・アルゴリズムを使用することで、最終的なユーザーが提供する必要があるデータを大幅に削減できることを発見した。

マーストリヒト大学のクリスチャン・ヘルフ博士は、この研究に参加していないが、「参加者ごとに40分未満のトレーニング・データと、制限された文章のセットしか必要としなかったことは、通常必要な数百万時間と比較して、印象的な成果である」と述べた。

「その結果、以前達成できなかった精度のレベルに達した」と彼は述べた。

「もちろん、これは素晴らしい研究だが、話すことができない人たちは、代わりに『OK Google (GOOGL ) 』を使用することもできる」と彼は述べた。「これは、思考の翻訳ではなく、話しの際の脳の活動の翻訳である」。

別の課題は、話す障害を持つ人々の脳の活動が異なる可能性があることである。

「実際の話す障害を持つ患者にこの技術を導入したい」とマキンは述べた。「ただし、研究に参加した女性たちの脳の活動と異なる可能性があるため、より困難になるかもしれない」。

脳の信号データを包括的に翻訳するには、まだ長い道のりがある。人間は大量の言葉を使用するが、この研究では、非常に制限されたセットの話しか使用された。