Artificial Intelligence

脳活動を言葉に翻訳するAIを開発

公開済み

4年前

2020 年 4 月 1 日

カリフォルニア大学サンフランシスコ校の研究者脳の活動をテキストに翻訳できる人工知能 (AI) を開発しました。このシステムは、誰かが話しているときに検出される神経パターンに基づいて機能しますが、専門家らは、最終的には閉じ込め症候群に苦しむ人々など、話すことができない人にも使用できるようにしたいと考えています。

ジョセフ・メイキン博士はこの研究の共著者です。

「私たちはまだそこまで到達していませんが、これが音声補綴物の基礎になる可能性があると考えています」とマキン氏は語った。

リサーチジャーナルに掲載されました Nature Neuroscience。

システムのテスト

ジョセフ・メイキン氏と彼のチームは、深層学習アルゴリズムを利用して、XNUMX 人の女性が話しているときの脳信号を研究しました。女性は全員てんかんを患っており、発作を監視するために脳に電極が取り付けられていた。

電極が取り付けられた後、各女性は脳活動を測定しながら一連の文章を読み上げました。使用された固有の単語の最大量は 250 でした。彼らは、「ティナターナーはポップシンガーです」や「あの泥棒たちは 50 個の宝石を盗んだ」など、30 の異なる文のセットから選択することができました。

次に、脳活動データがニューラルネットワークアルゴリズムに供給され、規則的に発生するパターンを識別するようにトレーニングされました。これらのパターンは、母音や子音などの音声の繰り返しの側面に関連付けられる可能性があります。次に、それらは XNUMX 番目のニューラルネットワークに供給され、単語に変換されて文が形成されます。

各女性には文を少なくとも XNUMX 回繰り返すように依頼されましたが、最後の繰り返しはトレーニングデータには含まれませんでした。これにより、研究者はシステムをテストすることができました。

「これらの文の脳の活動を記憶しても役に立ちません。そのため、ネットワークは代わりに、この最後の例に一般化できるように、文の類似点を学習する必要があります」とメイキン氏は言います。

結果

システムによる最初の結果は、意味のある文章を作成するものではありませんでしたが、システムが単語の各シーケンスを読み上げられた文章と比較するにつれて改善されました。

次にチームは、音声中の脳活動のみから書かれたテキストを生成することによってシステムをテストしました。

翻訳には多くの間違いがありましたが、それでも精度は非常に高く、以前のアプローチよりもはるかに優れていました。正確さは人によって異なりますが、ある個人の場合、平均して各文の 3% だけが修正が必要でした。

また、チームは、ある個人のデータに対するトレーニングアルゴリズムでは、最終ユーザーが提供できるデータがはるかに少ないことも学びました。

マーストリヒト大学出身だが研究には関与していないクリスチャン・ヘルフ博士によると、通常は数百万時間かかるのに比べ、このシステムが必要とした各参加者のトレーニングデータと限られた文のコレクションが40分未満だったのは印象的だという。必要。

「そうすることで、これまで達成できなかったレベルの精度が達成されます」と彼は言いました。

「もちろん、これは素晴らしい研究ですが、そういう人たちは『OK Google』を使うこともできるでしょう」と彼は言う。「これは思考を翻訳したものではありません（音声に含まれる脳の活動を翻訳したものです）。」

もう XNUMX つの課題は、言語障害を持つ人々の脳活動が異なる可能性があることです。

「私たちはこれを実際の言語障害を持つ患者に導入したいと考えています。ただし、患者の脳活動がこの研究の女性の脳活動とは異なる可能性があり、これがより困難になる可能性があります。」とメイキン氏は言う。