専門家が脳のメカニズムを利用してAI技術の大きな障害を克服

さまざまな機関の人工知能 (AI) 専門家グループが「AI の能力向上に対する長年の大きな障害」を克服しました。 チームは人間の脳に注目しましたが、これは多くの AI 開発に当てはまります。 具体的には、研究チームは「リプレイ」として知られる人間の脳の記憶メカニズムに焦点を当てました。

Gido van de Ven は筆頭著者であり、博士研究員です。 彼には、ベイラー大学の主任研究員アンドレアス・トリアス氏とマサチューセッツ州アマースト校のハバ・シーゲルマン氏も加わりました。 

この研究は ネイチャー·コミュニケーションズ. 

新しい方法

研究者らによると、ディープニューラルネットワークを「壊滅的な忘却」から効率的に保護する新しい方法を考案したという。 ニューラル ネットワークが新しい学習を行うと、以前に学習した内容を忘れてしまう可能性があります。 

この障害が、多くの AI の進歩を妨げています。 

「解決策の XNUMX つは、以前に遭遇した例を保存しておいて、何か新しいことを学ぶときにそれらを再検討することです。 このような「リプレイ」や「リハーサル」は壊滅的な物忘れを解決しますが、以前に学習したすべてのタスクを常に再トレーニングすることは非常に非効率であり、保存する必要があるデータの量はすぐに管理できなくなります」と研究者らは書いています。

人間の脳  

研究者らは人間の脳からインスピレーションを得ました。人間の脳は忘れずに情報を蓄積できるためですが、AI ニューラル ネットワークには当てはまりません。 今回の開発は、記憶の忘れ防止に関与すると考えられる脳内のメカニズムに関する発見など、研究者らが行った以前の研究に基づいて構築された。 このメカニズムは、神経活動パターンの再生です。

シーゲルマン氏によれば、大きな進歩は「脳内での再生はデータを保存しないという認識」から来ているが、「脳は詳細な記憶を生成する必要がなく、より抽象的な高いレベルで記憶の表現を生成した」という。

シーゲルマン氏はこの情報を入手し、データが保存されていない人工知能による脳のような再生を開発するために同僚と協力しました。 人間の脳の場合と同様、人工ネットワークは以前に見たものを利用して高レベルの表現を生成します。

この方法は非常に効率的で、生成された表現をわずか数回再生しただけでも、新しい記憶が学習されている間に古い記憶が記憶されるという結果になりました。 生成的再生は壊滅的な忘却を防ぐのに効果的であり、大きな利点の XNUMX つは、システムをある状況から別の状況に一般化できることです。

ヴァン・デ・ヴェン氏によると、「生成再生を備えた私たちのネットワークが最初に猫と犬を区別することを学習し、次にクマとキツネを区別することを学習すると、特に訓練を受けていなくても猫とキツネを区別できるようになります。 そして注目すべきは、システムが学習すればするほど、新しいタスクの学習能力が向上することです。」

「私たちは、ネットワーク独自のコンテキスト変調されたフィードバック接続によって生成される内部または隠された表現が再生される、脳にインスピレーションを得た新しい再生の変形を提案します」とチームは書いています。 「私たちの手法は、データを保存せずに、挑戦的な継続学習ベンチマークで最先端のパフォーマンスを達成し、脳内での抽象再生のための新しいモデルを提供します。」

「私たちの手法は、リプレイがブライアンにおける記憶の固定化にどのように寄与するかについて、いくつかの興味深い予測を立てています」と Van de Ven 氏は続けます。 「私たちはすでにこれらの予測の一部をテストする実験を行っています。」