人間の睡眠パターンを模倣することで、ニューラルネットワークはよりよく学習する

カリフォルニア大学サンディエゴ校の研究チームは、人工ニューラルネットワークが人間の脳の睡眠パターンを模倣することで、カタストロフィック・フォゲッティングの問題を軽減できる可能性を探究している。

この研究は、PLOS Computational Biologyに掲載された。

平均して、人間は24時間あたり7〜13時間の睡眠が必要である。睡眠は身体を様々な面でリラックスさせるが、脳はまだ非常に活発である。

睡眠中の活発な脳

マックス・バジェノフ博士は、カリフォルニア大学サンディエゴ校医学部の教授であり、睡眠研究者である。

「脳は睡眠中に非常に忙しく、1日中に学んだことを繰り返している」とバジェノフは言う。「睡眠は記憶を整理し、最も効率的な方法で提示するのに役立つ」。

バジェノフと彼のチームは、睡眠が合理的な記憶を構築する方法について以前の研究を発表している。合理的な記憶とは、物体、人、またはイベント間の任意または間接的な関連を覚える能力である。また、古い記憶を忘れることを防ぐこともできる。

カタストロフィック・フォゲッティングの問題

人工ニューラルネットワークは、人間の脳のアーキテクチャからインスピレーションを得て、AI技術とシステムを改善する。ただし、これらの技術には1つの大きな制限がある。ニューラルネットワークが順番に学習するとき、新しい情報は古い情報を上書きする「カタストロフィック・フォゲッティング」と呼ばれる現象が発生する。

「対照的に、人間の脳は継続的に学習し、新しいデータを既存の知識に組み込み、通常、睡眠期間を挟んだ新しいトレーニングによって最もよく学習する」とバジェノフは言う。

研究チームは、自然なニューラルシステムを模倣するスパイキング・ニューラル・ネットワークを使用した。情報は連続的に通信されるのではなく、特定の時間点で離散的なイベント、またはスパイクとして伝達される。

ニューラルネットワークにおける睡眠の模倣

研究者たちは、スパイキング・ネットワークを新しいタスクにトレーニングし、睡眠を模倣するオフライン期間を挟むと、カタストロフィック・フォゲッティングの問題が軽減されることを発見した。人間の脳と同様に、研究者たちは「睡眠」がネットワークに古い記憶を再生することを可能にし、古いトレーニングデータを明示的に使用する必要がないと述べている。

「新しい情報を学習するとき、ニューロンは特定の順序で発火し、シナプス間の結合が強化される」とバジェノフは言う。「睡眠中、覚醒状態で学習したスパイキング・パターンが自発的に繰り返される。これは、再活性化またはリプレイと呼ばれる」。

「シナプス可塑性、つまり変化または成形される能力は、睡眠中でもまだ存在し、記憶を表すシナプス・ウェイト・パターンをさらに強化し、忘却を防ぐか、古いタスクから新しいタスクへの知識の転送を可能にする」。

研究チームは、このアプローチを人工ニューラルネットワークに適用することで、ネットワークがカタストロフィック・フォゲッティングを避けることができることを発見した。

「これは、ネットワークが人間や動物のように継続的に学習できることを意味する」とバジェノフは続ける。「人間の脳が睡眠中に情報を処理する方法を理解することで、人間の記憶を強化することができる。睡眠リズムを強化することで、記憶を改善できる」。

「他のプロジェクトでは、睡眠中に刺激を適用するための最適な戦略を開発するために、コンピューターモデルを使用している。例えば、睡眠リズムを強化し、学習を改善することができる聴覚トーンなどである。これは、特に老化やアルツハイマー病などの疾患で記憶が非最適化されている場合に特に重要である」。