ニューラルネットワークは人間の睡眠パターンを模倣することでよりよく学習する

カリフォルニア大学サンディエゴ校の研究チームは、人工ニューラルネットワークが人間の脳の睡眠パターンを模倣することで、カタストロフィック・フォゲッティングの問題を軽減できるかどうかを研究しています。

この研究は、PLOS Computational Biologyに掲載されています。

平均して、人間は24時間に7〜13時間の睡眠を必要とします。睡眠は体を多くの面で休ませますが、脳はまだ非常に活発です。

睡眠中の活発な脳

マクシム・バジェノフ博士は、カリフォルニア大学サンディエゴ校医学部の教授であり、睡眠研究者です。

「脳は睡眠中も非常に忙しく、1日中に学習したことを繰り返しています」とバジェノフは述べています。 「睡眠は記憶を整理し、最も効率的な方法で提示するのに役立ちます」

バジェノフと彼のチームは、睡眠が合理的な記憶を構築する方法について以前の研究を発表しています。合理的な記憶とは、物体、人、またはイベント間の任意または間接的な関連性を記憶する能力です。また、古い記憶を忘れることを防ぎます。

カタストロフィック・フォゲッティングの問題

人工ニューラルネットワークは、人間の脳のアーキテクチャからインスピレーションを得て、AIテクノロジーとシステムを改善します。ただし、これらのテクノロジーには1つの大きな制限があります。ニューラルネットワークが順番に学習するとき、新しい情報は古い情報を上書きするため、カタストロフィック・フォゲッティングと呼ばれる現象が発生します。

「一方、人間の脳は継続的に学習し、新しいデータを既存の知識に統合し、通常は新しいトレーニングを睡眠期間と交互に行うと、記憶の統合が最もよく機能します」とバジェノフは述べています。

研究チームは、スパイキング・ニューラル・ネットワークを使用しました。これは、自然なニューラル・システムを模倣しています。情報は連続的に伝達されるのではなく、特定の時間点で離散的なイベント、またはスパイクとして伝達されます。

ニューラルネットワークにおける睡眠の模倣

研究者们は、スパイキング・ネットワークを新しいタスクで訓練し、睡眠を模倣するオフライン期間を挟むと、カタストロフィック・フォゲッティングの問題が軽減されることを発見しました。人間の脳と同様に、研究者们は「睡眠」がネットワークに古い記憶を再生することを可能にし、古いトレーニング・データを明示的に使用する必要はありません。

「新しい情報を学習するとき、ニューロンは特定の順序で発火し、シナプス間の結合が強化されます」とバジェノフは述べています。 「睡眠中、覚醒状態で学習したスパイキング・パターンが自発的に繰り返されます。これは、再活性化またはリプレイと呼ばれます。

「シナプス可塑性、つまり変化または形作り変える能力は、睡眠中も存在し、記憶を表すシナプス重みパターンをさらに強化することができます。忘却を防ぐか、古いタスクから新しいタスクへの知識の転移を可能にします」

研究チームは、このアプローチを人工ニューラルネットワークに適用することで、ネットワークがカタストロフィック・フォゲッティングを回避できることを発見しました。

「これは、ネットワークが人間や動物のように継続的に学習できることを意味します」とバジェノフは続けています。 「人間の脳が睡眠中に情報を処理する方法を理解することで、人間の記憶を強化することができます。睡眠リズムを強化することで、記憶が改善される可能性があります。

「他のプロジェクトでは、睡眠中に音響トーンなどの刺激を適用して睡眠リズムを強化し、学習を改善する最適な戦略を開発するために、コンピューターモデルを使用しています。これは、特に老化やアルツハイマー病などの疾患で記憶が非最適化されている場合に特に重要です」