ディープマインドが開発したAIは海馬様体のように記憶を再生する

人間の脳は、過去の記憶を（表面的に）無意識に思い出すことが多い。私たちが日々を過ごす中で、生活の中から突然思い出される記憶の閃きがある。こうした記憶の思い出は、長い間神経科学者にとって興味深いものであったが、AI研究会社のDeepMindは最近、AIがこの記憶の再生を再現する方法について論文を発表した。論文では、海馬様体と呼ばれる脳の形成が新しい記憶の形成と記憶が呼び起こす感情に関係していることが述べられている。

脳における記憶の再生、ニューロン再生は、海馬様体と密接に結びついている。海馬様体は、ウナギのような形をした脳の形成で、辺縁系の一部であり、新しい記憶の形成と記憶が呼び起こす感情に関係している。現在の海馬様体の役割に関する理論は、海馬様体の異なる領域が異なるタイプの記憶を処理する責任があることを示唆している。例えば、空間記憶は海馬様体の後部で処理されることが信じられている。

Jesus Rodriguezによると、ジョン・オキーフ博士は、海馬様体の理解に多大な貢献をしており、海馬様体の「プレイスセル」の発見でも知られている。海馬様体のプレイスセルは、特定の環境での刺激によって活性化される。例えば、実験用のラットが特定のトラックを走る際に、特定のニューロンが活性化することがわかった。研究者はラットが休息している間も観察を続け、同じパターンのニューロンが活性化することを発見したが、速度が速くなっていた。ラットは迷路の記憶を再生しているように見えた。

人間では、記憶の再生は学習プロセスの重要な部分であるが、AIに学習能力を与える際に、この現象を再現することは難しい。

DeepMindチームは、強化学習を使用して記憶の再生現象を再現しようとした。強化学習アルゴリズムは、環境との相互作用からフィードバックを得て、目標に近づく行動をとるたびに報酬を受け取る。強化学習エージェントはイベントを記録し、後で再生する。システムは、過去の経験をより効率的に再生するように強化される。

DeepMindは、再生バッファーを使用して、記録された経験/記憶をシステムに再生することで、強化学習アルゴリズムに記憶の再生を追加した。システムのバージョンによっては、経験がランダムな順序で再生されたり、事前に選択された順序で再生されたりした。研究者は、エージェントの再生順序を実験しながら、経験自体の再生方法も実験した。

強化学習アルゴリズムに再生された経験を提供する主な方法は2つある。想像再生法とムービー再生法である。DeepMindの論文では、以下のようなアナロジーで両方の戦略を説明している。

「家に帰ると、驚いて嫌な思いをした。ダイニングルームに入ると、水がこぼれて美しい木の床が傷ついていた。すると、犬が罪悪感に満ちた表情でパティオのドアを見ているのを見つけた。」

Jesus Rodriguezによると、想像再生法では、イベントが発生した順序で記録されない。代わりに、エージェントの世界に対する理解に基づいて、イベント間の因果関係が推論される。一方、ムービー再生法では、イベントが発生した順序で記憶が保存され、刺激のシーケンスが再生される。「こぼれた水、壊れた花瓶、犬」。イベントの時間的順序が保存される。

神経科学の分野からの研究によると、ムービー再生法は、概念間の関連付けとイベント間のニューロンの接続に不可欠であることが示唆されている。ただし、想像再生法は、エージェントがアナロジーに基づいて新しいシーケンスを作成するのに役立つ可能性がある。例えば、エージェントは、バレルがオイルに対して花瓶が水に対するのと同じ関係であると推論し、バレルが工場のロボットによってこぼされる可能性があると推論することができる。実際、DeepMindが想像再生法の可能性をさらに調査したところ、学習エージェントが以前の経験を考慮して印象的な新しいシーケンスを作成できることがわかった。

強化学習メモリの分野における現在の進歩のほとんどは、ムービー戦略を使用して行われているが、研究者は最近、想像戦略でも進歩を遂げている。AIメモリの両方の方法に関する研究は、強化学習エージェントのパフォーマンスを向上させるだけでなく、人間の心がどのように機能するかについて新しい洞察を得ることもできる。