DeepMind 创建了人工智能，像海马体一样重放记忆

人脑经常回忆过去的记忆（看似）无缘无故。随着我们度过一天，我们从生活中闪现出记忆的片段。虽然这种自发的记忆召唤长期以来一直是神经科学家们感兴趣的对象，但人工智能研究公司 DeepMind最近 发表了一篇论文，详细介绍了他们的人工智能如何复制这种奇怪的回忆模式。

大脑中记忆的召唤，神经重放，与 海马体 密切相关。海马体是大脑中属于边缘系统的海马形结构，它与形成新记忆以及记忆所激发的情绪有关。关于海马体（大脑每个半球中都有一个）的当前理论认为，海马体的不同区域负责处理不同类型的记忆。例如，人们认为空间记忆是在海马体的后部处理的。

据 Jesus Rodriguez 报道， 约翰·奥基夫博士 对我们理解海马体做出了许多贡献，包括海马体的 “位置”细胞。海马体中的位置细胞由特定环境中的刺激触发。例如，老鼠实验表明，当老鼠跑过某些轨道部分时，特定的神经元会激发。研究人员继续监测休息的老鼠，并发现表示轨道部分的相同神经元模式会激发，尽管它们以加速的速度激发。老鼠似乎在他们的脑海中重放着迷宫的记忆。

在人类中，回忆记忆是学习过程中的一个重要部分，但当试图使人工智能学习时，很难重现这种现象。

DeepMind 团队试图使用强化学习重现回忆现象。强化学习算法通过与周围环境的交互获得反馈，当它们采取使其更接近所需目标的操作时，它们会获得奖励。在这种情况下，强化学习代理记录事件，然后在稍后时间播放它们，系统被强化以提高回忆过去经验的效率。

DeepMind 在强化学习算法中添加了重放经验，使用重放缓冲区将记忆/记录的经验在特定时间播放给系统。系统的某些版本以随机顺序播放经验，而其他模型则以预选顺序播放。虽然研究人员尝试了强化代理的播放顺序，但他们还尝试了不同的重放经验的方法。

有两种主要方法用于为强化算法提供回忆的经验。这些方法是想象重放方法和电影重放方法。DeepMind 的论文使用一个比喻来描述这两种策略：

“假设你回到家，令你惊讶和沮丧的是，你发现水在你美丽的木地板上积聚。在步入餐厅时，你发现一个破碎的花瓶。然后你听到一声呜咽，并从露台门向外看去，看到你的狗看起来很内疚。”

据 Rodriguez 报道，想象重放方法不会以事件发生的顺序记录事件。相反，事件之间的可能原因被推断出来。事件是根据代理对世界的理解推断出来的。同时，电影重放方法以事件发生的顺序存储记忆，并以“水洒，花瓶破碎，狗”的顺序重放事件序列。事件的时间顺序得到保留。

神经科学领域的研究表明，电影重放方法对于创建概念之间的关联和连接事件之间的神经元至关重要。然而，想象重放方法可以帮助代理在类比推理时创建新的序列。例如，代理可以推理，如果一个桶与油类似，一个花瓶与水类似，那么一个桶可以被工厂机器人而不是狗打翻。确实，当 DeepMind 进一步探索想象重放方法的可能性时，他们发现他们的学习代理能够通过考虑以前的经验来创建令人印象深刻的、富有创新的序列。

目前，大多数在强化学习记忆领域取得的进展都是使用电影策略实现的，尽管研究人员最近开始使用想象策略取得进展。研究这两种人工智能记忆方法不仅可以使强化学习代理获得更好的性能，而且还可以帮助我们深入了解人类思维的工作原理。