专家使用脑机制克服人工智能技术的重大障碍

一组来自各个机构的人工智能（AI）专家克服了“增加人工智能能力的重大、长期存在的障碍”。该团队向人类大脑看齐，这是许多人工智能发展的常见做法。具体来说，该团队关注于人类大脑记忆机制中称为“重放”的机制。

Gido van de Ven 是第一作者和博士后研究员。他与贝勒医学院的首席调查员 Andreas Tolias 以及马萨诸塞大学阿默斯特分校的 Hava Siegelmann 一起合作。

该研究发表在 Nature Communications 上。

新方法

根据研究人员的说法，他们已经开发出了一种新的方法，可以有效地保护深度神经网络免受“灾难性遗忘”的影响。当神经网络学习新知识时，它可能会忘记之前学过的内容。

这种障碍阻碍了许多人工智能进步的发生。

“一种解决方案是存储以前遇到的示例，并在学习新内容时重新访问它们。虽然这种‘重放’或‘复习’可以解决灾难性遗忘问题，但不断地重新训练所有以前学过的任务是非常低效的，需要存储的数据量也会迅速变得难以管理，”研究人员写道。

人类大脑

研究人员从人类大脑中汲取灵感，因为人类大脑可以在不忘记的同时积累信息，而人工智能神经网络则不能。当前的发展建立在研究人员之前的工作基础上，包括关于大脑中一种被认为能够防止记忆被遗忘的机制的发现。这种机制是神经活动模式的重放。

根据 Siegelmann 的说法，主要的发展来自于“认识到大脑中的重放不存储数据”，而“大脑以高级、更抽象的层次生成记忆的表示，没有必要生成详细的记忆”。

Siegelmann 利用这一信息与她的同事合作，开发出了一种类似于大脑的重放人工智能，其中没有存储数据。与人类大脑一样，人工神经网络利用之前看到的内容来生成高级表示。

这种方法非常高效，即使只有少量重放的生成表示，也能使旧的记忆被记住，同时学习新的记忆。生成重放在防止灾难性遗忘方面非常有效，其主要优点之一是它允许系统从一种情况推广到另一种情况。

根据 van de Ven 的说法，“如果我们的网络使用生成重放首先学习区分猫和狗，然后学习区分熊和狐狸，它也会在没有专门训练的情况下区分猫和狐狸。值得注意的是，系统学习得越多，它就越擅长学习新任务。”

“我们提出了一种新的、受大脑启发的重放变体，其中内部或隐藏的表示是通过网络自己的、上下文调制的反馈连接生成的，”团队写道。“我们的方法在具有挑战性的持续学习基准上实现了最先进的性能，而无需存储数据，并为大脑中的抽象重放提供了一个新颖的模型。”

“我们的方法对重放可能如何为大脑中的记忆巩固做出贡献做出了几个有趣的预测，”Van de Ven 继续说。“我们已经在运行一个实验来测试其中一些预测。”