新研究表明人工大脑可能从睡眠中受益

来自洛斯阿拉莫斯国家实验室的新研究表明，人工大脑几乎可以肯定会从休息期中受益，就像活体大脑一样。

该研究将在西雅图于6月14日举行的女性计算机视觉工作坊上进行介绍。

Yijing Watkins是洛斯阿拉莫斯国家实验室的计算机科学家。

“我们研究的是脉冲神经网络，这是一种与活体大脑类似的学习系统，”沃特金斯说。“我们对以类似人类和其他生物系统在儿童发育期间从环境中学习的方式训练神经形态处理器的前景感到着迷。”

解决网络模拟中的不稳定性

沃特金斯和她的团队发现，持续的无监督学习会导致网络模拟中的不稳定性。然而，一旦团队将网络引入到活体大脑在睡眠期间经历的波浪状态中，稳定性就可以被恢复。

“这就像我们给神经网络一个良好的休息，”沃特金斯说。

该团队在开发基于人类和其他生物系统学习视觉的神经网络时做出了这一发现。团队在稳定正在进行无监督字典训练的模拟神经网络时面临了一些挑战。无监督字典训练涉及在没有以前的例子可用于比较的情况下对对象进行分类。

加勒特·肯永是洛斯阿拉莫斯的计算机科学家和研究合作作者。

“学习系统如何避免变得不稳定的问题只会在尝试使用生物学上真实的、脉冲的神经形态处理器或试图了解生物学本身时才会出现，”肯永说。“绝大多数机器学习、深度学习和人工智能研究人员从未遇到过这个问题，因为在他们研究的非常人工的系统中，他们有执行全局数学运算的奢侈，这些运算可以调节系统的整体动态增益。”

睡眠作为最后的手段解决方案

根据研究人员的说法，暴露网络于人工睡眠的等效物是他们稳定网络的最后手段。经过尝试了不同类型的噪音（类似于收音机之间的静电），最好的结果来自高斯噪音的波浪。这种噪音包括广泛的频率和幅度范围。

研究人员提出，慢波睡眠期间噪音模仿了生物神经元接收的输入。结果表明，慢波睡眠可能在确保皮层神经元不会出现幻觉并保持稳定性方面发挥作用。

该团队现在将在英特尔的Loihi神经形态芯片上实现算法，希望睡眠可以帮助它稳定地处理来自硅 retina摄像头的实时信息。如果研究确定人工大脑确实可以从睡眠中受益，那么对于安卓和其他智能机器来说也是如此。

来源：使用正弦调制噪音作为慢波睡眠的替代品，以实现基于脉冲的稀疏编码模型中的稳定无监督字典学习，CVPR女性计算机视觉工作坊，2020-06-14（美国华盛顿州西雅图）