新研究表明人工大脑可能会从睡眠中受益

来自洛斯阿拉莫斯国家实验室的新研究表明，人工大脑几乎可以肯定会从休息期中受益，就像活体大脑一样。

该研究将在西雅图的计算机视觉女性工作坊上进行介绍。

Yijing Watkins 是洛斯阿拉莫斯国家实验室的计算机科学家。

“我们研究了脉冲神经网络，这些系统的学习方式与活体大脑相似，”沃特金斯说。“我们对以类似于人类和其他生物系统在儿童发育期间从环境中学习的方式训练神经形态处理器的前景感到着迷。”

解决网络模拟中的不稳定性

沃特金斯和她的团队发现，持续的无监督学习会导致网络模拟中的不稳定性。然而，一旦团队将网络引入到活体大脑在睡眠期间经历的波浪状态中，稳定性就可以恢复。

“这就像我们给神经网络一个良好的休息，”沃特金斯说。

该团队在开发基于人类和其他生物系统学习方式的神经网络时做出了这一发现。该团队在稳定模拟神经网络时面临了一些挑战，这些网络正在接受无监督的字典训练。无监督字典训练涉及在没有先前示例可用于比较的情况下对对象进行分类。

加勒特·肯扬是洛斯阿拉莫斯国家实验室的计算机科学家，也是研究的共同作者。

“学习系统如何避免变得不稳定的问题只会出现，当试图使用生物学上真实的、脉冲的神经形态处理器或试图了解生物学本身时，”肯扬说。“绝大多数机器学习、深度学习和人工智能研究人员从未遇到过这个问题，因为在他们研究的非常人工的系统中，他们有执行全局数学运算的奢侈，这些运算可以调节系统的整体动态增益。”

睡眠作为最后的手段解决方案

根据研究人员的说法，将网络暴露在人工睡眠模拟中是他们稳定网络的最后手段。经过对不同类型噪声的实验，噪声类似于收音机之间的静电，最好的结果来自高斯噪声。这种噪声包括广泛的频率和幅度范围。

研究人员提出以下假设：在慢波睡眠期间，噪声模拟了生物神经元接收的输入。结果表明，慢波睡眠可能在确保皮层神经元不会出现幻觉并保持稳定性方面发挥作用。

该团队现在将在英特尔的 Loihi 神经形态芯片上实现算法，希望睡眠可以帮助它稳定地实时处理来自硅 retina 相机的信息。如果研究确定人工大脑确实受益于睡眠，那么同样的事情也可能适用于 android 和其他智能机器。

来源：使用正弦调制噪声作为慢波睡眠的替代品，以实现基于脉冲的稀疏编码模型中的稳定无监督字典学习，CVPR 计算机视觉女性工作坊，2020-06-14（西雅图，华盛顿州，美国）