谷歌的新神经切线库为数据科学家提供了“前所未有的”对模型的洞察

谷歌设计了一个新的开源库，旨在打开机器学习的黑盒子，并为工程师提供更多对其机器学习系统工作原理的洞察。 据VentureBeat报道，谷歌研究团队表示，该库可能会提供“前所未有的”对机器学习模型工作原理的洞察。

神经网络通过包含数学函数的神经元来运作，这些函数以各种方式转换数据。网络中的神经元连接在一起，形成多个层，神经网络具有深度和宽度。神经网络的深度由其层数控制，不同层之间的连接会影响数据在层之间传递时的处理方式。层中的神经元数量决定了层的宽度。根据谷歌研究工程师Roman Novak和高级研究科学家Samuel S. Schoenholz的说法，模型的宽度与规则、可重复的行为紧密相关。在一篇博客文章中，两位研究人员解释说，增加神经网络的宽度会使其行为更加规则，更加容易解释。

还有一种称为高斯过程的机器学习模型。高斯过程是一种可以表示为多变量正态分布的随机过程。使用高斯过程，每个集合/有限线性变量组合将是正态分布的。这意味着可以使用可解释的线性代数方程来表示变量之间的复杂交互，因此可以通过这种视角来研究AI的行为。机器学习模型与高斯过程有什么关系？宽度无限大的机器学习模型会收敛到高斯过程。

然而，虽然可以通过高斯过程的视角来解释机器学习模型，但这需要推导出模型的无限宽度极限。这是一系列需要为每个单独架构执行的复杂计算。为了使这些计算更容易、更快，谷歌研究团队设计了神经切线。神经切线使数据科学家能够使用几行代码同时训练多个无限宽度的网络。通常会训练多个神经网络以相同的数据集，并平均它们的预测，以获得对单个模型可能出现的问题具有免疫力的更强大的预测。这种技术称为集成学习。集成学习的一个缺点是它通常计算成本很高。但是，当训练一个无限宽度的网络时，集成由高斯过程描述，方差和均值可以计算。

为了测试，比较了三种不同的无限宽度神经网络架构，并在博客文章中发表了比较结果。一般来说，集成网络由高斯过程驱动的结果与正常的有限神经网络性能相似：

正如研究团队在 博客文章 中解释的那样：

“我们看到，模仿有限神经网络，无限宽度网络遵循类似的性能层次，完全连接的网络比卷积网络的性能更差，而卷积网络的性能又比宽残差网络更差。然而，与正常训练不同，这些模型的学习动态在封闭形式中是完全可追踪的，这使我们能够对其行为有新的洞察。”

神经切线的发布似乎与TensorFlow Dev Summit同时发生。开发者峰会汇集了使用谷歌的TensorFlow平台的机器学习工程师。神经切线的公告也紧随TensorFlow Quantum的发布之后。

神经切线已通过GitHub提供，并且有一个谷歌Colaboratory笔记本和教程，感兴趣的人可以访问。