谷歌的新神经切线库为数据科学家提供了对模型的“前所未有的”洞察

谷歌设计了一种新的开源库，旨在揭开机器学习的“黑盒子”，让工程师更好地了解他们的机器学习系统的工作原理。 据VentureBeat报道，谷歌研究团队表示，该库可能会提供“前所未有的”洞察力来了解机器学习模型的工作原理。

神经网络通过包含数学函数的神经元来操作，这些函数以各种方式转换数据。网络中的神经元通过层连接，神经网络具有深度和宽度。神经网络的深度由其层数控制，不同的层调整神经元之间的连接，从而影响数据在层之间移动时的处理方式。层中的神经元数量是层的宽度。根据谷歌研究工程师Roman Novak和高级研究科学家Samuel S. Schoenholz的说法，模型的宽度与规则、可重复的行为密切相关。在一篇博客文章中，两位研究人员解释说，使神经网络更宽可以使其行为更规则、更容易解释。

存在一种称为高斯过程的不同类型的机器学习模型。高斯过程是一种可以表示为多变量正态分布的随机过程。使用高斯过程，每个有限线性变量组合都将正常分布。这意味着可以使用可解释的线性代数方程来表示变量之间的复杂交互，因此可以通过这种视角来研究AI的行为。机器学习模型与高斯过程有什么关系？宽度无限大的机器学习模型会收敛到高斯过程。

然而，虽然可以通过高斯过程来解释机器学习模型，但这需要推导出模型的无限宽度极限。这是一系列复杂的计算，必须为每个单独的架构执行。为了使这些计算更容易、更快，谷歌研究团队设计了神经切线。神经切线使数据科学家能够使用仅几行代码来训练多个无限宽度的网络。通常会在同一数据集上训练多个神经网络，并平均它们的预测，以获得对单个模型可能出现的问题具有鲁棒性的预测。这种技术称为集成学习。集成学习的一个缺点是它通常计算成本高。但是，当训练一个无限宽的网络时，集成由高斯过程描述，方差和均值可以计算出来。

作为测试，比较了三种不同的无限宽度神经网络架构，并在博客文章中发表了比较结果。一般来说，受高斯过程驱动的集成网络的结果与普通的有限神经网络性能相似：

正如研究团队在 博客文章 中解释的那样：

“我们看到，模仿有限神经网络，无限宽度的网络遵循类似的性能层次，完全连接的网络比卷积网络的性能更差，卷积网络又比宽残差网络的性能更差。然而， 与普通训练不同，这些模型的学习动态在封闭形式中是完全可追踪的，这使我们能够对其行为有新的洞察。”

神经切线的发布似乎与TensorFlow Dev Summit同时发生。开发者峰会是使用谷歌TensorFlow平台的机器学习工程师聚集在一起的时刻。神经切线的公告也紧随TensorFlow Quantum的公告之后。

神经切线已经通过GitHub提供，并且有一个Google Colaboratory笔记本和教程，感兴趣的人可以访问。