工程师开发出能效高的“早起鸟”方法来训练深度神经网络

莱斯大学的工程师开发出了一种新方法，可以用正常所需能量的很小一部分来训练深度神经网络（DNNs）。DNNs是人工智能（AI）的一种形式，在开发诸如自动驾驶汽车、智能助手、面部识别和其他应用程序等技术方面发挥着关键作用。

早起鸟方法在4月29日由莱斯大学和德克萨斯A&M大学的研究人员在一篇论文中进行了详细介绍，该论文发表在国际学习表示会议（ICLR 2020）上。

该研究的首席作者是莱斯大学高效与智能计算实验室（EIC Lab）的Haoran You和Chaojian Li。在一项研究中，他们展示了如何使用这种方法以与当前方法相同的水平和准确率训练DNN，但使用的能量仅为原来的10.7倍。

该研究由EIC Lab主任Yingyan Lin、莱斯大学的Richard Baraniuk和德克萨斯A&M大学的Zhangyang Wang领导。其他共同作者包括Pengfei Xu、Yonggan Fu、Yue Wang和Xiaohan Chen。

“最近的AI突破背后的主要驱动力是更大、更昂贵的DNNs的引入，”林说。“但是训练这些DNNs需要大量的能量。为了实现更多的创新，找到更‘绿色’的训练方法以解决环境问题和降低AI研究的财务壁垒至关重要。”

训练DNNs的高昂成本

训练世界上最好的DNNs可能非常昂贵，而且价格标签不断上涨。2019年，西雅图的艾伦人工智能研究所领导的一项研究发现，为了训练一个顶级的深度神经网络，需要比2012-2018年多300,000倍的计算量。同年，马萨诸塞大学阿默斯特分校的研究人员领导的一项研究发现，训练一个单一的精英DNN，会释放出与五辆美国汽车相同数量的二氧化碳排放量。

为了执行高度专业的任务，DNNs由至少数百万个人工神经元组成。它们可以通过观察大量的例子来学习如何做出决定，有时甚至可以超越人类的表现，而且不需要明确的编程。

剪枝和训练

林是莱斯大学布朗工程学院电气与计算机工程系的助理教授。

“当前执行DNN训练的最先进方法称为进步式剪枝和训练，”林说。“首先，你训练一个密集的巨大网络，然后删除看起来不重要的部分——就像剪枝一样。然后你重新训练剪枝后的网络以恢复性能，因为剪枝后性能会下降。在实践中，你需要多次剪枝和重新训练才能获得良好的性能。”

这种方法之所以被使用，是因为并不是所有的神经元都需要来完成专业的任务。神经元之间的连接由于训练而得到加强，而其他的可以被丢弃。这种剪枝方法可以降低计算成本并减小模型的大小，使得完全训练的DNNs更加经济实惠。

“第一步，训练密集的巨大网络，是最昂贵的，”林说。“我们在这项工作中的想法是找出最终的、完全功能的剪枝网络，我们称之为‘早起鸟票’，在这个昂贵的第一步的开始阶段。”

研究人员通过寻找关键的网络连接模式来实现这一点，并且他们能够发现这些早起鸟票。这使得他们能够加快DNN的训练速度。

训练开始阶段的早起鸟

林和其他研究人员发现，早起鸟可以在训练开始阶段的十分之一或更短的时间内出现。

“我们的方法可以在训练开始阶段的前10%或更短的时间内自动识别出早起鸟票，”林说。“这意味着你可以在大约10%或更短的时间内训练一个DNN，以达到与传统训练相同或更好的准确率，这可以节省超过一个数量级的计算和能量。”

除了速度更快、更节能外，研究人员还非常关注环境影响。

“我们的目标是使AI既更加环保又更加包容，”她说。“复杂AI问题的庞大规模一直阻碍了小型玩家。绿色AI可以打开大门，使得拥有笔记本电脑或有限计算资源的研究人员能够探索AI创新。”

该研究得到了国家科学基金会的支持。