工程师开发节能的“早鸟”方法来训练深度神经网络

莱斯大学的工程师开发了一种训练深度神经网络 (DNN) 的新方法，其所需能量仅为通常所需能量的一小部分。 DNN 是人工智能 (AI) 的一种形式，在自动驾驶汽车、智能助理、面部识别和其他应用等技术的开发中发挥着关键作用。

早鸟优惠详情请参阅 一篇论文 29 月 XNUMX 日，来自莱斯大学和德克萨斯农工大学的研究人员进行了研究。 它发生在 国际学习代表大会，或 ICLR 2020。 

该研究的主要作者是莱斯大学高效与智能计算（EIC）实验室的尤浩然（Haoran You）和李超建（Chaojian Li）。 在一项研究中，他们展示了该方法如何以与当今方法相同的水平和精度训练 DNN，但使用的能量却减少了 10.7 倍。 

该研究由 EIC 实验室主任 Yingyan Lin、Rice 的 Richard Baraniuk 和 Texas A&M 的 Zhuangyang Wang 领导。 其他合著者包括徐鹏飞、付永干、王悦和陈晓涵。 

“最近人工智能突破的一个主要推动力是引入更大、更昂贵的 DNN，”Lin 说。 “但是训练这些 DNN 需要大量的精力。 为了推出更多创新，必须找到‘更绿色’的培训方法，既能解决环境问题，又能减少人工智能研究的财务障碍。”

训练 DNN 成本高昂

训练世界上最好的 DNN 可能非常昂贵，而且价格还在不断上涨。 2019 年，西雅图艾伦人工智能研究所领导的一项研究发现，为了训练一流的深度神经网络，需要比 300,000-2012 年增加 2018 万倍的计算量。 2019 年由马萨诸塞大学阿默斯特分校的研究人员领导的另一项研究发现，通过训练一个精英 DNN，所释放的二氧化碳排放量大约相当于五辆美国汽车的二氧化碳排放量。 

为了让 DNN 执行高度专业化的任务，它们至少由数百万个人工神经元组成。 他们能够通过观察大量例子来学习如何做出决策，有时甚至超越人类。 他们无需显式编程即可做到这一点。 

修剪和训练

林是莱斯大学布朗工程学院电气与计算机工程系的助理教授。 

“执行 DNN 训练的最先进方法称为渐进式修剪和训练，”Lin 说。 “首先，你训练一个密集、巨大的网络，然后删除看起来不重要的部分——比如修剪一棵树。 然后，您重新训练修剪后的网络以恢复性能，因为修剪后性能会下降。 在实践中，你需要多次修剪和重新训练才能获得良好的性能。”

使用这种方法是因为并非所有的人工神经元都需要完成专门的任务。 神经元之间的连接由于训练而得到加强，而其他连接可以被丢弃。 这种修剪方法可降低计算成本并减小模型大小，从而使经过充分训练的 DNN 更加经济实惠。 

“第一步，训练密集的巨型网络，是最昂贵的，”林说。 “我们这项工作的想法是在这一代价高昂的第一步的开始阶段确定最终的、功能齐全的修剪网络，我们称之为‘早鸟票’。”

研究人员通过寻找关键的网络连接模式来做到这一点，他们能够发现这些早鸟票。 这使他们能够加快 DNN 训练。 

培训开始阶段的早鸟

林和其他研究人员发现，早鸟可能只出现在训练开始阶段的十分之一或更少。 

Lin说：“我们的方法可以在密集的巨型网络训练的前10％或更少的时间内自动识别早鸟票。” “这意味着您可以训练DNN，以给定任务在大约传统训练所需时间的10％或更少的时间内达到相同或什至更好的精度，这可以节省大量的计算和能源。”

除了更快、更节能之外，研究人员还非常关注环境影响。 

她说：“我们的目标是使AI更加环保，更具包容性。” “复杂的AI问题的庞大规模使较小的参与者无法进入。 绿色AI可以打开大门，使研究人员可以使用笔记本电脑或有限的计算资源来探索AI创新。”

该研究得到了国家科学基金会的支持。