增长和修剪人工智能策略似乎可以减少人工智能能源的使用

人脑以“生长和修剪”策略运作，最初以大量神经连接开始，然后随着时间的推移修剪掉未使用的连接。 最近，一个人工智能研究团队将这种方法应用于人工智能系统，发现它可以大大减少训练人工智能所需的能量。

一组研究人员 来自普林斯顿大学 最近创建了一种训练人工智能系统的新方法。这种新的训练方法似乎能够满足或超过行业的准确性标准，但与传统的机器学习模型相比，它在实现这一目标的同时消耗的计算能力要少得多，因此能源消耗也少得多。在两篇不同的论文中，普林斯顿大学的研究人员演示了如何通过添加神经元和连接来发展网络。随着时间的推移，未使用的连接被修剪掉，只留下模型中最有效和最高效的部分。

普林斯顿大学电气工程教授 Niraj Jha 向普林斯顿新闻解释说，研究人员开发的模型采用“行剪枝范式”。Jha 解释说，人类大脑在三岁左右达到其最复杂的状态，此后大脑开始修剪不必要的突触连接。结果是，发育完全的大脑能够执行我们每天进行的所有极其复杂的任务，但它使用的突触数量仅为巅峰时期的一半左右。Jha 和其他研究人员模仿了这一策略来增强人工智能的训练。

贾解释道：

“我们的方法就是所谓的增长和修剪范式。 这类似于我们从婴儿期到幼儿期大脑的运作方式。 在第三年，人类大脑开始切断脑细胞之间的联系。 这个过程持续到成年期，因此完全发育的大脑在其突触峰值的大约一半时运行。 成人的大脑专门针对我们提供的任何训练。 对于通用学习来说，它不如幼儿大脑那么好。”

得益于增长和修剪技术，只需使用以前所需计算能力的一小部分就可以对数据模式做出同样好的预测。 研究人员的目标是找到减少能源消耗和计算成本的方法，因为这样做是将机器学习引入手机和智能手表等小型设备的关键。 减少机器学习算法消耗的能源量也可以帮助该行业减少碳足迹。 论文第一作者戴晓亮解释说，由于传输到云端需要大量能量，因此需要在本地训练模型。

在第一项研究过程中，研究人员尝试开发一种神经网络创建工具，可用于设计神经网络并从头开始重新创建一些性能最高的网络。 该工具被称为 NeST（神经网络综合工具），当它只提供几个神经元和连接时，通过向网络添加更多神经元，它的复杂性会迅速增加。 一旦网络达到选定的基准，它就会开始随着时间的推移进行自我修剪。 虽然以前的网络模型使用了修剪技术，但普林斯顿大学研究人员设计的方法是第一个采用网络并模拟发育阶段的方法，从“婴儿”到“幼儿”，最后到“成人大脑”。

在第二篇论文中，研究人员与加州大学伯克利分校和 Facebook 的团队合作，使用名为 Chameleon 的工具改进了他们的技术。 Chameleon 能够从期望的终点、期望的结果开始，然后逆向构建正确类型的神经网络。 这消除了手动调整网络所涉及的大部分猜测，为工程师提供了可能立即有用的起点。 Chameleon 预测不同架构在不同条件下的性能。 将 Chameleon 和 NeST 框架相结合可以帮助缺乏大量计算资源的研究组织利用神经网络的强大功能。