持续在设备上学习更近了一步，采用新型训练技术

麻省理工学院和麻省理工学院-IBM沃森人工智能实验室的研究团队开发了一种新技术，使得设备上的训练可以使用不到一个四分之一的内存。这种新发展是一项令人印象深刻的成就，因为其他训练解决方案通常需要超过500兆字节的内存，这超过了大多数微控制器的256千字节容量。

通过在智能边缘设备上训练机器学习模型，它可以适应新数据并做出更好的预测。话虽如此，训练过程通常需要大量内存，因此通常在数据中心的计算机上进行，然后将模型部署到设备上。这种过程比新技术更昂贵，并且引发了更多的隐私问题。

研究人员以减少训练模型所需的计算量为出发点，开发了算法和框架，使得过程更快、更节省内存。这种技术可以帮助在微控制器上训练机器学习模型，只需几分钟。

这种新技术还可以帮助保护隐私，因为它将数据存储在设备上，这在处理敏感数据时尤为重要。同时，框架可以提高模型的准确性，相比其他方法更为有效。

宋汉是电气工程和计算机科学系的副教授，麻省理工学院-IBM沃森人工智能实验室的成员，也是研究论文的首席作者。

“我们的研究使得物联网设备不仅可以进行推理，还可以不断更新人工智能模型以适应新收集的数据，为持续在设备上学习铺平了道路，” 汉说。“低资源利用使得深度学习更容易获取，并且可以更广泛地应用，特别是对于低功耗边缘设备。”

该论文的共同第一作者和电气工程和计算机科学系的博士生包括Ji Lin和Ligeng Zhu，麻省理工学院的博士后包括Wei-Ming Chen和Wei-Chen Wang。论文还包括麻省理工学院-IBM沃森人工智能实验室的首席研究员Chuang Gan。

使训练过程更高效

为了使训练过程更高效、更少占用内存，团队依赖于两种算法解决方案。第一种被称为稀疏更新，它使用一种算法来识别每轮训练中需要更新的最重要权重。算法逐一冻结权重，直到准确率下降到某个阈值，此时它就会停止。剩余的权重然后被更新，冻结权重对应的激活不需要存储在内存中。

“更新整个模型非常昂贵，因为有很多激活，所以人们倾向于只更新最后一层，但可以想象，这会损害准确率，” 汉说。“对于我们的方法，我们有选择性地更新重要权重，并确保准确率得到完全保留。”

团队开发的第二种解决方案涉及量化训练和简化权重。算法首先通过量化过程将权重四舍五入到八位，这也减少了训练和推理所需的内存，而推理是指将模型应用于数据集并生成预测的过程。算法然后依赖一种称为量化感知缩放（QAS）的技术，作为一个乘数来调整权重和梯度之间的比率。这有助于避免由于量化训练可能导致的准确率下降。

研究人员开发了一个称为微型训练引擎的系统，该系统在一个没有操作系统的简单微控制器上运行算法创新。为了在模型部署到边缘设备之前在编译阶段完成更多工作，该系统改变了训练过程中步骤的顺序。

“我们将大量计算，如自动微分和图优化，推迟到编译时间。我们还积极地修剪冗余的操作以支持稀疏更新。一旦在运行时，我们在设备上要做的工作就大大减少了，” 汉说。

高效技术

虽然传统的为轻量级训练设计的技术通常需要大约300到600兆字节的内存，但团队的优化只需要157千字节来训练微控制器上的机器学习模型。

该框架通过训练计算机视觉模型来检测图像中的人员，并在仅10分钟内学会完成此任务。该方法还能够比其他方法快20多倍地训练模型。

研究人员现在希望将这些技术应用于语言模型和不同类型的数据。他们还希望利用所获得的知识来缩小较大的模型，而不损失准确率，这也可以帮助减少训练大规模机器学习模型的碳足迹。