新系统可以将人工智能带到可穿戴设备和家电中

麻省理工学院的一组研究人员正在努力将深度学习神经网络带到微控制器中。这种进步意味着人工智能（AI）可以被实施到可穿戴医疗设备、家电和其他250亿个物联网（IoT）设备中的小型计算机芯片中。物联网是一种物理对象的网络，嵌入了传感器、软件和其他技术，帮助连接和交换数据与其他设备和系统。

该研究将在12月的神经信息处理系统会议上发表。研究的首席作者是Ji Lin，他是宋汉（Song Han）的实验室在麻省理工学院电气工程和计算机科学系的博士生。共同作者包括麻省理工学院的汉（Han）和余俊林（Yujun Lin），陈伟明（Wei-Ming Chen）来自麻省理工学院和台湾国立大学，约翰·科恩（John Cohn）和甘川（Chuan Gan）来自麻省理工学院-IBM沃森实验室。

MCUNet系统

该系统被称为MCUNet，它设计了能够在物联网设备上以极高的速度和准确性运行的紧凑神经网络，即使在内存和处理能力有限的情况下。该系统可以更节能并提高数据安全性。

该团队通过结合两个组件开发了“微型深度学习”系统：神经网络的操作和微控制器。第一个组件是TinyEngine，它是一种接口引擎，作为操作系统，通过管理资源来运行。TinyEngine被优化为运行由TinyNAS选择的特定神经网络结构，TinyNAS是另一个组件。TinyNAS是一种神经网络架构搜索算法。

林（Lin）开发了TinyNAS，因为现有的神经网络架构搜索技术很难直接应用于微型微控制器。这些现有的技术最终会找到最准确和最具成本效益的网络结构，开始时有许多可能的结构基于预定义的模板。

“它可以在GPU或智能手机上工作得很好，”林说。“但将这些技术直接应用于微型微控制器很困难，因为它们太小了。”

TinyNAS可以创建自定义大小的网络。

“我们有很多微控制器，具有不同的功率容量和不同的内存大小，”林说。“所以我们开发了该算法[TinyNAS]，以优化不同微控制器的搜索空间。”

由于TinyNAS可以自定义，因此它可以为微控制器生成最佳的紧凑神经网络。

“然后我们将最终的高效模型交付给微控制器，”林继续说。

微控制器需要一个干净和精简的接口引擎来运行小型神经网络。许多接口引擎都有很少运行的任务的指令，这可能会阻碍微控制器。

“它没有外部内存，也没有磁盘，”汉说。“所有东西加起来只有1MB的闪存，所以我们必须非常小心地管理如此小的资源。”

TinyEngine生成了运行由TinyNAS开发的自定义神经网络所需的代码。编译时间通过丢弃死代码来减少。

“我们只保留需要的内容，”汉说。“由于我们设计了神经网络，所以我们知道确切需要什么。这是系统-算法联合设计的优势。”

测试表明，TinyEngine的编译二进制代码比类似的微控制器引擎（包括谷歌和ARM的引擎）小1.9到5倍。峰值内存使用量也几乎减半。

MCUNet的能力

MCUNet的首次测试围绕图像分类展开。使用ImageNet数据库对系统进行训练，并使用新图像测试其能力。

当MCUNet在商用微控制器上测试时，它成功地将70.7％的新图像分类。这比以前最好的神经网络和干扰引擎配对（54％准确）要好得多。

“即使1％的改进也被认为是显著的，”林说。“所以这是微控制器设置的一个巨大飞跃。”

根据加州大学伯克利分校的计算机科学家Kurt Keutzer的说法，这“将深度神经网络设计的前沿进一步扩展到小型节能微控制器的计算领域”。MCUNet可以“将智能计算机视觉能力带到甚至最简单的厨房电器，或使运动传感器更智能。”

MCUNet还提高了数据安全性。

“一个关键优势是保护隐私，”汉说。“您不需要将数据传输到云端。”

通过本地分析数据，个人信息被泄露的可能性较小。

此外，MCUNet可以分析和提供有关心跳、血压和氧气水平读数等信息的见解，将深度学习带到车辆和其他互联网访问有限的物联网设备中，并通过仅使用大型神经网络所需能量的一小部分来减少碳足迹。