tinyML 在边缘启用计算机视觉中的作用 – 思想领袖

作者：戴维·索耶，Deeplite 联合创始人兼首席产品官，Deeplite

计算机视觉有巨大的潜力来改善我们的日常生活 – 并且有很多应用和用途。几个例子包括：

• 智能门铃用于家庭安全，帮助防止“门廊海盗”和入室盗窃。根据 I.H.S. Markit 的研究（在 SecurityInfoWatch 发表），2021 年全球监控摄像头的数量预计将达到 10 亿。在美国 alone，摄像头的数量预计将达到 8500 万；
• 在 停车场中，AI 启用的摄像头自动跟踪可用和占用的停车位，以便让消费者知道哪里有空位；
• 仪表盘摄像头现在可以读取速度限制标志，并动态降低卡车的速度以提高安全性；
• 并且 带有连接摄像头的无人机正在监视偏远和难以到达的地区，并且可以实时处理图像和做出决定。

所有这些应用都使用智能视频分析，驱动由 AI 和机器学习（ML）来监视视频，使用智能做出决定，然后采取行动。

计算机视觉需要更多边缘资源

然而，像许多 AI 驱动的应用一样，计算机视觉需要计算能力、内存和能量的突发来执行其复杂的分析和做出决定。虽然这在数据中心中有很多计算能力时是可以的，但它可以阻止 AI 移动到边缘。特别是，小型设备位于远离企业数据中心的位置，并且运行在小型电池上，需要一种新的 AI，它比传统方法更小、更快、更“轻”。

新进展提升深度神经网络

今天，AI 的新进展使得深度神经网络（DNNs）更快、更小、更节能 – 并且有助于将 AI 从云和数据中心移至边缘设备和电池供电的传感器。当谈到 AI 模型训练时，惊人的碳足迹已经被记录和讨论（例如，训练一个 AI 语言模型 会发出与 5 辆汽车在其生命周期中相同的 CO2）。然而，我们需要了解 AI 模型推理的环境影响以及如何减少这一足迹。这就是模型优化可以通过减少 DNNs 的经济和环境成本带来巨大的好处的地方。

TinyML 启用小型设备上的 AI

其中一个进展是 tinyML，一种强大的新趋势，能够使小型、电池供电的设备使用高级 ML 来实现计算机视觉和其他感知任务。它可以在小型、资源受限的设备上实现 ML 推理，通常位于云的边缘，并且有助于在用户附近启用边缘应用。

例如，一个服务器 GPU，如 NVIDIA A100，有超过 40GB 的可用内存，这适合运行复杂的 AI，如计算机视觉和自然语言处理。然而，当我们谈到边缘设备和 tinyML 时，一个常见的微控制器（MCU）可能只有 256KB 的片上内存，这比云端少了 100,000 倍的内存！此外，数据中心和云端与边缘设备的硬件不同，边缘设备的硬件不能轻易在现场更新。这意味着我们必须将 AI“适应”到可用的硬件中，这可能需要开发人员数月到数年的反复试验才能实现，如果有的话。这就是 tinyML，特别是自动机器学习（也称为 AutoML），可以在采纳 AI 的现实世界中发挥主要作用的地方。

并且 tinyML 的影响力正在增长。拥有超过 10,000 名成员的 tinyML 基金会正在发展生态系统以支持超低功耗机器学习解决方案在边缘的开发和部署。该基金会团结了一个全球社区的硬件、软件、机器学习、数据科学家、系统工程师、设计师、产品和商业人员。

一个充满机遇的世界

总的来说，到处都有数十亿的小型、连接的设备可以从高级智能中受益。挑战是它们的资源非常有限，所以我们如何为它们添加智能？tinyML 可以在边缘的小型设备上为更多基于计算机视觉的、现实世界的应用程序带来 AI 和 ML。这可以解锁一个充满机遇的世界，惠及各行各业的人们和公司，帮助我们推动 AI 的新边疆。