新一代生成式人工智能——远离云端

在开始时，互联网改变了我们的生活方式——我们沟通、购物、开展业务的方式。而后，出于延迟、隐私和成本效率的考虑，互联网转向了网络边缘，催生了“物联网”。

现在，人工智能使我们在互联网上做的所有事情变得更容易、更个性化、更智能。但是，要使用它，需要大型服务器和高计算能力，因此它被限制在云端。但是，相同的动机——延迟、隐私、成本效率——已经驱使像Hailo这样的公司开发能够在边缘实现人工智能的技术。

毫无疑问，下一个大事件是生成式人工智能。生成式人工智能在各个行业中具有巨大的潜力。它可以被用来简化工作流程，提高各类创作者（律师、内容作者、平面设计师、音乐家等）的工作效率。它可以帮助发现新的治疗药物或协助医疗手术。生成式人工智能可以提高工业自动化水平，开发新的软件代码，并通过自动合成视频、音频、图像等提高交通安全性。

然而，当前的生成式人工智能受到其技术基础的限制。这是因为生成式人工智能发生在云端——远离实际用户的昂贵、耗能的计算处理器。当有人向生成式人工智能工具（如ChatGPT或新型AI视频会议解决方案）发出请求时，该请求通过互联网传输到云端，在那里由服务器处理，然后将结果返回给网络。

随着公司开发新的生成式人工智能应用并将其部署在不同类型的设备上（如视频摄像头和安全系统、工业和个人机器人、笔记本电脑甚至汽车），云端成为带宽、成本和连接性的瓶颈。

对于诸如驾驶辅助、个人电脑软件、视频会议和安全等应用，持续地在网络上移动数据可能会带来隐私风险。

解决方案是使这些设备能够在边缘处理生成式人工智能。事实上，基于边缘的生成式人工智能有望惠及许多新兴应用。

生成式人工智能的崛起

考虑到梅赛德斯-奔驰公司在6月份宣布将在其汽车中引入ChatGPT。例如，在一辆配备ChatGPT的梅赛德斯汽车中，驾驶员可以通过语音命令询问汽车关于晚餐食谱的建议，假设汽车连接到互联网。在停车场或偏远地区，所有这些功能都无法使用。

在过去的几年中，视频会议已经成为我们生活中的一部分。软件公司已经开始将人工智能集成到视频会议解决方案中。也许是为了实时优化音频和视频质量，或者将人们“放”在同一个虚拟空间。现在，生成式人工智能驱动的视频会议可以自动创建会议纪要或从公司来源中实时提取相关信息，当讨论不同主题时。

然而，如果智能汽车、视频会议系统或任何其他边缘设备无法连接到云端，那么生成式人工智能体验就无法实现。但是，如果它们不需要连接到云端会怎么样？这听起来像是一个艰巨的任务，考虑到云端人工智能的巨大处理能力，但现在它已经成为可能。

边缘生成式人工智能

已经有一些生成式人工智能工具，可以自动创建丰富、吸引人的PowerPoint演示文稿。但是，用户需要系统能够在任何地方工作，即使没有互联网连接。

同样，我们已经看到了一种新的生成式人工智能“副驾驶”助手，它将从根本上改变我们与计算设备交互的方式，通过自动化许多例行任务，如创建报告或可视化数据。想象一下打开笔记本电脑，笔记本电脑通过摄像头识别你，然后根据你最常用的工具（如Outlook、Teams、Slack、Trello等）自动生成当天/周/月的行动计划。但是，要保持数据隐私和良好的用户体验，你必须有在本地运行生成式人工智能的选项。

除了应对不可靠连接和数据隐私挑战，边缘人工智能还可以帮助减少带宽需求并提高应用程序性能。例如，如果生成式人工智能应用程序通过云端创建数据丰富的内容（如虚拟会议空间），该过程可能会因可用带宽（和成本）而延迟。某些类型的生成式人工智能应用（如安全、机器人或医疗保健）需要高性能、低延迟响应，这是云连接无法处理的。

在视频安全领域，重新识别在多个摄像头之间移动的人需要在摄像头中应用数据模型和人工智能处理。这种情况下，生成式人工智能可以应用于自动描述摄像头看到的内容，通过简单的查询，如“找到穿红色T恤和棒球帽的8岁孩子”。

这就是边缘生成式人工智能。

边缘人工智能的发展

通过采用新型人工智能处理器和开发更精简、更高效（但同样强大）的生成式人工智能数据模型，边缘设备可以被设计为在云连接不可用或不需要时智能运行。

当然，云处理将仍然是生成式人工智能的一个关键组成部分。例如，训练人工智能模型将仍然在云端进行。但是，将用户输入应用于这些模型的过程（称为推理）可以——在许多情况下应该——在边缘发生。

行业已经在开发更精简、更小、更高效的人工智能模型，这些模型可以加载到边缘设备上。像Hailo这样的公司制造专门用于神经网络处理的人工智能处理器。这些神经网络处理器不仅可以快速处理人工智能模型，还能以更低的功耗运行，使其适合各种边缘设备，从智能手机到摄像头。

在边缘处理生成式人工智能还可以有效地平衡不断增长的工作负载，允许应用程序更稳定地扩展，减轻云数据中心的昂贵处理负担，并帮助它们减少碳足迹。

生成式人工智能即将再次改变计算。未来，你的笔记本电脑上的大型语言模型可能会像今天的操作系统一样自动更新——并以类似的方式运行。但是，要实现这一点，我们需要在网络边缘启用生成式人工智能处理。其结果承诺将带来更好的性能、更高的能效、更好的隐私和安全性。所有这些都将带来改变世界的人工智能应用，就像生成式人工智能本身一样。