提升嵌入式 AI：Meta 如何将人类般的触觉和灵活性带到 AI

AI 在视觉感知和语言处理方面已经取得了长足的进步。然而，这些能力对于构建能够与物理世界交互的系统来说是不够的。人类通过触觉来处理物体或进行受控运动。我们感受到纹理，感知温度，并估计重量以指导每个动作的准确性。这一触觉反馈使我们能够操纵易碎的物品，控制地使用工具，并平稳地执行复杂的任务。

Meta，以其在虚拟和增强现实方面的工作而闻名，现在正在接受创建能够像人类一样与物理世界交互的 AI 的挑战。通过其 FAIR 机器人学倡议，Meta 正在开发开源工具和框架来增强机器人的触觉和身体敏捷性。这些努力可能会导致嵌入式 AI 的发展——不仅仅是看到，还能感觉和操纵物体的系统，就像人类一样。

什么是嵌入式 AI？

嵌入式 AI 将物理交互与人工智能相结合，启用机器感知、响应和自然地与周围环境交互。它不仅仅是“看到”或“听到”输入，还允许 AI 系统 感受到 和 在 世界中行动。想象一个可以感知它对物体施加的压力、调整其握力和灵活移动的机器人。嵌入式 AI 将 AI 从屏幕和扬声器转移到物理世界，使其能够操纵物体、执行任务并与人类更有意义地交互。

例如，基于嵌入式 AI 的机器人可以帮助老年人捡起易碎的物品而不会损坏它们。在医疗保健领域，它可以通过精确地持有手术器械来帮助医生。这种潜力远远超出了实验室或工厂中的机器人臂；它是关于创建能够实时理解和响应其物理环境的机器。

Meta 的嵌入式 AI 方法

Meta 正在关注 三个关键领域 以实现类似人类的触觉。首先，公司正在开发先进的触觉感知技术，能够让机器检测到压力、纹理和温度等事物。其次，Meta 正在创建触觉感知模型，允许 AI 理解和对这些信号做出反应。最后，Meta 正在构建一个触觉开发平台，该平台将多个传感器与这些感知模型集成，提供一个用于构建触觉启用的 AI 的完整系统。以下是 Meta 在这些领域推动嵌入式 AI 进步的方式。

Meta Digit 360：人类级别的触觉感知

Meta 推出了 Digit 360 指尖 触觉感知技术，旨在为嵌入式 AI 提供类似人类的触觉。拥有 18 多个感知特征，它可以检测振动、热量，甚至表面上的化学物质。配备 AI 芯片，指尖可以即时处理触觉数据，允许快速对输入做出反应，例如炉灶的热量或针头的尖锐刺痛。这项技术在嵌入式 AI 中起到了“周围神经系统”的作用，模拟了类似于人类反应的反射反应。Meta 使用独特的光学系统开发了这款指尖，该系统包含超过 800 万个 taxels，可以从每个角度捕捉触觉。它可以感知到细小的细节，精确到一毫牛顿的力，赋予嵌入式 AI 对其环境的精细敏感性。

Meta Sparsh：触觉感知的基础

Meta 正在增强触觉感知能力，以帮助 AI 理解和对物理感觉做出反应。名为 Sparsh 的模型（Sparsh 是梵语中“触觉”的意思），作为嵌入式 AI 的“触觉大脑”。该模型使机器能够解释复杂的触觉信号，例如压力和握力。

Sparsh 的一个突出特点是其多功能性。传统的触觉系统采用单独的模型用于每个任务，严重依赖标记数据和特定传感器。Sparsh 完全改变了这种方法。作为一种通用模型，它适应各种传感器和任务。它使用 自监督学习 (SSL) 在超过 46 万张触觉图像的巨大数据库上学习触觉模式——无需标记数据。

Meta 还推出了 TacBench，一种新的基准测试，包含六个基于触觉的任务来评估 Sparsh 的能力。Meta 声称，Sparsh 在传统模型上表现出 95.1% 的改进，特别是在数据量较少的场景中。基于 Meta 的 I-JEPA 和 DINO 架构构建的 Sparsh 版本在力估计、滑动检测和复杂操作等任务中表现出色。

Meta Digit Plexus：触觉系统开发平台

Meta 推出了 Digit Plexus，以集成感知技术和触觉感知模型，用于创建嵌入式 AI 系统。该平台将指尖和掌部传感器结合在一个机器人手中，实现更协调的触觉反应。这种设置使嵌入式 AI 能够实时处理感官反馈并调整其动作，就像人类的手移动和反应一样。

通过在整个手中标准化触觉反馈，Digit Plexus 提高了嵌入式 AI 的精度和控制。这种发展在制造业和医疗保健等领域尤为重要，因为精细处理至关重要。该平台将传感器（如指尖和 ReSkin）链接到控制系统，简化了数据收集、控制和分析——所有这些都通过一根电缆完成。

Meta 正在向开源社区发布 Digit Plexus 的软件和硬件设计。目标是促进合作并加速嵌入式 AI 的研究，推动这些领域的创新和进步。

促进嵌入式 AI 研究和开发

Meta 不仅推进技术，还推进资源以促进嵌入式 AI 研究和开发。一个关键的计划是开发基准测试以评估 AI 模型。其中一个基准测试是 PARTNR（Planning And Reasoning Tasks in humaN-Robot collaboration），它评估 AI 模型在家庭任务中与人类的交互。使用 Habitat 3.0 模拟器，PARTNR 提供了一个现实的环境，机器人可以在其中协助完成任务，如清洁和烹饪。拥有超过 10 万个基于语言的任务，它旨在加速嵌入式 AI 的进步。

除了内部计划，Meta 正在与 GelSight Inc. 和 Wonik Robotics 等组织合作，以加速触觉感知技术的采用。GelSight 将分销 Digit 360 传感器，而 Wonik Robotics 将制造集成 Digit Plexus 技术的 Allegro 手。通过开放源代码平台和合作伙伴关系，使这些技术可用，Meta 正在帮助创建一个可能在医疗保健、制造业和家庭辅助等领域带来创新突破的生态系统。

结论

Meta 正在推进嵌入式 AI 的发展，将其从仅仅视觉和听觉扩展到触觉。凭借 Digit 360 和 Sparsh 等创新，AI 系统正在获得感知和对周围环境做出反应的能力。通过与开源社区分享这些技术并与关键组织合作，Meta 正在帮助加速触觉感知的发展。这一进步可能会在医疗保健、制造业和家庭辅助等领域带来突破，使 AI 在现实世界任务中更加有能力和响应。