Meta V-JEPA 2：为机器人带来常识的 AI 模型

Meta 的 视频联合嵌入预测架构 2（V-JEPA 2） 是人工智能（AI）领域的一个重大进步。它帮助机器人理解和预测物理交互。该模型是在超过一百万小时的视频上训练的。这使得机器人能够学习和预测接下来会发生什么。它还使机器人能够在新环境中计划行动，从而使它们能够更有效地与陌生对象交互。

V-JEPA 2 使用 自监督学习。它直接从视频数据中学习，而无需人类注释。这使它与其他依赖标记数据的 AI 模型不同。机器人可以根据视觉上下文预测结果。它们可以根据需要适应和计划行动。这使我们更接近实现 高级机器智能（AMI）。

在 Meta 的联合嵌入预测架构（JEPA）的基础上，V-JEPA 2 提高了行动预测和世界建模的能力，使机器人能够在陌生环境中处理新任务。Meta 正在与研究社区分享该模型，以加速 AI 进展并提高机器人能力。

为什么机器人中的常识一直很难实现

常识是指能够做出基本决策的能力。例如，知道杯子会倾倒或理解椅子可能会阻挡路径。对于人类来说，这些知识通过经验自然获得。然而，机器人在发展这种直觉方面面临挑战。

大多数机器人都是为特定任务在受控环境中编程的。它们在这些任务中表现良好。但是，当情况发生变化或出现意外元素时，机器人会挣扎。它们经常无法识别因果关系或预测行动的后果。例如，机器人可能知道如何将杯子放在平面上。但是，它可能无法预见倾斜杯子会导致它倾倒。

当前的 AI 模型，例如基于 强化学习（RL） 的模型，面临局限性。RL 需要大量的试错学习。这使得该过程变慢且耗费资源。 大型语言模型（LLM） 在语言方面表现出色，但缺乏物理世界的基础。它们经常 产生幻觉，仅基于文本做出响应，使它们在动态情况下不可靠。传统的 计算机视觉 模型也具有局限性。这些模型是特定任务的，无法适应新或意外的场景。

为了解决这些问题，专家建议使用世界模型。世界模型使机器人能够模拟和预测基于过去经验的未来行动。这些模型帮助机器人了解世界的物理动态。例如，预测当对象被移动或两个对象碰撞时会发生什么。Meta 的 V-JEPA 2 是第一个将这些原则集成的模型。它直接从原始视频数据中学习。这使得它能够适应现实世界的环境，使机器人能够根据动态的物理交互进行推理和规划。

了解 V-JEPA 2

V-JEPA 2 是由 Meta 的基础 AI 研究（FAIR）团队创建的自监督学习模型。与传统的需要标记数据的 AI 模型不同，V-JEPA 2 通过预测视频序列的缺失部分来学习。这个过程称为表示级预测。与其关注每个像素，V-JEPA 2 使用抽象表示来捕捉环境中对象和行动之间的关键动态和关系。

该模型建立在 Meta 的联合嵌入预测架构（JEPA）上，旨在了解物理动态。它有两个关键组件：一个编码器，用于处理原始视频以创建有用的表示，并且一个预测器，使用这些表示来预测未来事件。V-JEPA 2 在超过一百万小时的视频上训练，使其能够学习物理世界中的复杂模式。通过学习视频，该模型可以预测未来行动和交互，提高机器人规划和决策的能力。

V-JEPA 2 帮助机器人执行零次规划。这意味着机器人可以处理新环境中的任务，即使没有先前的训练。相反，机器人可以执行任务，如拾取和放置物体，即使它们以前从未见过这些任务。V-JEPA 2 是行动预测和世界建模的一个重大改进，使机器人更适应新情况。

该模型从原始视频数据中学习，使机器人能够预测未来事件。这使机器人在现实世界情况下更有能力。V-JEPA 2 将我们更接近能够像人类一样规划和执行任务的机器人。Meta 正在与研究社区分享 V-JEPA 2，以加速 AI 进展。

V-JEPA 2 的工作原理：两个阶段的过程

V-JEPA 2 以两个不同的阶段工作。每个阶段都使模型能够从原始视频数据中学习，并随后将这些知识应用于在现实世界任务中做出明智的决定。

阶段 1：无行动表示学习

V-JEPA 2 首先在超过 100 万小时的视频和 100 万张图像上进行大规模预训练。该模型通过预测视频序列的缺失部分来学习。它将视频处理为 3D tubelets，这些 tubelets 是模型的主要标记。该模型采用 视觉变换器（ViT） 架构，具有 3D 旋转位置嵌入（3D-RoPE），以更有效地捕捉空间和时间信息。

编码器处理 tubelets 以创建高维特征向量。这些向量表示视频的空间和时间动态。该模型使用掩蔽降噪目标，其中视频的大部分被隐藏。该模型尝试通过使用可见部分来预测隐藏内容。指数移动平均（EMA）目标编码器帮助模型避免平凡解决方案，确保稳定的学习。损失函数最小化预测和 EMA 目标编码器输出之间的 L1 距离，关注更高级别的概念，例如对象恒存性和运动，而不是像素级别的细节。

阶段 2：行动条件规划和控制

在第二阶段，模型转变为行动条件训练。编码器权重被冻结，并使用机器人交互数据训练新的预测器。这些数据包括视频观察和对应的控制动作，通常来自 DROID 数据集（约 62 小时的机器人数据）。现在，模型可以根据当前状态和可能的动作预测环境的未来状态。

V-JEPA 2 设置了一个基于目标的能量最小化问题。它将当前观察和目标图像编码为特征图。然后，模型预测状态将如何根据不同的动作序列而变化。通过最小化预测的未来状态和目标表示之间的 L1 距离来找到最优动作序列。交叉熵方法（CEM）用于轨迹优化。

仅执行最优序列的第一项动作，然后在收敛视野控制循环中重复该过程。这使得实时规划和适应成为可能。通过利用 3D tubelet 处理，V-JEPA 2 捕获空间和时间依赖关系，使机器人能够推理运动、对象交互和复杂环境中行动的后果。这使得零次规划和控制成为可能，即使在新场景中，也无需任务特定的演示或奖励工程。

V-JEPA 2 在机器人中的应用

V-JEPA 2 正在改变机器人与世界交互的方式。虽然许多应用程序仍在开发中，但该模型在受控环境中已经展示了强大的能力。

拾取和放置操作

在实验室环境中，V-JEPA 2 已使机器人能够仅使用 DROID 数据集的 62 小时数据执行拾取和放置任务。使用仅 62 小时的数据，机器人可以操作各种对象，包括刚性和可变形对象。这项能力在物流、制造和家庭机器人等领域至关重要，因为这些领域的对象大小和复杂性差异很大。

动态环境中的导航

V-JEPA 2 可以建模时间动态，使其适用于具有移动人员、动物或障碍的动态环境中的实时导航。虽然它尚未用于自动驾驶车辆或无人机，但其预测能力可以帮助机器人预测变化并调整其路径。这对于繁忙环境中的安全性和效率至关重要。

人机交互

通过学习预测人类行动，V-JEPA 2 可以改善人机协作。机器人可以在共享空间中更自然、更安全地响应，例如医院、家庭或工业楼层。虽然仍在进行中，但这项能力代表了迈向社会意识机器人的一个步骤，使其能够适应周围环境。

泛化和零次规划

V-JEPA 2 可以在任务和环境中泛化。机器人可以在新情况下利用学习到的表示，而无需额外的训练。这项零次规划使机器人能够快速适应新任务，从而减少了对新数据或重新训练的需求。

实时决策和效率

由于其高效的设计，V-JEPA 2 支持实时规划和控制。Meta 报告称，V-JEPA 2 在某些基准测试中比 Nvidia (NVDA ) 的 Cosmos 模型快 30 倍。这对于需要快速决策的任务（如机器人操作或动态环境中的导航）至关重要。

实际挑战和局限性

虽然 V-JEPA 2 在自监督学习和机器人规划方面取得了显著进展，但在广泛部署之前仍存在需要解决的挑战。以下是主要的局限性：

仅依赖视觉数据

V-JEPA 2 仅在视频和图像数据上进行训练。这使其在视觉任务中有效，但限制了其执行多感官任务的能力，例如触觉操作或使用听觉提示。现实世界中的机器人依赖于多个感官输入。

对相机位置和校准的敏感性

该模型依赖于单目 RGB 输入，这可能会在机器人基座或参考框架不可见时降低性能。可能需要手动调整相机设置以确保一致的性能。

长期和多步骤规划的局限性

V-JEPA 2 在短期任务中表现良好，但在长期规划中却存在困难。预测中的错误积累和动作空间的扩展使得复杂的多步骤操作变得困难。

高计算需求

虽然比 Nvidia 的 Cosmos 模型快，但 V-JEPA 2 却有超过 12 亿个参数。这需要大量的计算资源，这可能会对具有有限基础设施的小型实验室或组织构成挑战。

在非结构化环境中的泛化

V-JEPA 2 在受控环境中表现良好，但可能在陌生或非结构化环境中遇到问题。其在拾取和放置任务中的成功率约为 80%，但可能在边缘情况下失败。

与完整机器人堆栈集成

为了有用，V-JEPA 2 必须与电机控制器、实时传感器和任务规划器集成。实现动态环境中的平滑互操作性仍然是一个挑战。

伦理和偏见考虑

与所有大型模型一样，V-JEPA 2 可能会从其训练数据中继承偏见。在现实世界应用中，特别是涉及人机交互时，这些偏见可能会导致意外的结果。伦理监督至关重要。

结论

V-JEPA 2 代表了 AI 和机器人领域的重大进步。它使机器人能够像人类一样理解和与物理世界交互。虽然该模型在预测行动、理解世界和无需先前训练进行规划方面表现出色，但它仍面临几个挑战。

V-JEPA 2 依赖于视觉数据，并且在多感官任务、长期规划和与完整机器人系统集成方面存在一些局限性。然而，其实时决策和适应新环境的能力使其非常适合复杂的现实世界情况。

Meta 正在继续改进 V-JEPA 2，这将有助于推进 AI 并使机器人变得更智能。这种进展将对医疗保健、物流和自动驾驶车辆等行业具有价值。V-JEPA 2 具有巨大的潜力，并将在机器人领域的未来发挥至关重要的作用。