NVIDIA 推出 GR00T 2，让机器人通过人类视频学习

NVIDIA 于 2026 年 11 月 9 日推出 GR00T 2，发布地点是奥斯汀举行的机器人学习大会（CoRL）。NVIDIA 报告称，这款部分通过人类视频训练的模型，在目标机器人的训练数据中未出现的 50 项任务上，实现了 40% 的零样本成功率。

GR00T 2采用一个基于 Cosmos-Predict2.5-2B 构建、拥有 20 亿个参数的 Transformer。它结合近期的相机视图、机器人状态和书面指令，生成预期的未来视图和下一步动作序列。一个预训练检查点即可支持平行夹爪机械臂、灵巧手和人形机器人。尽管 NVIDIA 将该模型介绍为开放模型，但其研究页面称，代码将于 12 月开放。

预训练数据包括 402,730 小时的第一视角人类视频、10,184 小时涵盖 2,897 项任务的手持夹爪演示，以及 23,500 小时的机器人遥操作数据。Human-1M-100K 数据集开放其中 100,000 小时的人类数据，包括视频、语言标注以及头部和手部运动数据，并采用 CC BY 4.0 许可，允许商业和非商业用途。

跨机器人形态测试展示了技能如何在不同机体之间迁移，以及如何利用有限的机器人数据进行适配。NVIDIA 报告称，通过人类演示学会的滤纸布置任务，在没有针对该任务进行遥操作的情况下，成功率达到 65%；从手持夹爪迁移到 YAM 机械臂的玩具自卸卡车组装任务，成功率达到 60%。在 Dexter 评测中，GR00T 2 在 40 项任务上至少各完成了一次试验。每项任务提供一次演示时，平均成功率达到 71%；提供五次演示时，平均成功率达到 95%。这五次演示为每项任务提供的机器人数据不到三分钟，随后在一台 RTX 5090 上进行约 30 分钟的适配器微调。

技术白皮书对五次演示的结果作了限定：受评任务是从模型能够通过五轮训练、以至少 80% 的成功率学会的任务中选出的，因此，这一平均值在一定程度上是由任务选择方式决定的。

仿真训练迈向精准操作

仿真基础平台是 Isaac Lab 3.0，自 2026 年 10 月 20 日起已全面开放。它通过统一的任务 API 支持物理、渲染和可视化后端；Newton 支持刚体、可变形物体和粒子，而且许多工作流程无需安装完整的 Isaac Sim 即可运行。在一项基于视觉的灵巧操作基准测试中，NVIDIA 报告称，Isaac Lab 3.0 使用 Newton 时的训练吞吐量最高可达 Isaac Lab 2.3 使用 PhysX 时的 2.5 倍。

AlphaNIST将大规模仿真实践用于 NIST Assembly Task Board 的 20 项任务，其中包括尺寸小至 4 毫米的零件。一个共享策略仅通过是或否的成功奖励进行训练。NVIDIA 报告称，该策略的训练成功率为 98.2%，而针对每项任务分别训练的策略为 81.4%；前者使用的 GPU 时间约少 39 倍。这些结果来自仿真训练。

AlphaNIST 背后的方法是由华盛顿大学和 NVIDIA 开发的 成功引导采样。该方法将练习重点放在接近策略能力边界的配置上，尤其是策略大约有一半概率能够解决的配置。该方法的作者报告称，这种方法可有效扩展至超过 100 万个仿真环境，并能将基于 RGB 图像的装配策略零样本迁移至真实的 UR5e 机械臂。

基准测试应对工业场景变化

Isaac Lab-Arena提供评测层。这个开源框架通过模块化组件构建可重复的评测，并在 GPU 加速的仿真环境中运行；故障分析还能指出哪些条件需要再次训练。NVIDIA 表示，其 0.4 版开发者预览版即将在 CoRL 发布。

DexBench v1.0由 RLWRLD 与 NVIDIA 开发，包含零售、物流、装配线以及酒店餐饮场景中的 15 项任务。来自加州大学伯克利分校和 NVIDIA 的 VABAR涵盖工具分类与悬挂、齿轮啮合、注射器包装，以及电缆插入和布线，并配有一个包含 33 项技能的库。VABAR 项目页面称，目前的两个难度等级构成验证集，更难的测试集仍在开发中。

智能体增强故障恢复并引入新约束

加州大学伯克利分校的 Graph-as-Policy框架使用多个智能体组合出可解释的机器人技能有向图，在仿真中演练，并在失败后调整图的结构和参数。该项目报告称，经过十轮演练，其 Make Popcorn 任务的表现从最初的 33% 提升至仿真中的 94%，并在真实机器人上达到 90%，即 20 次运行中成功 18 次。目前的基准测试侧重于准静态操作；可变形物体、动力学和移动目标仍属于未来工作。

GR00T 2 使用推理智能体安排技能顺序、监控进度，并在零件掉落或工作停滞时调用恢复程序，而模型则负责接触丰富的操作任务。NVIDIA 报告称，在使用纠正数据和该智能体的情况下，机器人在每种玩具各进行 100 次试验、且每次均从随机倾倒的零件开始时，成功组装了 98 架玩具飞机、97 辆玩具拖拉机和 97 辆 Hot Wheels 汽车。仅进行监督微调时，相应数量分别为 69、51 和 23。

白皮书还单独报告称，在其长时程后训练基准测试中，平均成功率约为 70%。在通过视觉引导进行垃圾分类的任务中，机器人在一个回合中等待智能体的时间中位数占 38%，这揭示了智能体监督带来的延迟成本。

NVIDIA表示，Nexuni正在测试GR00T 2在洗衣处理任务中的应用，Foxconn正将其用于服务器制造自动化，Siemens则在评估工业应用场景。目前披露的工作仅处于测试和评估阶段，尚未宣布投入生产。

白皮书总结指出，可靠性分别依赖于预训练所提供的广度、纠正性示范和强化学习所带来的精确性，以及智能体所具备的记忆、验证和恢复能力。因此，对工业用户而言，有参考价值的衡量标准是围绕GR00T 2的完整工作流程，以及每项任务所需的监督。部署仍面临一项挑战：在保持已报告可靠性的同时，减少NVIDIA自身结果中记录的每项任务适配时间和智能体等待时间。