机器人与物理 AI
NVIDIA 的 Isaac ROS 5.0 添加了代理技能和 ROS Lyrical 支持

NVIDIA 于 2026 年 9 月 22 日在多伦多的 ROSCon 大会上发布了 Isaac ROS 5.0,这是一套基于 ROS 开放框架构建的 GPU 加速软件包,新增了代理式开发工作流、对 ROS Lyrical 平台和 Ubuntu 24.04 的支持以及全新的感知功能。
ROS 是 Open Robotics 的一个项目,为现代机器人开发提供开源基础,向开发者提供通用的工具、库和标准,以构建和连接机器人应用。NVIDIA 表示 Isaac ROS 将其加速计算、物理 AI 模型和面向生产的库带给了近 130 万 ROS 用户。
Isaac ROS 5.0 引入了对 ROS Lyrical 和 Ubuntu 24.04 的支持,为开发者提供采用最新 ROS 平台的路径,同时继续利用 NVIDIA 计算加速高负载的机器人工作负载。该版本现已发布,免费且开源,文档和入门材料位于 GitHub 上。
代理技能与感知模型
此次发布引入了用于设置和操作的新 NVIDIA Isaac 技能,NVIDIA 将其描述为开发者和 AI 代理可重复使用的工作流,用于完成机器人开发任务。NVIDIA 表示,面向代理的文档也使 AI 代理更容易理解 Isaac ROS 工具和工作流,从而更快地将开发者意图转化为可运行的应用。
在这些新技能中,NVIDIA 表示 FoundationStereo 微调技能使 AI 代理能够帮助将立体感知模型适配到开发者的摄像头、环境和机器人应用,从而在特定传感器配置下实现更精确的感知。FoundationPose 是 NVIDIA 用于对象姿态估计和跟踪的基础模型,现提供面向代理的推理库,据 NVIDIA 称,可使机器人对对象的位置和方向的感知与跟踪速度提升至 5.5 倍。
抓取放置作为一种常见工作流,连接检测、深度估计和姿态输出,现在已作为独立的、面向代理的技能提供,机器人开发者可在 Isaac ROS 之外使用。
ROS Lyrical 中的供应商中立内存传输
NVIDIA 与 Open Source Robotics Alliance 合作,为 ROS Lyrical 贡献了标准数据处理接口,NVIDIA 表示该接口有助于机器人软件在包括 GPU 在内的不同计算硬件上高效运行。该接口向整个 ROS 社区开放,为开发者提供了一致的方式来加速高负载的机器人应用,CUDA 则提供了 GPU 加速的示例。
该联盟将所贡献的特性 rosidl::buffer 描述为 ROS Lyrical Luth(最新的 ROS 长期支持发行版)中的关键特性之一,该版本于 2026 年 5 月 23 日发布。该特性由 NVIDIA 发起并贡献,能够在 CPU 内存、GPU 内存或供应商提供的任何其他内存域之间实现加速传输,使用统一的结构来表示和传输外部管理的内存,免除为每个加速器或库创建新消息类型的需求。
根据该联盟的说法,该设计保留了标准的 ROS 消息、发布者、订阅者、节点边界和 ROS 中间件,并且中间件实现可以将 buffer 后端作为插件加载。供应商可以创建 buffer 库,为开发者提供安全的、面向用户的硬件内存访问,而转换包则可以将 ROS 消息适配到诸如 PyTorch 或 CV-CUDA 等框架。联盟指出,零拷贝传输作为后端依赖的路径提供,而非通用保证,具体取决于对等兼容性、位置、传输方式和内存能力等因素。
在 2026 年 9 月 20 日发布于 Open Source Robotics Alliance 网站的帖子中,ROS 项目负责人 Michael J. Carroll 表示:“NVIDIA 在实现 buffer 工作的方式上确实堪称典范。他们并未把工作推给我们,而是发起了大量社区合作与意见征集。”
生态系统集成与机器人上部署
NVIDIA 的发布描述了一个已经在扩展该代理式方法的机器人生态系统。AgenticROS 是由 3D 感知技术公司 RealSense 赞助的开源项目,它将 Isaac ROS 与 NVIDIA Nemotron 开放模型和 NemoClaw 蓝图连接起来,使 AI 代理能够与基于 ROS 的机器人交互。RealSense 还在优化其 AI 原生的 3D 立体深度摄像头,包括 RealSense D585 Pro,并提供针对 Isaac ROS 和 Jetson Thor 边缘 AI 平台的开源软件开发套件。
Intrinsic 的 Open Machine Tending Solution 作为面向数控机床的参考应用,且是新发布的开源 Intrinsic Core 套件的一部分,内置了对 FoundationPose 的兼容性,可直接实现对象注册、跟踪和姿态估计。Magna 正在使用 Isaac ROS 作为机器人感知、同步数据采集以及 Isaac GR00T 模型部署的模块化 GPU 加速基础,并配合 Isaac Sim 硬件在环测试。Seeed Studio 正将 Isaac ROS 与其 reBot Arm 结合,在 Jetson Thor 上运行加速的感知、空间理解和运动规划。
Ekumen,Grid Dynamics 旗下公司,正在现有的 ROS 和 Nav2 堆栈中使用 GPU 加速的 Isaac ROS 包,以提升精确对接、3D 障碍物检测、视觉定位和实时运动规划。该文章报告称 Ekumen 使用 isaac_ros_cumotion 在 GPU 上为仓库机械臂绘制无碰撞路径,耗时约 2 到 5 毫秒。Flexiv 正在将 Isaac ROS 与其 Rizon 4 自适应机器人集成,路径从在 Isaac Sim 中的测试应用到在实体机器人上部署。
Foxglove,Isaac ROS 合作伙伴,集成了用于可视化和调试实时 ROS 应用的网页和桌面工具,贯穿 Isaac ROS 教程。Prefix.dev 的 Pixi 包管理工具创建可复现的机器人开发环境,将 ROS 与 CUDA 平台结合。Ouster 将 Stereolabs ZED 立体摄像头与 Isaac ROS 集成,提供 GPU 加速的感知,实现实时目标检测、建图和导航。
Isaac ROS 5.0 支持可扩展计算,覆盖从入门级 Jetson Orin Nano 到高性能 Jetson Thor 设备。NVIDIA 将 Jetson 描述为用于在边缘运行物理 AI 堆栈的可扩展计算平台,并表示机器人公司已经在使用 Isaac ROS 与 Jetson 的组合,将更多 AI 处理直接带到其机器上。
Mentee Robotics 将 Isaac ROS 用作其 MenteeBot 人形机器人的感知和 AI 骨干,在 Jetson Orin 和 Jetson Thor 平台上共享软件基础。Universal Robots 已将 Isaac ROS 集成到其 AI Accelerator 软件开发套件中,由 Jetson 在边缘提供动力,帮助集成商在无需从头开发复杂机器人软件的情况下部署先进的感知和运动能力。
ROBOTIS,ROS 基于的 TurtleBot3 的制造商,正将 Isaac ROS 集成到其 AI Worker 机器人中,使用 GPU 加速的对象感知来执行包括抓取、放置和对齐在内的视觉引导操作任务。FieldAI 正在 Jetson 设备上集成 Isaac ROS 用于其机器人基础模型,这些模型可以完全在机器人上运行,无需依赖云连接。Noble Machines 正在 Jetson 上使用 Isaac ROS 加速通用工业机器人开发。
开源机器人联盟邀请开发者构建兼容的缓冲区后端和转换包,在开源许可证下共享,并加入每隔一周会议一次的加速内存传输工作组。












