NVIDIA의 Isaac ROS 5.0, 에이전트형 스킬 및 ROS Lyrical 지원 추가

NVIDIA는 2026년 9월 22일 토론토에서 열린 ROSCon 컨퍼런스에서 ROS 오픈 프레임워크 기반의 GPU 가속 패키지 모음인 Isaac ROS 5.0을 출시하며, 에이전트형 개발 워크플로, ROS Lyrical 플랫폼 및 Ubuntu 24.04 지원, 그리고 새로운 인식 기능을 추가했습니다.

ROS는 Open Robotics에서 진행하는 프로젝트로, 현대 로봇 개발의 대부분을 위한 오픈 소스 기반을 제공하며, 개발자들에게 로봇 애플리케이션을 구축하고 연결하기 위한 공통 도구, 라이브러리 및 표준을 제공합니다. NVIDIA는 Isaac ROS가 가속 컴퓨팅, 물리 기반 AI 모델 및 프로덕션 준비된 라이브러리를 약 130만 명의 ROS 사용자에게 제공한다고 밝혔습니다.

Isaac ROS 5.0은 ROS Lyrical 및 Ubuntu 24.04 지원을 도입하여, 개발자들이 최신 ROS 플랫폼을 채택하면서도 NVIDIA 컴퓨팅으로 요구가 높은 로봇 워크로드를 지속적으로 가속화할 수 있는 경로를 제공합니다. 이번 릴리스는 현재 무료 및 오픈 소스로 제공되며, GitHub에 문서와 시작 가이드 자료가 마련되어 있습니다.

에이전트형 스킬 및 인식 모델

이번 릴리스는 설정 및 조작을 위한 새로운 NVIDIA Isaac 스킬을 도입했으며, NVIDIA는 이를 개발자와 AI 에이전트가 로봇 개발 작업을 수행할 수 있는 재사용 가능한 워크플로라고 설명했습니다. NVIDIA는 에이전트용 문서가 AI 에이전트가 Isaac ROS 도구와 워크플로를 이해하기 쉽게 만들어, 개발자의 의도를 보다 빠르게 실제 애플리케이션으로 전환할 수 있다고 밝혔습니다.

새로운 스킬 중 NVIDIA는 FoundationStereo 미세조정 스킬이 AI 에이전트가 개발자의 카메라, 환경 및 로봇 애플리케이션에 스테레오 인식 모델을 맞춤화하도록 도와주어, 주어진 센서 구성에 대해 보다 정확한 인식을 달성할 수 있게 한다고 밝혔습니다. NVIDIA의 객체 자세 추정 및 트래킹을 위한 기반 모델인 FoundationPose는 이제 에이전트용 추론 라이브러리를 제공하며, NVIDIA에 따르면 로봇이 객체의 위치와 자세를 최대 5.5배 빠르게 인식하고 추적할 수 있게 합니다.

감지, 깊이 추정 및 자세 출력을 연결하는 일반적인 워크플로인 픽 앤 플레이스가 이제 독립형 에이전트용 스킬로 제공되어, 로봇 개발자들이 Isaac ROS를 넘어 활용할 수 있게 되었습니다.

ROS Lyrical에서 벤더 중립 메모리 전송

NVIDIA는 Open Source Robotics Alliance와 협력하여 ROS Lyrical에 표준 데이터 처리 인터페이스를 기여했으며, NVIDIA는 이 인터페이스가 GPU를 포함한 다양한 컴퓨팅 하드웨어에서 로봇 소프트웨어가 효율적으로 작동하도록 돕는다고 밝혔습니다. ROS 커뮤니티 전체에 제공되는 이 인터페이스는 개발자들에게 요구가 높은 로봇 애플리케이션을 가속화할 일관된 방법을 제공하며, CUDA가 GPU 가속의 실용적인 예시를 제시합니다.

이 연합은 기여된 기능인 rosidl::buffer를 ROS Lyrical Luth의 핵심 기능 중 하나로 설명합니다. ROS Lyrical Luth는 2026년 5월 23일에 출시된 최신 ROS 장기 지원 릴리스입니다. NVIDIA가 시작하고 기여한 이 기능은 CPU 메모리, GPU 메모리 또는 벤더가 제공하는 기타 메모리 도메인 간의 가속 전송을 가능하게 하며, 외부에서 관리되는 메모리를 표현하고 전송하기 위한 공통 구성을 사용해 각 가속기나 라이브러리마다 새로운 메시지 유형을 만들 필요를 없앱니다.

연합에 따르면, 이 설계는 표준 ROS 메시지, 퍼블리셔, 서브스크라이버, 노드 경계 및 ROS 미들웨어를 그대로 유지하며, 미들웨어 구현은 버퍼 백엔드를 플러그인으로 로드할 수 있습니다. 벤더는 개발자에게 하드웨어 메모리 유형에 대한 안전하고 사용자 친화적인 접근을 제공하는 버퍼 라이브러리를 만들 수 있으며, 변환 패키지는 ROS 메시지를 PyTorch나 CV-CUDA와 같은 프레임워크에 맞게 변환할 수 있습니다. 연합은 제로 카피 전송이 백엔드에 따라 달라지는 경로로 제공되며, 피어 호환성, 로컬리티, 전송 및 메모리 능력 등 변수에 따라 달라진다고 언급했습니다.

2026년 9월 20일 Open Source Robotics Alliance 웹사이트에 게시된 글에서 ROS 프로젝트 리더 Michael J. Carroll은 다음과 같이 말했습니다: “NVIDIA는 버퍼 작업을 구현하는 방식에서 정말 모범적인 사례였습니다. 그들은 단순히 우리에게 떠넘기지 않고, 많은 커뮤니티 협업과 의견을 주도했습니다.”

생태계 통합 및 로봇 내 배포

NVIDIA의 릴리스는 이미 이 에이전트형 접근 방식을 확장하고 있는 로봇 생태계를 설명합니다. 3D 인식 기술 기업 RealSense가 후원하는 오픈 소스 프로젝트인 AgenticROS는 Isaac ROS를 NVIDIA Nemotron 오픈 모델 및 NemoClaw 청사진과 연결하여 AI 에이전트가 ROS 기반 로봇과 상호 작용할 수 있게 합니다. RealSense는 RealSense D585 Pro를 포함한 AI 네이티브 3D 스테레오 깊이 카메라를 최적화하고 있으며, Isaac ROS와 Jetson Thor 엣지 AI 플랫폼을 위한 오픈 소스 소프트웨어 개발 키트도 제공하고 있습니다.

Intrinsic의 Open Machine Tending Solution은 컴퓨터 수치 제어(CNC) 머신 텐딩을 위한 레퍼런스 애플리케이션이며, 새롭게 출시된 오픈 소스 Intrinsic Core 제품군의 일부로, FoundationPose와의 내장 호환성을 제공해 즉시 객체 등록, 트래킹 및 자세 추정을 지원합니다. Magna는 Isaac ROS를 모듈형 GPU 가속 기반 로봇 인식, 동기화된 데이터 수집 및 Isaac GR00T 모델 배포를 위한 기반으로 활용하고 있으며, Isaac Sim 하드웨어‑인‑더‑루프 테스트와 결합하고 있습니다. Seeed Studio는 Isaac ROS를 reBot Arm과 결합해 Jetson Thor에서 가속된 인식, 공간 이해 및 모션 플래닝을 수행하고 있습니다.

Ekumen(그리드 다이내믹스의 자회사)은 기존 ROS 및 Nav2 스택 내에서 GPU 가속 Isaac ROS 패키지를 활용해 정밀 도킹, 3D 장애물 감지, 시각적 위치추정 및 실시간 동작 계획을 개선하고 있습니다. 이 게시물은 Ekumen이 isaac_ros_cumotion GPU를 사용해 창고 팔의 충돌 없는 경로를 약 2~5밀리초 안에 매핑하고 있다고 보고합니다. Flexiv는 Isaac ROS를 자사의 Rizon 4 적응형 로봇에 통합하고 있으며, Isaac Sim에서 테스트 애플리케이션을 실행한 뒤 물리적 로봇에 배포하는 과정을 진행하고 있습니다.

Isaac ROS 파트너인 Foxglove는 웹 및 데스크톱 도구를 통합해 Isaac ROS 튜토리얼 전반에 걸쳐 실시간 ROS 애플리케이션을 시각화하고 디버깅합니다. Prefix.dev의 Pixi 패키지 관리 도구는 재현 가능한 로봇 개발 환경을 구축하여 ROS와 CUDA 플랫폼을 결합합니다. Ouster는 Stereolabs ZED 스테레오 카메라를 Isaac ROS와 통합해 실시간 객체 감지, 매핑 및 내비게이션을 위한 GPU 가속 인식을 제공합니다.

Isaac ROS 5.0은 엔트리 레벨 Jetson Orin Nano부터 고성능 Jetson Thor 장치까지 확장 가능한 컴퓨팅을 지원합니다. NVIDIA는 Jetson을 에지에서 물리 AI 스택을 실행하기 위한 확장 가능한 컴퓨팅 플랫폼으로 설명했으며, 로봇 기업들이 이미 Isaac ROS와 Jetson의 조합을 활용해 AI 처리를 기계에 직접 탑재하고 있다고 밝혔습니다.

Mentee Robotics는 Isaac ROS를 MenteeBot 휴머노이드의 인식 및 AI 백본으로 사용하며, Jetson Orin 및 Jetson Thor 플랫폼 전반에 걸쳐 공유 소프트웨어 기반을 구축했습니다. Universal Robots는 Jetson 기반 에지에서 구동되는 AI Accelerator 소프트웨어 개발 키트에 Isaac ROS를 통합해, 통합자가 복잡한 로봇 소프트웨어를 처음부터 개발하지 않고도 고급 인식 및 동작 기능을 배포할 수 있도록 지원합니다.

ROS 기반 TurtleBot3를 제작하는 ROBOTIS는 AI Worker 로봇에 Isaac ROS를 통합해 GPU 가속 객체 인식을 활용한 시각 기반 조작 작업(픽업, 배치, 정렬 등)을 수행합니다. FieldAI는 Jetson 장치에 Isaac ROS를 통합해 로봇 전용 기반 모델을 제공하며, 이 모델은 클라우드 연결 없이 로봇에서 완전히 실행될 수 있습니다. Noble Machines는 산업용 애플리케이션을 위한 범용 로봇 개발을 가속화하기 위해 Jetson에서 Isaac ROS를 사용하고 있습니다.

오픈 소스 로보틱스 얼라이언스는 개발자들이 호환 가능한 버퍼 백엔드와 변환 패키지를 구축하고, 이를 오픈 소스 라이선스 하에 공유하며, 격주로 열리는 가속 메모리 전송 작업 그룹에 참여하도록 초대합니다.