NVIDIA, 사람의 영상으로 학습하는 로봇을 위한 GR00T 2 공개

NVIDIA는 GR00T 2를 공개했다. 2026년 11월 9일 오스틴에서 열린 로봇 학습 학회(CoRL)에서 NVIDIA는 사람의 영상으로 일부 학습한 모델이 대상 로봇의 학습 데이터에 없던 50개 작업에서 제로샷 성공률 40%를 기록했다고 밝혔다.

GR00T 2는 Cosmos-Predict2.5-2B를 기반으로 구축된 20억 개 매개변수의 트랜스포머를 사용한다. 최근 카메라 영상, 로봇 상태, 텍스트 지시를 결합해 예상되는 미래 영상과 다음 동작 시퀀스를 생성한다. 사전 학습된 체크포인트 하나로 평행 그리퍼가 달린 로봇 팔, 정교한 손동작이 가능한 손, 휴머노이드 로봇을 모두 지원한다. NVIDIA는 이 모델을 개방형으로 소개했지만, 연구 페이지에 따르면 코드는 12월에 제공될 예정이다.

사전 학습에는 1인칭 시점의 사람 영상 402,730시간, 2,897개 작업에 걸쳐 핸드헬드 그리퍼로 수행한 시연 10,184시간, 로봇 원격 조작 데이터 23,500시간이 사용됐다. Human-1M-100K 데이터 공개를 통해 이 가운데 사람 데이터 100,000시간을 공개하며, 여기에는 영상, 언어 주석, 머리와 손의 움직임 데이터가 포함된다. 상업적·비상업적 이용을 허용하는 CC BY 4.0 라이선스가 적용된다.

서로 다른 신체 구조를 대상으로 한 테스트를 통해 기술이 로봇 간에 어떻게 전이되고 제한된 로봇 데이터에 맞춰 어떻게 조정되는지 확인했다. NVIDIA에 따르면, 작업별 원격 조작 없이 사람의 시연만으로 학습한 필터 페이퍼 설치 작업의 성공률은 65%였으며, 장난감 덤프트럭 조립 작업의 성공률은 60%였다. 후자의 기술은 핸드헬드 그리퍼에서 YAM 로봇 팔로 전이됐다. Dexter 평가에서 GR00T 2는 40개 작업 각각에서 최소 한 차례의 시행을 완료했다. 작업당 시연이 1회일 때 평균 성공률은 71%, 5회일 때는 95%에 달했다. 시연 5회에 작업당 로봇 데이터가 3분 미만으로 제공되며, 이후 RTX 5090 한 대에서 어댑터를 약 30분간 미세 조정한다.

기술 백서는 시연 5회 조건의 결과에 단서를 단다. 평가 작업은 모델이 에피소드 5회 이내에 성공률 80% 이상으로 학습할 수 있는 작업 중에서 선정됐으므로, 평균이 높은 데에는 선정 방식 자체도 일부 영향을 미쳤다.

시뮬레이션 학습, 정밀 작업으로 확장

시뮬레이션 기반은 Isaac Lab 3.0이며, 2026년 10월 20일부터 정식 제공되고 있다. 물리, 렌더링, 시각화 백엔드 전반에서 하나의 작업 API를 제공한다. Newton은 강체, 변형체, 입자를 지원하며, 전체 Isaac Sim을 설치하지 않고도 실행할 수 있는 워크플로가 많다. 시각 기반 정교한 조작 벤치마크에서 NVIDIA는 Isaac Lab 3.0을 Newton과 함께 실행할 경우 Isaac Lab 2.3을 PhysX와 함께 사용했을 때보다 학습 처리량이 최대 2.5배 높다고 밝혔다.

AlphaNIST는 대규모 시뮬레이션 연습을 NIST 조립 작업 보드의 20개 작업에 적용하며, 여기에는 크기가 4밀리미터에 불과한 부품을 다루는 작업도 포함된다. 하나의 공유 정책을 예·아니요 방식의 성공 보상만으로 학습한다. NVIDIA에 따르면 이 정책의 학습 성공률은 98.2%로, 작업별 개별 정책의 81.4%보다 높았으며 GPU 시간은 약 39배 적게 들었다. 이 수치는 시뮬레이션 학습 결과다.

AlphaNIST의 기반이 되는 Success-Guided Sampling은 University of Washington과 NVIDIA가 개발했다. 이 기법은 정책의 성능 한계에 가까운 조건, 특히 정책이 약 절반의 확률로 해결하는 조건을 중심으로 연습을 진행한다. 연구진은 이 방법이 시뮬레이션 환경 100만 개 이상으로 효과적으로 확장되며, RGB 기반 조립 정책을 실제 UR5e 하드웨어로 제로샷 전이할 수 있다고 보고했다.

산업 현장의 변수를 다루는 벤치마크

Isaac Lab-Arena는 평가 계층을 제공한다. 이 오픈 소스 프레임워크는 모듈형 구성 요소를 조합해 반복 가능한 평가를 구축하고, GPU 가속 시뮬레이션 환경에서 실행한다. 실패 분석을 통해 어떤 조건에서 추가 학습이 필요한지도 확인할 수 있다. NVIDIA는 개발자 프리뷰 버전 0.4가 CoRL에서 공개될 예정이라고 밝혔다.

NVIDIA와 RLWRLD가 개발한 DexBench v1.0에는 소매, 물류, 조립 라인, 호텔 식음료 환경을 아우르는 15개 작업이 포함된다. UC Berkeley와 NVIDIA가 개발한 VABAR는 도구 분류와 걸기, 기어 맞물리기, 주사기 포장, 케이블 삽입 및 배선 작업을 다루며, 33개 기술 라이브러리를 기반으로 한다. VABAR 프로젝트 페이지에 따르면 현재 두 단계의 난이도는 검증 세트를 구성하며, 더 어려운 테스트 세트는 아직 공개되지 않았다.

에이전트가 복구 기능과 새로운 제약 조건을 추가

UC Berkeley의 Graph-as-Policy 프레임워크는 여러 에이전트를 활용해 로봇 기술을 설명 가능한 방향성 그래프로 구성하고, 시뮬레이션에서 이를 리허설한 뒤 실패가 발생하면 구조와 매개변수를 수정한다. 프로젝트 측은 리허설을 10회 반복한 결과 Make Popcorn 작업의 성공률이 초기 33%에서 시뮬레이션에서는 94%, 실제 로봇에서는 90%(20회 중 18회)로 올랐다고 보고했다. 현재 벤치마크는 준정적 조작을 중점적으로 다루며, 변형체, 동역학, 움직이는 목표물은 향후 과제로 남아 있다.

GR00T 2는 추론 에이전트를 사용해 기술의 순서를 정하고 진행 상황을 살피며, 부품이 떨어지거나 작업이 멈추면 복구 절차를 실행한다. 모델은 접촉이 많은 조작을 담당한다. 수정 데이터를 에이전트와 함께 사용한 경우, NVIDIA는 장난감 비행기 조립에서 100회 중 98회, 장난감 트랙터 조립에서 97회, Hot Wheels 조립에서 97회 성공했다고 밝혔다. 각 장난감은 부품을 무작위로 쏟아 놓은 상태에서 시작했다. 지도 미세 조정만 사용했을 때 성공 횟수는 각각 69회, 51회, 23회였다.

백서는 장기 작업을 대상으로 한 사후 학습 벤치마크에서 평균 성공률이 약 70%였다고 별도로 보고한다. 에이전트가 시각 정보를 바탕으로 안내하는 쓰레기 분류 작업에서 로봇은 에피소드 시간의 중앙값 기준 38% 동안 에이전트를 기다렸다. 이는 에이전트 감독에 따른 지연 비용을 보여준다.

NVIDIA는 Nexuni가 세탁물 처리에 GR00T 2를 시험하고 있으며, Foxconn은 서버 제조 자동화에 이를 적용하고, Siemens는 산업 분야의 활용 사례를 평가하고 있다고 밝혔습니다. 공개된 작업은 시험과 평가 단계이며, 생산 현장 도입이 발표된 것은 아닙니다.

백서는 사전 학습이 폭넓은 역량을, 교정 시연과 강화 학습이 정밀성을, 에이전트가 기억·검증·복구를 담당하면서 신뢰성을 뒷받침한다고 결론짓습니다. 따라서 산업 현장 사용자에게 유용한 척도는 GR00T 2를 둘러싼 전체 작업 흐름과 각 작업에 필요한 감독의 양입니다. 배포 과정에서 해결해야 할 과제는 NVIDIA 자체 결과에 기록된 작업별 적응 시간과 에이전트 대기 시간을 줄이면서 보고된 신뢰성을 유지하는 것입니다.