Ai2, 로봇의 학습과 실패 방식을 시험하는 ToyBlocks 공개

Ai2는 2026년 11월 6일, FoundationWorlds 프레임워크의 첫 번째 환경으로 ToyBlocks를 공개했다. 이 환경은 개방형 로봇 시뮬레이션에 생성된 시연 데이터, 학습된 모델 2개, 평가 도구를 결합한다. 이 프레임워크는 로봇 학습 실험을 반복 가능하게 하고 실패 원인을 더 쉽게 추적할 수 있도록 설계됐다.

이 환경에서는 시뮬레이션된 로봇 팔과 글자가 표시된 블록을 탁자 위에 배치한다. 밀기, 뒤집기, 쌓기뿐 아니라 탐색, 분류, 배열 작업도 수행한다. 블록에 필요한 글자나 그림이 가려져 있을 수 있어 로봇은 블록을 어디에 놓을지 결정하기 전에 먼저 돌려 봐야 한다. 장면마다 블록 크기와 탁자 높이 등 속성을 바꿔, 정책이 달라지는 기하 구조에 대응하는지 시험한다.

범위를 제한한 이 도메인에서는 Ai2가 네 가지 특성을 동시에 추구할 수 있다. 즉, 신뢰할 수 있는 물리 현상과 시각적 표현, 작업과 시연 데이터를 확장 가능한 방식으로 생성하는 기능, 추론과 손재주가 모두 필요한 문제, 그리고 해당 도메인에서 지원할 수 있는 작업 전반에 대한 포괄성이다.

자동 시연 데이터 생성과 공개 모델

강화 학습과 모션 플래닝을 활용해 Nvidia의 Isaac Lab에서 짧은 작업을 수행하는 기술을 만든다. 기술 생성에는 카메라 추정값 대신 블록의 정확한 위치와 방향 등 시뮬레이터의 특권 상태 정보를 사용할 수 있다. 이를 통해 실제 로봇을 원격 조작해야만 구현할 수 있었던 동작을 자동화한다. 이어서 작업·동작 플래너가 기술을 선택하고 순서를 정해 라벨이 지정된 시연 데이터를 생성한다. Ai2에 따르면 GPU 한 대에서 수백 개의 계획을 동시에 실행할 수 있으며, 속도는 실시간의 최대 24배에 달한다.

연구자는 생성된 학습 데이터 혼합에서 특정 기술의 비중을 높이고, 학습 과정에서 제외한 작업으로 정책을 평가할 수 있다. 따라서 데이터 생성기는 단순히 더 큰 데이터 세트를 만드는 수단이 아니라 실험을 통제하는 도구가 된다.

목표는 ToyBlocks 저장소에서 PDDL 계획 명세로 작성한다. 따라서 평가 시스템은 작업마다 별도의 지표를 마련하지 않아도 완료 여부와 중간 진행 상황을 점수화할 수 있다. 시연 데이터는 LeRobot 형식으로 저장한다. 계층형 정책은 두 수준 가운데 어느 한쪽을 올바른 계획이나 동작을 제공하는 오라클로 대체할 수 있어, 잘못된 결정과 모터 실행 오류를 구분한다. 실패 상태를 데이터 생성 과정으로 되돌려 새로운 시연 데이터와 복구 동작을 만들 수도 있다.

Ai2에 따르면 초기 공개 버전에는 장기간에 걸친 시연 데이터 85,336건이 포함된다. 각 시연은 데이터 세트에 따라 기술 시연 약 6~12건으로 구성되며, 로봇 실행 시간 약 1,600시간과 프레임 1억 4,400만 개를 포괄한다. 공개 데이터 세트는 ODC-BY 라이선스에 따라 Parquet 형식의 LeRobot 데이터를 제공하며, 난이도별로 쉬움, 중간, 어려움 하위 세트가 있다. 주요 코드는 Apache-2.0 라이선스가 적용되며, 지정된 하위 모듈과 다운로드한 에셋에는 각각 별도의 라이선스가 적용된다.

Ai2의 모델 카드에 따르면 공개된 정책은 두 수준으로 나뉜다. Molmo2-4B-tb는 약 45억 개의 매개변수를 갖춘 모델로, 전면 카메라 이미지와 텍스트로 된 목표를 입력받아 짧은 계획과 다음 동작, 목표 지점을 출력한다. ManiFlow-tb는 매개변수 3억 2,250만 개를 갖추고 있으며, 전면 카메라와 그리퍼 카메라의 이미지, 로봇 상태, 작업 정보, 목표 히트맵을 사용해 동작 묶음을 생성한다.

일반화와 에이전트 실험

공간 실험에서는 Stack, Unstack, Flip, Rotate 작업을 다루며, 학습 범위 내 보간과 그 범위를 벗어난 외삽을 구분한다. 예를 들어 한 작업 공간 영역에 놓인 블록으로 학습한 뒤 다른 영역에서 시험하거나, 특정 높이의 탑을 학습에서 제외한다. Ai2는 대규모 사전 학습에도 불구하고 ManiFlow, π0.5, MolmoAct 2의 초기 일반화 성능이 낮았다고 보고하며, 동작 모델의 일반화 문제는 아직 해결되지 않았다고 결론 내린다.

에이전트 실험에서는 또 다른 약점이 드러난다. Ai2에 따르면 Claude Opus 5.5 기반 시스템은 텍스트 설명만으로 고전적인 블록 쌓기 작업 30개를 모두 해결했고, 반복적으로 입력되는 카메라 이미지에 따라 폐루프 방식으로 동작을 선택하는 조건에서도 30개를 모두 해결했다. 블록이 최대 8개 있는 탐색·철자 맞추기 장면에서는 50%의 경우 필요한 글자가 없어 불가능한 상황임을 식별해야 했다. 에이전트는 63%의 경우 작업을 해결하거나 실행 불가능성을 정확히 파악했다. 비슷하게 생긴 글자를 혼동한 경우가 13%, 글자 방향을 잘못 판단한 경우가 15%였다.

세 번째 에이전트 실험에서는 시스템이 예상치 못한 기술 동작을 시험하고, 그 결과를 바탕으로 새로운 기술 설명을 작성하도록 했다. Ai2에 따르면 이렇게 학습한 설명을 사용하자 성공률이 기본 설명을 사용했을 때의 24%에서 63%로 높아졌다. 이는 인간 전문가가 작성한 설명을 사용했을 때의 36%보다 높은 수치다.

실제 로봇 시험과 한계

실제 환경에서 평가할 때는 ToyBlocks 시뮬레이션 데이터만으로 학습한 모델을 실세계 학습 예시 없이 Robotiq 그리퍼가 장착된 Franka FR3 로봇 팔에서 실행했다. 30개 장면 구성에는 학습 중에 본 블록이 4~10개씩 포함됐다. 관련 블록이 충돌 없이 목표 자세에 도달한 경우에만 에피소드를 성공으로 간주했다. 안전하지 않은 동작으로 작업자가 개입한 경우는 실패로 처리했다.

시뮬레이션과 실제 환경 간의 격차를 줄이기 위해 Ai2는 실제 궤적을 기준으로 시뮬레이션의 관절 마찰과 관성 계수를 조정했다. 데이터 생성 과정에서는 물체 크기와 마찰, 탁자 높이뿐 아니라 조명, 배경, 재질, 카메라 매개변수도 무작위로 바꿨다.

Ai2는 ManiFlow의 원자적 기술 성공률이 시뮬레이션에서 80.0%, 실제 로봇 팔에서 81.1%라고 보고했다. 계층형 Molmo 2–ManiFlow 시스템은 시뮬레이션 에피소드의 55.5%(200회 중 111회), 실제 환경 에피소드의 50.0%(30회 중 15회)에서 성공했다.

Ai2는 이 결과에 두 가지 단서를 덧붙였다. 실제 환경에서 계층형 시스템을 평가할 때는 블록 문자가 보이고 블록이 똑바로 세워진 가장 쉬운 시뮬레이션 구성을 사용했으며, 여러 작업에서 통계적 신뢰도를 확립하려면 추가 시험이 필요하다. ManiFlow 카드에는 동일한 시뮬레이션 에피소드 128회를 네 차례 실행했을 때 성공률이 54%에서 59% 사이로 기록돼 있다. 시뮬레이션과 배치 추론은 비트 단위로 동일한 결과를 보장하지 않기 때문이다.

Ai2는 더 큰 데이터 세트와 더 많은 기술, 폭넓은 벤치마킹을 포함하고 현재 패키지에는 없는 강화 학습 훈련을 완전히 통합한 두 번째 버전을 출시할 계획이다. 장기적으로는 양팔 조작, 힘과 촉각을 감지하는 손재주 있는 손, 정돈되지 않은 블록 더미와의 상호작용을 추진할 예정이다.

따라서 ToyBlocks의 당면한 기여는 실험을 통제할 수 있게 해준다는 점이다. 연구자들은 훈련 데이터의 구성을 바꾸고, 계획과 실행을 분리하며, 실패 사례를 데이터 생성 과정에 다시 반영할 수 있다. 초기 결과는 이 시스템의 한계도 보여준다. 시뮬레이션에서의 일반화 성능이 낮고 실제 환경 평가의 범위가 좁아, 이러한 초기 전이 성공률만으로 블록 세계를 넘어 로봇 학습에 관해 확립할 수 있는 바는 제한적이다.