AGIBOT, 로봇에 다음 행동을 가르칠 피지컬 추론 데이터셋 공개

로봇은 병을 완벽하게 집어 들고도 미니바 재고 보충에는 실패할 수 있다. 빈 병을 그대로 두거나, 교체용 병을 너무 많이 넣거나, 이미 끝낸 단계를 반복할 수도 있다. 빠진 능력은 다음 동작을 선택하기 전에 상황에 무엇이 필요한지 판단하는 것이다.

AGIBOT은 10월 22일 AGIBOT WORLD 2026의 릴리스 4로 발표한 피지컬 추론 데이터셋을 통해 이러한 격차를 해소하려 한다. 이 릴리스는 작업 목표, 변화하는 장면 조건, 실행 이력, 실제 로봇 동작을 연결한다. 핵심 아이디어는 같은 목표에 도달하는 서로 다른 경로를 수집해, 작업이 진행됨에 따라 로봇이 판단을 조정하도록 훈련하는 데 필요한 자료를 연구자에게 제공하는 것이다.

하나의 목표, 여러 가지 올바른 행동 순서

릴리스 4는 작업 설계의 초점을 어려운 동작에서 어려운 판단으로 옮긴다. 정해진 순서의 시연만 수집하는 대신, AGIBOT은 물체의 수량, 장애물, 사용 가능한 공간, 작업의 진행 상황을 다양하게 바꾼다. 이러한 변화로 인해 사용자의 요청은 그대로인데도 이전에는 올바른 행동이 더 이상 적절하지 않을 수 있다.

미니바 사례를 살펴보자. 꽉 찬 병 세 개를 목표로 하려면 어떤 병이 비어 있는지 식별하고, 이미 놓여 있는 꽉 찬 병의 수를 세며, 무엇을 치우고 보충할지 결정해야 한다. 제대로 잡는 것은 작업의 한 부분일 뿐이다. 로봇은 원하는 최종 상태를 표현하고 이를 현재 상태와 비교할 방법도 필요하다.

또 다른 시나리오에서는 상자 뒤에 있는 열쇠를 꺼내야 한다. 공간이 충분하면 바로 집어 들 수 있다. 상자가 접근을 막으면 먼저 상자를 옮겨야 한다. 서랍을 뒤지는 작업에는 기억 문제도 따른다. 카메라 이미지 만으로는 시스템이 어떤 서랍을 이미 확인했는지 알 수 없다.

이러한 사례는 피지컬 AI가 직면한 현실적인 과제를 드러낸다. 전문가의 눈에 보이는 동작을 모방하는 정책도 그 동작이 적절했던 맥락을 파악하지 못하면 잘못된 판단을 내릴 수 있다. 이 데이터셋은 공통 목표를 둘러싼 조건을 다양하게 바꿔, 이러한 의존 관계를 학습에 활용할 수 있도록 하는 것을 목표로 한다.

복잡성이 점차 높아지는 아홉 가지 추론 능력

AGIBOT은 아홉 가지 역량을 중심으로 이 릴리스를 구성한다. 속성별 물체 선택, 맥락에 따른 선택, 조작 가능성 평가, 행동의 선행 조건 추론, 목표 지향 탐색, 상태와 수량 추적, 긴 행동 순서 계획, 기억 유지, 하위 작업 순서 결정이다.

일상적인 작업에서는 이러한 능력이 서로 겹쳐 작용한다. 재고를 보충하려면 물체를 식별하고 수량을 세며 진행 상황을 추적해야 한다. 물건을 찾으려면 탐색 전략과 이전 시도에 대한 기록을 함께 활용해야 한다. 더 긴 정리 작업에서는 이런 판단을 여러 차례 연속해서 내려야 할 수 있으며, 각 행동은 다음 행동을 위한 조건을 바꾼다.

데이터셋은 작업을 쉬움, 보통, 어려움의 세 단계로 나눈다. 개별 선택 판단은 비교적 단순한 단계에 속하고, 수량 제약과 선행 조건은 복잡성을 더한다. 더 긴 작업에서는 여러 목표와 기억, 맥락 요건이 결합된다. 이러한 구조를 통해 연구자는 개별 능력을 먼저 살펴본 다음, 여러 능력이 함께 작동하는 정도를 시험할 수 있다.

물체 선택과 배치, 필요한 수량을 달성했는지 등 실행 결과에도 주석이 달려 있다. 이 릴리스에는 성공 사례와 오류 사례가 모두 포함되어 있어, 이탈을 인식하고 이후의 판단을 조정하는 연구를 뒷받침한다.

지시를 실제 동작과 연결하기

기술적 기여는 주석을 통해 작업의 여러 수준을 연결하는 방식에 있다. 상위 수준의 지시는 전체 목표를 제시한다. 작업 프레임, 하위 작업 구간, 행동 단계는 작업의 구조와 진행 상황을 설명한다. 연구자는 이러한 관계를 활용해 어떤 하위 목표가 현재 활성화되어 있는지, 다음에 무엇을 해야 하는지 살펴볼 수 있다.

동작 수준에서 AGIBOT의 Dense Prompt 주석은 대상 물체, 조작 영역, 양팔의 역할, 동작, 그리퍼 상태, 예상 결과를 구체적으로 지정한다. 경계 상자와 점, 궤적선은 언어를 위치 및 이동 경로와 연결한다. 이를 통해 학습 시스템은 지시가 무엇을 가리키며 실행이 어떻게 표현되는지 더 명확한 안내를 받을 수 있다.

회사는 목표물과 방해물을 구분하고 결과를 확인하기 위한 성공 및 적대적 구간도 설명한다. 여기서 적대적 사례는 작업 해석과 실행에 관한 것이다. 이러한 사례는 로봇이 올바른 물체를 선택했는지, 요청된 단계를 실제로 마쳤는지와 같은 질문을 살펴보는 데 도움이 된다.

이러한 주석은 함께 의사결정 모델과 행동 정책을 연결하는 학습을 지원하는 것을 목표로 한다. 의사결정 모델이 하위 목표를 선택하고, 정책이 조작을 수행하며, 그 결과 상태가 다음 판단에 반영된다. 로봇이 완벽하지 않은 시도에서 회복하거나 달라진 장면에 대응해야 할 때 이러한 피드백은 중요하다.

AGIBOT 로보틱스 플랫폼에서 이 릴리스가 차지하는 위치

더 넓은 범위의 AGIBOT WORLD 2026 저장소에는 회사의 G2 플랫폼에서 수집한 실제 환경 데이터가 설명되어 있다. 문서에 명시된 형식은 에피소드 데이터, 메타데이터, 머리 카메라와 손목 카메라의 개별 영상 스트림을 포함하며 LeRobot 규약을 따른다. 이는 시각적 관찰을 기록된 로봇 행동과 연결하려는 개발자에게 유용한 맥락을 제공한다.

AGIBOT의 G2 제품 페이지는 상호작용 기능과 더불어 체화 지능 및 힘 제어 조작을 위한 하드웨어로 G2를 소개한다. Release 4는 이러한 물리적 기능을 뒷받침하는 의사결정 및 작업 기억 계층을 다룬다. 또한 Unite.AI가 이전에 다룬 AGIBOT 로봇 플랫폼 관련 보도에서 논의된 데이터 인프라도 확장한다.

저장소에는 Creative Commons 저작자표시-비영리-동일조건변경허락 4.0 라이선스가 명시되어 있다. 비영리 조건은 공개된 데이터를 제품에 활용하려는 개발자에게 중요한 차이점이다.

물리적 추론이 바꿀 수 있는 것

숙박·접객업, 가사 서비스, 소매 운영 분야에서 매력적인 점은 상황이 달라져도 목표를 향해 작업할 수 있는 로봇이다. 테이블을 정리하거나 선반을 보충하려면 이미 놓인 물건을 확인하고, 완료한 작업을 기억하며, 추가 조치가 필요하지 않은 시점을 알아차려야 한다. 로봇이 개별 시연을 넘어 완전한 작업 흐름을 수행하게 될수록 이러한 판단은 더욱 중요해진다.

Release 4는 이러한 방향을 위한 학습 자료를 제공한다. 하지만 이것만으로 특정 모델이 낯선 환경에서도 해당 작업 흐름을 안정적으로 수행할 수 있다고 입증되는 것은 아니다. AGIBOT은 이 데이터가 이미 자사의 출시 예정 에이전트 프레임워크와 차세대 파운데이션 모델을 뒷받침하는 데 활용되었다고 밝혔지만, 해당 시스템의 성능 결과는 별개의 문제로 남아 있다.

중요한 변화는 목표, 현재 상황, 이전 행동의 결과 사이의 관계를 바탕으로 로봇을 학습시키는 방향으로 나아가는 것이다. 연구자들은 AGIBOT WORLD 프로젝트와 이에 연결된 데이터 세트 리소스를 통해 이 접근법을 살펴볼 수 있다.