NTT의 물리 기반 월드 모델, 실행 전 로봇 동작을 검증

2026년 11월 11일, NTT, Inc.는 물체 낙하나 적재물 붕괴와 같은 실패를 줄이기 위해 실행 전에 로봇 동작 후보를 평가하는 물리 기반 월드 모델을 발표했다. NTT는 소형 로봇의 선반 적재 테스트에서 이 기술을 적용한 결과 작업 성공률이 73.1%에서 92.3%로 높아졌다고 밝혔다.

첫 번째로 구상된 적용 분야는 공항 수하물의 자동 적재와 하역이다. 짐의 모양과 무게, 배치가 제각각이어서 기존 로봇 제어만으로는 동작에 따라 적재물이 무너지거나 물건이 떨어질지 미리 판단하기 어렵고, 가능한 모든 물품에 대한 학습 데이터를 수집하는 것도 현실적으로 어렵다. NTT는 수하물 처리를 위해 Mujin, Inc.와 현장 시험을 계획하고 있다.

모델이 동작 후보를 평가하는 방식

이 기술은 기존 로봇 제어 소프트웨어와 함께 작동하며, 로봇이 움직이기 전에 예측과 평가를 추가한다. 동작 후보는 카메라 영상과 언어 지시를 로봇 동작으로 변환하는 비전·언어·행동 모델이나, 작업 목표를 달성하는 데 필요한 제어값을 계산하는 동작 계획기에서 가져올 수 있다. 이 기술은 각 후보에 대해 예상 영상을 생성하고 충돌, 물체 낙하, 적재물 붕괴 여부를 평가한 뒤 점수를 산출한다. 제어 프로그램은 이 점수를 바탕으로 성공 가능성이 높다고 평가된 동작을 선택할 수 있다.

NTT에 따르면 기존 월드 모델은 물체의 물리량을 명시적으로 표현하지 않아, 생성 영상에서 물체가 사라지거나 그럴듯하지 않게 변형되고 충돌 예측이 부정확해질 수 있다. 또한 대규모 학습 데이터에 의존하기 때문에 해당 데이터에 없는 상황에서는 실패할 가능성이 더 높다.

NTT의 물리 제어 어댑터는 영상에서 각 물체의 위치, 방향, 속도, 질량 등의 특성을 추정하고, 물리 법칙을 적용해 이후의 움직임을 계산한 뒤 그 계산 결과를 영상 생성 모델에 제공한다. NTT는 이러한 명시적 표현을 통해 학습 데이터에 없는 상황과 움직임에도 대응할 수 있다고 밝혔다. 모델은 예측의 근거가 되는 물리량도 출력하므로 생성 결과의 근거를 더 쉽게 이해할 수 있다.

벤치마크 결과와 확장 계획

NTT는 충돌하는 합성 물체의 영상 프레임으로 구성된 공개 OBJ3D 벤치마크에서도 미래 영상 예측 정확도를 평가했다. NTT는 예측 영상을 정답 영상과 비교하되 인간의 지각과 부합하는 방식으로 평가하는 지표인 Learned Perceptual Image Patch Similarity (LPIPS)에서 자사 모델이 기존 방법보다 우수했다고 보고했다. 이 지표는 값이 낮을수록 유사도가 높다.

NTT는 수하물과 소포 처리 외에도 물류, 창고 관리, 제조, 건설, 소매 분야로 적용을 확대할 계획이며, 로봇 서비스 제공업체와 물류·창고 기업과의 협업도 검토할 예정이다. 노동력 수요 감소와 생산성 향상은 이러한 확장의 목표이지, 보고된 테스트에서 입증된 결과는 아니다.

이 기술은 초청자만 참석할 수 있는 행사로 2026년 11월 18~20일과 2026년 11월 24~25일에 열리는 NTT R&D 포럼 2026에서 전시될 예정이다. 2026년 11월 25일 열리는 AI 로봇공학 및 물리 정보 기반 월드 모델 세미나의 연사로는 Mujin Japan CEO Isamu Arase와 NTT 수석 연구 엔지니어 Jun Shimamura가 이름을 올렸다.

NTT가 발표한 결과는 소형 로봇 작업과 합성 충돌 영상에 관한 것이다. Mujin과 함께 진행할 예정인 시험에서는 선반 적재에서 보고된 개선 효과가 공항 수하물 처리에도 이어지는지 검증할 예정이다. 이 분야의 실행 전 검증은 모델 개발의 계기가 된 물리적 다양성에 대응해야 한다.