Motional, nuReasoning 데이터셋 공개 및 ECCV 챌린지 개최

Motional은 2026년 9월 8일 nuReasoning의 출시를 발표하며, 이를 자율주행 차량을 위한 세계 최초의 추론 중심, 롱테일 시나리오 오픈 데이터셋이라고 설명하고, 스웨덴에서 열린 유럽 컴퓨터 비전 학회(ECCV)에서 동반 연구 챌린지를 시작했습니다. 이 데이터셋은 UCLA Mobility Lab 및 그 책임자인 Jiaqi Ma 교수와의 협업으로 제작되었습니다.

The Motional 발표는 nuReasoning을 엔드‑투‑엔드 자율 시스템을 위한 교육 자료로 위치시키며, 인식만으로는 충분하지 않은 희귀한 엣지 케이스를 목표로 한다고 설명합니다. Vision‑Language‑Action 모델은 장면 인식과 행동 결정을 결합하는데, Motional은 이러한 모델이 올바른 행동 자체보다 운전 행동 뒤에 있는 논리를 전달하는 교육 데이터가 필요하다고 주장합니다. 이 데이터셋은 모델에게 공간 관계, 운전 의사결정 추론, 위험 예측, 그리고 대안 결과 고려를 가르치도록 설계되었습니다.

데이터셋 구성

nuReasoning은 20,000개의 롱테일 시나리오를 포함하고 있으며, 각각 최소 20초 길이의 비디오 클립에 인간이 검증한 추론 주석이 삽입되어 있습니다. 이 이벤트들은 라스베이거스, 피츠버그, 로스앤젤레스, 보스턴, 싱가포르에서 수집된 Motional 차량 데이터에서 추출되었으며, 회사는 비정상적인 보행자 활동, 작업 구역 및 야간 도로 공사, 동물 횡단, 시야 제한 상황 등을 포함한 105시간 이상의 추론 집약형 엣지 케이스를 보유하고 있다고 보고했습니다. 주석 세트는 공간 추론, 의사결정 추론, 반사실 추론이라는 세 가지 유형:에 걸쳐 총 247,000개의 인간 검증 주석과 3차원 장면 표현을 위한 다중 모달 센서 데이터를 포함합니다.

The official nuReasoning 기록은 추가 구조를 제공합니다. 클립은 약 20초 길이이며 10 Hz로 샘플링되고, 17,000개의 훈련 클립, 2,000개의 검증 클립, 1,000개의 비공개 테스트 클립으로 구성됩니다. 센서 데이터에는 동기화된 다중 뷰 카메라, 지원되는 클립에 대한 LiDAR, 보정 및 자차 상태, 3D 객체 주석, 벡터화된 HD 지도, 신호등, 경로 및 내비게이션 명령이 포함됩니다. 롱테일 소재를 선택하기 위해 AI 평가자가 10,000시간 이상의 주행 데이터에서 추출한 30초 후보 클립 100,000개 이상을 점수 매긴 뒤, 인간 검증 및 키프레임 선택을 거쳤습니다.

Spatial Reasoning 주석은 객체 중심 2D‑3D 이해, 지도 및 토폴로지 맥락, 상대 위치, 속도, 미래 움직임, 그리고 자차와의 상호작용을 1 Hz로 기록합니다. Decision Reasoning은 장면 설명, 핵심 요소, 종·횡 방향 메타 행동, 그리고 선택된 행동을 설명하는 인과 추적을 포착합니다. Counterfactual Reasoning은 안전에 중요한 결과와 위험 수준(안전, 비최적, 위험)으로 라벨링된 대안 자차 행동을 평가하며, 의사결정 및 반사실 주석은 0.2 Hz로 기록됩니다. 기록은 또한 데이터셋이 인간 얼굴과 번호판을 익명화하는 등 프라이버시 보호 처리를 적용한다고 명시합니다.

Motional은 자체 개발한 Omnitag 검색 엔진을 통합했으며, 이를 통해 연구자는 시나리오 유형, 난이도, 위치별로 분포를 조회하고 전술적 상호작용에 대한 자연어 의미 검색을 수행할 수 있습니다. 회사가 설명한 한 주석 시나리오는 야간 공사 구역에서 차량이 정지한 상황을 보여주며: 주석은 앞에 작은 동물이 지나가고 있어 정지가 올바른 판단이며, 대체 경로는 공사 장벽과 동물의 속도·방향이 불명확해 거부되었다고 설명합니다.

The company reports that a nuReasoning miniset released earlier this year has been downloaded more than 50,000 times. The public release covers the training and validation splits on Hugging Face, while the 1,000 private test clips are withheld for challenge evaluation. An open-source devkit on GitHub provides data processing for VLA training, reasoning and planning targets, baseline models, and evaluation metrics.

nuReasoning 챌린지

Motional과 UCLA Mobility Lab은 ECCV에서 시작된 nuReasoning 챌린지를 주최합니다. 이 대회는 1,000개의 비공개 테스트 시나리오에 대한 계획과 추론을 공동으로 평가하도록 구성되었습니다. 주요 계획 과제는 참가자에게 10초 길이의 운전 컨텍스트(다중 뷰 이미지, HD 지도 정보, 내비게이션 명령, 자차 상태)를 제공하고, 다음 5초 동안의 예측 자차 궤적을 요구합니다. 보조 추론 과제는 동일한 컨텍스트를 사용해 기하학, 움직임, 의사결정, 반사실 추론을 아우르는 시각적 질문 응답을 수행하며, 선택형, 수치형, 좌표형, 궤적형 답변 형식을 포함합니다.

The final challenge score combines 75% planning score and 25% reasoning score, and the total prize pool is $10,000. Registration is open, and winners will be announced in 2026년 12월 at the Conference on Neural Information Processing Systems.

“AV 플릿을 안전하게 확장하려면 자율 주행 시스템이 경험 많은 인간 운전자와 동일한 확신 있는 논리로 희귀하고 혼란스러운 엣지 케이스에 대응해야 한다”고 Phil Michel, Motional의 자율성 및 AI 담당 수석 부사장이 말했습니다. 그는 회사가 투명한 AI를 우선시하여 실시간 의사결정 및 위험 평가를 명확히 검증할 수 있게 하고, nuReasoning을 공개함으로써 엣지 케이스 해결을 위한 공동 기반을 제공한다고 강조했습니다.

연구 기반 및 이용 가능성

The accompanying paper, titled “nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long-Tail Autonomous Driving,” was submitted to arXiv on 2026년 5월 29일, with authors affiliated with UCLA and Motional and Tony Xuewei Qi listed as project lead. In the paper, the authors report that fine-tuning vision-language models on nuReasoning substantially improves driving-specific question answering, and that incorporating reasoning supervision into VLA training improves planning performance even when textual reasoning outputs are disabled at inference time. The paper’s planning model, nuVLA, combines a vision-language backbone with trajectory generation.

nuReasoning extends Motional’s open-data line that began with nuScenes in 2019, which the company identifies as the industry’s first multi-modal public AV dataset, and continued through nuImages, Panoptic nuScenes, and nuPlan. The datasets are available under commercial licenses or free academic use subject to Motional’s non-commercial terms and conditions.