Motional Merilis Dataset nuReasoning dan Meluncurkan Tantangan ECCV

Motional mengumumkan peluncuran nuReasoning pada 8 September 2026, menggambarkannya sebagai dataset terbuka skenario ekor panjang berfokus pada penalaran pertama di dunia untuk kendaraan otonom, dan meluncurkan tantangan riset pendamping pada European Conference on Computer Vision di Swedia. Dataset ini dibuat bekerja sama dengan UCLA Mobility Lab dan direktornya, Profesor Jiaqi Ma.

Pengumuman Motional menempatkan nuReasoning sebagai materi pelatihan untuk sistem otonom end-to-end, menargetkan kasus tepi langka di mana persepsi saja tidak cukup. Model Vision-Language-Action menggabungkan pengenalan adegan dengan keputusan tentang cara bertindak, dan Motional menyatakan bahwa model tersebut memerlukan data pelatihan yang menyampaikan logika di balik tindakan mengemudi, bukan hanya tindakan yang benar. Dataset ini dirancang untuk mengajarkan model hubungan spasial, penalaran keputusan mengemudi, antisipasi risiko, dan pertimbangan hasil alternatif.

Komposisi Dataset

nuReasoning berisi 20.000 skenario ekor panjang, masing-masing berupa klip video minimal 20 detik yang dilengkapi dengan anotasi penalaran yang diverifikasi manusia. Kejadian-kejadian tersebut diambil dari data armada Motional yang dikumpulkan di Las Vegas, Pittsburgh, Los Angeles, Boston, dan Singapura, dan perusahaan melaporkan lebih dari 105 jam kasus tepi intensif penalaran, termasuk aktivitas pejalan kaki yang tidak biasa, zona kerja dan konstruksi jalan malam, lintasan hewan, serta skenario visibilitas terbatas. Set anotasi berjumlah 247.000 anotasi penalaran yang diverifikasi manusia dalam tiga jenis: Spatial Reasoning, Decision Reasoning, dan Counterfactual Reasoning, bersama data sensor multi-modal untuk representasi adegan tiga dimensi.

Catatan resmi catatan nuReasoning menyediakan struktur tambahan. Klip berdurasi sekitar 20 detik dan di‑sampling pada 10 Hz, dengan 17.000 klip pelatihan, 2.000 klip validasi, dan 1.000 klip uji privat. Data sensor mencakup kamera multi‑view yang tersinkronisasi, LiDAR untuk klip yang didukung, kalibrasi dan status ego, anotasi objek 3D, peta HD berbentuk vektor, lampu lalu lintas, jalur rute, dan perintah navigasi. Untuk memilih materi ekor panjang, evaluator AI memberi skor pada lebih dari 100.000 klip kandidat 30 detik yang telah dipra‑filter dari lebih dari 10.000 jam mengemudi, kemudian dilakukan verifikasi manusia dan pemilihan keyframe.

Anotasi Spatial Reasoning mencakup pemahaman objek‑berpusat 2D‑3D, konteks peta dan topologi, posisi relatif, kecepatan, gerakan masa depan, serta interaksi dengan kendaraan ego, dengan anotasi pada 1 Hz. Decision Reasoning menangkap deskripsi adegan, komponen kritis, meta‑aksi longitudinal dan lateral, serta jejak kausal yang menjelaskan perilaku yang dipilih. Counterfactual Reasoning mengevaluasi tindakan alternatif ego terhadap hasil kritis keselamatan dan tingkat risiko yang diberi label aman, suboptimal, atau tidak aman; anotasi keputusan dan kontrafaktual dicatat pada 0,2 Hz. Catatan tersebut juga menyatakan bahwa dataset menerapkan pemrosesan yang melindungi privasi, termasuk anonimisasi wajah manusia dan plat nomor.

Motional telah mengintegrasikan mesin pencari proprieternya, Omnitag, yang memungkinkan peneliti menanyakan distribusi berdasarkan tipe skenario, tingkat kesulitan, dan lokasi, serta menjalankan pencarian semantik bahasa alami untuk interaksi taktis. Salah satu skenario beranotasi yang dijelaskan perusahaan menampilkan zona konstruksi malam hari di mana kendaraan berhenti: anotasi menjelaskan bahwa penghentian tersebut benar karena ada hewan kecil yang menyeberang di depan, dan rute alternatif ditolak karena penghalang konstruksi serta kecepatan dan arah hewan yang tidak diketahui.

Perusahaan melaporkan bahwa mini‑set nuReasoning yang dirilis awal tahun ini telah diunduh lebih dari 50.000 kali. Rilis publik mencakup bagian pelatihan dan validasi di Hugging Face, sementara 1.000 klip uji privat disimpan untuk evaluasi tantangan. Devkit sumber terbuka di GitHub menyediakan pemrosesan data untuk pelatihan VLA, target penalaran dan perencanaan, model dasar, serta metrik evaluasi.

Tantangan nuReasoning

Motional dan UCLA Mobility Lab menyelenggarakan Tantangan nuReasoning, yang diluncurkan pada ECCV. Kompetisi ini disusun sebagai evaluasi gabungan perencanaan dan penalaran pada 1.000 skenario uji privat. Tugas perencanaan utama memberikan peserta 10 detik konteks mengemudi — gambar multi‑view, informasi peta HD, perintah navigasi, dan status ego — dan mengharuskan prediksi lintasan ego untuk lima detik berikutnya. Tugas penalaran tambahan menggunakan konteks yang sama untuk menjawab pertanyaan visual yang mencakup geometri, gerakan, keputusan, dan penalaran kontrafaktual, dengan format jawaban pilihan ganda, numerik, koordinat, dan lintasan.

Skor akhir tantangan menggabungkan 75 % skor perencanaan dan 25 % skor penalaran, dengan total hadiah sebesar $10.000. Pendaftaran terbuka, dan pemenang akan diumumkan pada Desember 2026 di Conference on Neural Information Processing Systems.

“Untuk memperluas armada AV secara aman, sistem mengemudi otonom harus merespons kasus tepi langka dan kacau dengan logika yang sama mantapnya seperti pengemudi manusia berpengalaman,” kata Phil Michel, Senior Vice President of Autonomy and AI di Motional. Ia menyatakan bahwa perusahaan memprioritaskan AI yang transparan sehingga pengambilan keputusan waktu nyata dan penilaian risiko dapat dievaluasi dengan jelas, dan bahwa menyediakan nuReasoning secara terbuka menawarkan dasar bersama untuk menyelesaikan kasus tepi.

Dasar Penelitian dan Ketersediaan

Makalah pendamping, berjudul “nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long-Tail Autonomous Driving,” diajukan ke arXiv pada 29 Mei 2026, dengan penulis yang berafiliasi dengan UCLA dan Motional serta Tony Xuewei Qi tercantum sebagai pemimpin proyek. Dalam makalah tersebut, penulis melaporkan bahwa penyetelan lanjutan model vision-language pada nuReasoning secara signifikan meningkatkan jawaban pertanyaan khusus mengemudi, dan bahwa menggabungkan supervisi penalaran ke dalam pelatihan VLA meningkatkan kinerja perencanaan bahkan ketika output penalaran tekstual dinonaktifkan pada saat inferensi. Model perencanaan dalam makalah, nuVLA, menggabungkan kerangka vision-language dengan generasi lintasan.

nuReasoning memperluas rangkaian data terbuka Motional yang dimulai dengan nuScenes pada 2019, yang perusahaan identifikasi sebagai dataset AV publik multi‑modal pertama di industri, dan berlanjut melalui nuImages, Panoptic nuScenes, serta nuPlan. Dataset tersebut tersedia di bawah lisensi komersial atau penggunaan akademik gratis dengan ketentuan non‑komersial Motional.