Motional publie le jeu de données nuReasoning et lance le défi ECCV

Motional a annoncé la sortie de nuReasoning le 8 septembre 2026, le décrivant comme le premier jeu de données ouvert centré sur le raisonnement et dédié aux scénarios de longue traîne pour les véhicules autonomes, et a lancé un défi de recherche compagnon lors de la Conférence européenne sur la vision par ordinateur en Suède. Le jeu de données a été créé en partenariat avec le UCLA Mobility Lab et son directeur, le professeur Jiaqi Ma.

L’annonce de Motional positionne nuReasoning comme matériel d’entraînement pour les systèmes autonomes de bout en bout, ciblant les cas limites rares où la perception seule est insuffisante. Les modèles Vision‑Langage‑Action combinent la reconnaissance de scène avec les décisions d’action, et Motional indique que ces modèles ont besoin de données d’entraînement qui transmettent la logique sous‑jacent à une action de conduite plutôt que l’action correcte seule. Le jeu de données est conçu pour enseigner aux modèles les relations spatiales, le raisonnement de décision de conduite, l’anticipation des risques et la prise en compte d’alternatives.

Composition du jeu de données

nuReasoning contient 20 000 scénarios de longue traîne, chacun étant un clip vidéo d’au moins 20 secondes enrichi d’annotations de raisonnement vérifiées par des humains. Les événements ont été extraits des données de flotte Motional collectées à Las Vegas, Pittsburgh, Los Angeles, Boston et Singapour, et l’entreprise rapporte plus de 105 heures de cas limites intensifs en raisonnement, incluant des activités piétonnières inhabituelles, des zones de travail et des chantiers nocturnes, des traversées d’animaux et des scénarios de visibilité limitée. L’ensemble d’annotations totalise 247 000 annotations de raisonnement vérifiées par des humains réparties en trois types: Raisonnement spatial, Raisonnement décisionnel et Raisonnement contrefactuel, accompagnées de données capteur multimodales pour la représentation tridimensionnelle de la scène.

L’enregistrement officiel nuReasoning fournit une structure supplémentaire. Les clips durent environ 20 secondes et sont échantillonnés à 10 Hz, avec 17 000 clips d’entraînement, 2 000 clips de validation et 1 000 clips de test privés. Les données capteur comprennent des caméras multi‑vue synchronisées, du LiDAR pour les clips pris en charge, la calibration et l’état du véhicule, des annotations d’objets 3D, des cartes HD vectorisées, les feux de circulation, les itinéraires et les commandes de navigation. Pour sélectionner le matériel de longue traîne, un évaluateur IA a noté plus de 100 000 clips candidats de 30 secondes pré‑filtrés provenant de plus de 10 000 heures de conduite, suivi d’une vérification humaine et d’une sélection de plans clés.

Les annotations de Raisonnement spatial couvrent la compréhension objet‑centrée 2D‑3D, le contexte cartographique et topologique, la position relative, la vitesse, le mouvement futur et les interactions avec le véhicule ego, annotées à 1 Hz. Le Raisonnement décisionnel saisit la description de la scène, les composants critiques, les méta‑actions longitudinales et latérales, ainsi qu’une trace causale expliquant le comportement choisi. Le Raisonnement contrefactuel évalue les actions alternatives du véhicule ego face à des issues critiques pour la sécurité et des niveaux de risque étiquetés sûr, sous‑optimal ou dangereux ; les annotations décisionnelles et contrefactuelles sont enregistrées à 0,2 Hz. L’enregistrement indique également que le jeu de données applique un traitement respectueux de la vie privée, incluant l’anonymisation des visages humains et des plaques d’immatriculation.

Motional a intégré son moteur de recherche propriétaire Omnitag, qui permet aux chercheurs d’interroger les distributions par type de scénario, niveau de difficulté et localisation, ainsi que d’effectuer des recherches sémantiques en langage naturel pour des interactions tactiques. Un scénario annoté décrit par l’entreprise montre une zone de construction nocturne où le véhicule s’est arrêté: l’annotation explique que l’arrêt était correct en raison d’un petit animal traversant la route, et que les itinéraires alternatifs ont été rejetés à cause des barrières de construction et de la vitesse et direction inconnues de l’animal.

L’entreprise rapporte qu’un mini‑jeu de données nuReasoning publié plus tôt cette année a été téléchargé plus de 50 000 fois. La version publique couvre les découpages d’entraînement et de validation sur Hugging Face, tandis que les 1 000 clips de test privés sont réservés à l’évaluation du défi. Un kit de développement open‑source sur GitHub fournit le traitement des données pour l’entraînement VLA, les cibles de raisonnement et de planification, des modèles de référence et des métriques d’évaluation.

Défi nuReasoning

Motional et le UCLA Mobility Lab organisent le Défi nuReasoning, lancé à l’ECCV. La compétition est structurée comme une évaluation conjointe de la planification et du raisonnement sur les 1 000 scénarios de test privés. La tâche principale de planification donne aux participants 10 secondes de contexte de conduite — images multi‑vue, informations de carte HD, commande de navigation et état du véhicule ego — et exige une trajectoire ego prédite pour les cinq secondes suivantes. La tâche auxiliaire de raisonnement utilise le même contexte pour répondre à des questions visuelles couvrant la géométrie, le mouvement, la décision et le raisonnement contrefactuel, avec des formats de réponses à choix multiples, numériques, coordonnées et trajectoires.

Le score final du défi combine 75 % de score de planification et 25 % de score de raisonnement, et le prize pool total s’élève à 10 000 $. Les inscriptions sont ouvertes, et les gagnants seront annoncés en décembre 2026 lors de la Conference on Neural Information Processing Systems.

« Pour développer en toute sécurité les flottes de véhicules autonomes, les systèmes de conduite autonome doivent réagir aux cas limites rares et chaotiques avec la même logique assurée qu’un conducteur humain expérimenté », a déclaré Phil Michel, vice‑président senior de l’autonomie et de l’IA chez Motional. Il a indiqué que l’entreprise privilégie une IA transparente afin que la prise de décision en temps réel et l’évaluation des risques puissent être clairement évaluées, et que la mise à disposition ouverte de nuReasoning offre une base partagée pour résoudre ces cas limites.

Fondement de la recherche et disponibilité

L’article accompagnant, intitulé « nuReasoning: A Reasoning‑Centric Dataset and Benchmark for Long‑Tail Autonomous Driving », a été soumis à arXiv le 29 mai 2026, avec des auteurs affiliés à UCLA et Motional et Tony Xuewei Qi indiqué comme chef de projet. Dans l’article, les auteurs rapportent que le fine‑tuning des modèles vision‑langage sur nuReasoning améliore substantiellement le question‑answering spécifique à la conduite, et que l’intégration d’une supervision de raisonnement dans l’entraînement VLA améliore les performances de planification même lorsque les sorties de raisonnement textuel sont désactivées lors de l’inférence. Le modèle de planification présenté, nuVLA, combine une colonne vertébrale vision‑langage avec la génération de trajectoires.

nuReasoning prolonge la ligne de données ouvertes de Motional qui a commencé avec nuScenes en 2019, que l’entreprise identifie comme le premier jeu de données public multimodal pour véhicules autonomes de l’industrie, et s’est poursuivie avec nuImages, Panoptic nuScenes et nuPlan. Les jeux de données sont disponibles sous licences commerciales ou en usage académique gratuit, sous réserve des conditions non commerciales de Motional.