Motional brengt nuReasoning-dataset uit en lanceert ECCV Challenge

Motional kondigde op 8 september 2026 de release van nuReasoning aan, waarbij het werd omschreven als ’s werelds eerste redeneer‑gerichte, long‑tail scenario‑open dataset voor autonome voertuigen, en lanceerde een bijbehorende onderzoek‑uitdaging op de European Conference on Computer Vision in Zweden. De dataset is gecreëerd in samenwerking met het UCLA Mobility Lab en diens directeur, professor Jiaqi Ma.

De Motional‑aankondiging positioneert nuReasoning als trainingsmateriaal voor end‑to‑end autonome systemen, gericht op de zeldzame randgevallen waarbij perceptie alleen niet voldoende is. Vision‑Language‑Action‑modellen combineren scèneherkenning met beslissingen over hoe te handelen, en Motional stelt dat dergelijke modellen trainingsdata nodig hebben die de logica achter een rijactie overbrengt in plaats van alleen de juiste actie. De dataset is ontworpen om modellen ruimtelijke relaties, redeneervermogen bij rijbeslissingen, risico‑anticipatie en overweging van alternatieve uitkomsten te leren.

Dataset‑samenstelling

nuReasoning bevat 20.000 long‑tail scenario’s, elk een videoclips van minimaal 20 seconden met door mensen geverifieerde redeneerannotaties. De gebeurtenissen werden gedolven uit Motional‑vlootdata verzameld in Las Vegas, Pittsburgh, Los Angeles, Boston en Singapore, en het bedrijf meldt meer dan 105 uur aan redeneer‑intensieve randgevallen, waaronder ongebruikelijke voetgangersactiviteit, werkomgevingen en nachtelijke wegwerkzaamheden, dieroversteekpunten en scenario’s met beperkte zichtbaarheid. De annotatieset omvat 247.000 door mensen geverifieerde redeneerannotaties verdeeld over drie typen: Spatial Reasoning, Decision Reasoning en Counterfactual Reasoning, naast multimodale sensorgegevens voor driedimensionale scène‑representatie.

De officiële nuReasoning‑record biedt extra structuur. Clips duren ongeveer 20 seconden en worden bemonsterd op 10 Hz, met 17.000 trainingsclips, 2.000 validatieclips en 1.000 privé‑testclips. Sensorgegevens omvatten gesynchroniseerde multi‑view camera’s, LiDAR voor ondersteunde clips, kalibratie en ego‑status, 3D‑objectannotaties, gevectoriseerde HD‑kaarten, verkeerslichten, route‑paden en navigatie‑opdrachten. Om het long‑tail materiaal te selecteren, heeft een AI‑evaluator meer dan 100.000 vooraf gefilterde 30‑seconden‑candidatenclips, afkomstig uit meer dan 10.000 uur rijden, beoordeeld, gevolgd door menselijke verificatie en sleutel‑frame‑selectie.

Spatial Reasoning‑annotaties omvatten object‑gerichte 2D‑3D‑begrip, kaart‑ en topologie‑context, relatieve positie, snelheid, toekomstige beweging en interacties met het ego‑voertuig, geannoteerd op 1 Hz. Decision Reasoning legt de scène‑beschrijving, kritieke componenten, longitudinale en laterale meta‑acties vast, en een causale spoor die het gekozen gedrag verklaart. Counterfactual Reasoning evalueert alternatieve ego‑acties ten opzichte van veiligheid‑kritieke uitkomsten en risico‑niveaus gemarkeerd als veilig, suboptimaal of onveilig; besluit‑ en tegenfeit‑annotaties worden vastgelegd op 0,2 Hz. Het record vermeldt ook dat de dataset privacy‑behoudende verwerking toepast, inclusief anonimiseren van menselijke gezichten en kentekenplaten.

Motional heeft zijn eigen Omnitag‑zoekmachine geïntegreerd, waarmee onderzoekers distributies kunnen opvragen op scenario‑type, moeilijkheidsniveau en locatie, en natuurlijke‑taal semantische zoekopdrachten kunnen uitvoeren voor tactische interacties. Een door het bedrijf beschreven geannoteerd scenario toont een nachtelijke bouwplaats waar het voertuig stopte: de annotatie legt uit dat de stop correct was vanwege een klein dier dat voor de auto overstak, en dat alternatieve routes werden afgewezen vanwege bouwbarrières en de onbekende snelheid en richting van het dier.

Het bedrijf meldt dat een nuReasoning‑minisette die eerder dit jaar werd uitgebracht, meer dan 50.000 keer is gedownload. De publieke release omvat de trainings‑ en validatiesplits op Hugging Face, terwijl de 1.000 privé‑testclips worden achtergehouden voor de evaluatie van de uitdaging. Een open‑source devkit op GitHub biedt gegevensverwerking voor VLA‑training, redeneer‑ en planningsdoelen, basismodellen en evaluatiemetrieken.

nuReasoning‑uitdaging

Motional en het UCLA Mobility Lab organiseren de nuReasoning‑uitdaging, gelanceerd op ECCV. De competitie is opgezet als een gezamenlijke evaluatie van planning en redeneren op de 1.000 privé‑testscenario’s. De hoofd‑planningstaak geeft deelnemers 10 seconden rij‑context — multi‑view beelden, HD‑kaartinformatie, navigatie‑opdracht en ego‑status — en vereist een voorspelde ego‑trajectorie voor de volgende vijf seconden. De aanvullende redeneer‑taak gebruikt dezelfde context voor visuele vraag‑en‑antwoord over geometrie, beweging, besluitvorming en tegenfeit‑redeneren, met meerkeuze‑, numerieke, coördinaat‑ en traject‑antwoordformaten.

De uiteindelijke challengescore combineert 75 % planningscore en 25 % redeneerscore, en de totale prijzengeldpot bedraagt $10.000. De inschrijving staat open, en de winnaars worden in december 2026 bekendgemaakt op de Conference on Neural Information Processing Systems.

“Om AV‑vloten veilig uit te breiden, moeten autonome rijsystemen reageren op zeldzame, chaotische randgevallen met dezelfde zekere logica als een ervaren menselijke bestuurder,” zei Phil Michel, Senior Vice President of Autonomy and AI bij Motional. Hij stelde dat het bedrijf transparante AI prioriteert zodat realtime besluitvorming en risico‑evaluatie duidelijk kunnen worden beoordeeld, en dat het open beschikbaar stellen van nuReasoning een gedeelde basis biedt voor het oplossen van randgevallen.

Onderzoeksbasis en beschikbaarheid

Het bijbehorende artikel, getiteld “nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long‑Tail Autonomous Driving,” werd op 29 mei 2026 ingediend bij arXiv, met auteurs verbonden aan UCLA en Motional en Tony Xuewei Qi vermeld als projectleider. In het artikel melden de auteurs dat het fijn afstemmen van vision‑language‑modellen op nuReasoning de vraag‑antwoordprestaties specifiek voor rijden aanzienlijk verbetert, en dat het opnemen van redeneersupervisie in VLA‑training de planningsprestaties verbetert, zelfs wanneer tekstuele redeneervoutputen tijdens inferentie zijn uitgeschakeld. Het planningsmodel van het artikel, nuVLA, combineert een vision‑language‑backbone met trajectgeneratie.

nuReasoning breidt Motional’s open‑data‑lijn uit die begon met nuScenes in 2019, dat het bedrijf beschouwt als de eerste multimodale publieke AV‑dataset in de industrie, en die zich voortzette met nuImages, Panoptic nuScenes en nuPlan. De datasets zijn beschikbaar onder commerciële licenties of gratis academisch gebruik, onder voorbehoud van Motional’s niet‑commerciële voorwaarden en condities.