Motional släpper nuReasoning-datasetet och lanserar ECCV-utmaningen

Motional meddelade den 8 september 2026 att nuReasoning släpps och beskriver det som världens första resonemangscentrerade, långsvansade scenariobaserade öppna dataset för autonoma fordon, samt lanserade en tillhörande forskningsutmaning vid den europeiska konferensen för datorseende i Sverige. Datasetet skapades i samarbete med UCLA Mobility Lab och dess chef, professor Jiaqi Ma.

Motional‑meddelandet placerar nuReasoning som träningsmaterial för end‑to‑end‑autonoma system och riktar sig mot de sällsynta kantfallen där perception ensam är otillräcklig. Vision‑Language‑Action‑modeller kombinerar scenigenkänning med beslut om hur man ska agera, och Motional påpekar att sådana modeller behöver träningsdata som förmedlar logiken bakom en körhandling snarare än bara den korrekta handlingen. Datasetet är utformat för att lära modeller rumsliga relationer, resonemang kring körbeslut, riskförutsägelse och övervägande av alternativa utfall.

Dataset‑sammansättning

nuReasoning innehåller 20 000 långsvansade scenarier, var och en ett videoklipp på minst 20 sekunder med mänskligt verifierade resonemangsanteckningar. Händelserna extraherades från Motional‑flottans data som samlats in i Las Vegas, Pittsburgh, Los Angeles, Boston och Singapore, och företaget rapporterar mer än 105 timmar av resonemangsintensiva kantfall, inklusive ovanlig fotgängaraktivitet, arbetszoner och nattlig vägarbete, djurövergångar samt scenarier med begränsad sikt. Annotationsuppsättningen omfattar 247 000 mänskligt verifierade resonemangsanteckningar av tre typer: Spatialt resonemang, Beslutsresonemang och Kontrafaktiskt resonemang, tillsammans med multimodala sensordata för tredimensionell scenrepresentation.

Den officiella nuReasoning‑posten ger ytterligare struktur. Klippen är ungefär 20 sekunder långa och samplas med 10 Hz, med 17 000 träningsklipp, 2 000 valideringsklipp och 1 000 privata testklipp. Sensordata inkluderar synkroniserade flerkanalkameror, LiDAR för stödjade klipp, kalibrering och ego‑tillstånd, 3D‑objektannotationer, vektoriserade HD‑kartor, trafikljus, ruttvägar och navigationskommandon. För att välja det långsvansade materialet poängsatte en AI‑utvärderare mer än 100 000 förfiltrerade 30‑sekunders kandidatklipp hämtade från över 10 000 timmar körning, följt av mänsklig verifiering och nyckelramval.

Spatialt resonemangs‑annotationer täcker objekt‑centrerad 2D‑3D‑förståelse, karta‑ och topologikontext, relativ position, hastighet, framtida rörelse och interaktioner med ego‑fordonet, annoterade med 1 Hz. Beslutsresonemang fångar scenbeskrivningen, kritiska komponenter, longitudinella och laterala meta‑åtgärder samt ett kausalt spår som förklarar det valda beteendet. Kontrafaktiskt resonemang utvärderar alternativa ego‑åtgärder mot säkerhetskritiska resultat och risknivåer som märkts som säkra, suboptimala eller osäkra; besluts‑ och kontrafaktiska annotationer registreras med 0,2 Hz. Posten anger också att datasetet använder sekretessbevarande bearbetning, inklusive anonymisering av mänskliga ansikten och registreringsskyltar.

Motional har integrerat sin egenutvecklade Omnitag‑sökmotor, som låter forskare söka i distributioner efter scenariotyp, svårighetsgrad och plats, samt utföra naturliga språk‑semantiska sökningar för taktiska interaktioner. Ett annoterat scenario som företaget beskriver visar en nattlig byggarbetsplats där fordonet stannade: annotationen förklarar att stoppet var korrekt på grund av ett litet djur som korsade vägen, och att alternativa rutter avvisades på grund av byggnadsbarriärer samt djurets okända hastighet och riktning.

Företaget rapporterar att ett nuReasoning‑minisett som släpptes tidigare i år har laddats ner mer än 50 000 gånger. Den offentliga releasen omfattar tränings‑ och valideringsuppdelningarna på Hugging Face, medan de 1 000 privata testklippen hålls tillbaka för utmaningsutvärdering. Ett open‑source‑devkit på GitHub tillhandahåller databehandling för VLA‑träning, resonemangs‑ och planeringsmål, grundmodeller och utvärderingsmått.

nuReasoning‑utmaningen

Motional och UCLA Mobility Lab är värdar för nuReasoning‑utmaningen, som lanserades vid ECCV. Tävlingen är strukturerad som en gemensam utvärdering av planering och resonemang på de 1 000 privata testscenarierna. Huvudplaneringsuppgiften ger deltagarna 10 sekunders körkontext — flerkanalsbilder, HD‑kartinformation, navigationskommando och ego‑tillstånd — och kräver en förutsagd ego‑trajektoria för de kommande fem sekunderna. Den kompletterande resonemangsuppgiften använder samma kontext för visuell frågesvar som omfattar geometri, rörelse, beslut och kontrafaktiskt resonemang, med svarsalternativ i flervals‑, numeriska, koordinat‑ och trajektoriformat.

Det slutgiltiga poängsumman för utmaningen kombinerar 75 % planeringspoäng och 25 % resonemangspoäng, och den totala prispotten är $10 000. Registreringen är öppen och vinnarna kommer att tillkännages i december 2026 vid konferensen för neurala informationsbearbetningssystem.

„För att säkert expandera AV‑flottor måste autonoma körsystem reagera på sällsynta, kaotiska kantfall med samma säkra logik som en erfaren mänsklig förare“, sade Phil Michel, Motionals senior vice president för autonomi och AI. Han förklarade att företaget prioriterar transparent AI så att realtidsbeslut och riskbedömning kan utvärderas tydligt, och att göra nuReasoning öppet tillgängligt ger en gemensam grund för att lösa kantfall.

Forskningsgrund och tillgänglighet

Det medföljande papperet, med titeln “nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long-Tail Autonomous Driving”, lämnades in till arXiv den 29 maj 2026, med författare knutna till UCLA och Motional samt Tony Xuewei Qi angiven som projektledare. I papperet rapporterar författarna att finjustering av vision‑language‑modeller på nuReasoning avsevärt förbättrar körspecifik frågesvar, och att införlivande av resonemangs‑supervision i VLA‑träning förbättrar planeringsprestanda även när textuella resonemangsutdata är inaktiverade under inferens. Papperets planeringsmodell, nuVLA, kombinerar en vision‑language‑ryggrad med trajektorigenerering.

nuReasoning utökar Motionals öppna datalinje som började med nuScenes 2019, vilket företaget identifierar som branschens första multimodala offentliga AV‑dataset, och fortsatte med nuImages, Panoptic nuScenes och nuPlan. Datasets är tillgängliga under kommersiella licenser eller fri akademisk användning enligt Motionals icke‑kommersiella villkor och bestämmelser.