Motional udgiver nuReasoning-datasæt og lancerer ECCV‑udfordring

Motional annoncerede frigivelsen af nuReasoning den 8. september 2026 og beskrev det som verdens første ræsonnement‑centrerede, long‑tail‑scenarie‑åbne datasæt for autonome køretøjer, samt lancerede en tilhørende forskningsudfordring på den europæiske konference om computer vision i Sverige. Datasættet blev oprettet i samarbejde med UCLA Mobility Lab og dets direktør, professor Jiaqi Ma.

Den Motional‑meddelelse positionerer nuReasoning som træningsmateriale til end‑to‑end‑autonome systemer, der har fokus på de sjældne edge‑cases, hvor perception alene er utilstrækkelig. Vision‑Language‑Action‑modeller kombinerer scenegenkendelse med beslutninger om, hvordan man skal handle, og Motional påpeger, at sådanne modeller har brug for træningsdata, der formidler logikken bag en kørselshandling snarere end kun den korrekte handling. Datasættet er designet til at lære modeller rumlige relationer, beslutnings‑ræsonnement i kørsel, risikoforudsigelse og overvejelse af alternative udfald.

Datasætsammensætning

nuReasoning indeholder 20.000 long‑tail‑scenarier, hver som et videoklip på mindst 20 sekunder med menneskeligt verificerede ræsonnement‑annotationer. Begivenhederne blev udvundet fra Motional‑flådedata indsamlet i Las Vegas, Pittsburgh, Los Angeles, Boston og Singapore, og virksomheden rapporterer mere end 105 timer af ræsonnement‑intensive edge‑cases, herunder usædvanlig fodgængeraktivitet, arbejdszoner og natlige vejbyggeprojekter, dyrekrydsninger og scenarier med begrænset sigtbarhed. Annotationsættet indeholder i alt 247.000 menneskeligt verificerede ræsonnement‑annotationer fordelt på tre typer: Spatial Ræsonnement, Beslutnings‑Ræsonnement og Kontrafaktisk Ræsonnement, sammen med multimodale sensordata til tredimensionel scenerepræsentation.

Den officielle nuReasoning‑record giver yderligere struktur. Klippene er cirka 20 sekunder lange og samplet ved 10 Hz, med 17.000 træningsklip, 2.000 valideringsklip og 1.000 private testklip. Sensordata omfatter synkroniserede multi‑view‑kameraer, LiDAR for understøttede klip, kalibrering og ego‑tilstand, 3D‑objektannotationer, vektoriserede HD‑kort, trafiklys, rute‑stier og navigationskommandoer. For at udvælge long‑tail‑materialet scorede en AI‑evaluator mere end 100.000 forfiltrerede 30‑sekunders kandidatklip udtrukket fra over 10.000 timers kørsel, efterfulgt af menneskelig verifikation og udvælgelse af nøgle‑frames.

Spatial‑Ræsonnement‑annotationer dækker objekt‑centreret 2D‑3D‑forståelse, kort‑ og topologi‑kontekst, relativ position, hastighed, fremtidig bevægelse og interaktioner med ego‑køretøjet, annoteret med 1 Hz. Beslutnings‑Ræsonnement indfanger scenebeskrivelsen, kritiske komponenter, longitudinale og laterale meta‑handlinger samt en kausal sporing, der forklarer den valgte adfærd. Kontrafaktisk Ræsonnement evaluerer alternative ego‑handlinger mod sikkerhedskritiske udfald og risikoniveauer mærket sikre, suboptimale eller usikre; beslutnings‑ og kontrafaktiske annotationer registreres med 0,2 Hz. Recordet angiver også, at datasættet anvender privatlivs‑bevarende behandling, herunder anonymisering af menneskelige ansigter og nummerplader.

Motional har integreret sin proprietære Omnitag‑søgemaskine, som gør det muligt for forskere at forespørge distributioner efter scenariotype, sværhedsgrad og placering samt at udføre naturlige sprog‑semantiske søgninger for taktiske interaktioner. Et annoteret scenarie, som virksomheden beskriver, viser en natlig byggeplads, hvor køretøjet stoppede: annotationen forklarer, at stoppet var korrekt på grund af et lille dyr, der krydsede vejen foran, og at alternative ruter blev afvist på grund af byggebarrierer og dyrets ukendte hastighed og retning.

Virksomheden rapporterer, at et nuReasoning‑minisæt, der blev udgivet tidligere i år, er blevet downloadet mere end 50.000 gange. Den offentlige udgivelse omfatter trænings‑ og validerings‑splits på Hugging Face, mens de 1.000 private testklip holdes tilbage til udfordringsevaluering. Et open‑source‑devkit på GitHub leverer databehandling til VLA‑træning, ræsonnement‑ og planlægningsmål, baseline‑modeller og evalueringsmålinger.

nuReasoning‑udfordring

Motional og UCLA Mobility Lab er værter for nuReasoning‑udfordringen, der blev lanceret på ECCV. Konkurrencen er struktureret som en fælles evaluering af planlægning og ræsonnement på de 1.000 private‑test‑scenarier. Den primære planlægningsopgave giver deltagerne 10 sekunders kørselskontekst — multi‑view‑billeder, HD‑kortinformation, navigationskommando og ego‑tilstand — og kræver en forudsagt ego‑trajektorie for de næste fem sekunder. Den supplerende ræsonnement‑opgave bruger den samme kontekst til visuel spørgsmål‑besvarelse, der dækker geometri, bevægelse, beslutning og kontrafaktisk ræsonnement, med svarformater som multiple‑choice, numerisk, koordinat og trajektorie.

Den samlede udfordringsscore kombinerer 75 % planlægningsscore og 25 % ræsonnementscore, og den samlede præmiepulje er $10.000. Tilmeldingen er åben, og vinderne vil blive annonceret i december 2026 på konferencen om Neural Information Processing Systems.

«For sikkert at udvide AV‑flåder skal autonome køresystemer reagere på sjældne, kaotiske edge‑cases med den samme sikre logik som en erfaren menneskelig fører», sagde Phil Michel, Motional’s Senior Vice President for Autonomi og AI. Han udtalte, at virksomheden prioriterer gennemsigtig AI, så beslutningstagning i realtid og risikovurdering kan evalueres klart, og at den åbne tilgængelighed af nuReasoning giver et fælles grundlag for at løse edge‑cases.

Forskningsgrundlag og tilgængelighed

Det tilhørende papir, med titlen “nuReasoning: A Reasoning‑Centric Dataset and Benchmark for Long‑Tail Autonomous Driving”, blev indsendt til arXiv den 29. maj 2026, med forfattere tilknyttet UCLA og Motional, og Tony Xuewei Qi opført som projektleder. I papiret rapporterer forfatterne, at finjustering af vision‑language‑modeller på nuReasoning væsentligt forbedrer kørsels‑specifik spørgsmål‑besvarelse, og at indarbejdelse af ræsonnement‑supervision i VLA‑træning forbedrer planlægnings‑præstationen, selv når tekstlige ræsonnement‑output er deaktiveret under inferens. Papirets planlægningsmodel, nuVLA, kombinerer en vision‑language‑backbone med trajektoriegenerering.

nuReasoning udvider Motional’s open‑data‑linje, der startede med nuScenes i 2019, som virksomheden identificerer som branchens første multimodale offentlige AV‑datasæt, og fortsatte med nuImages, Panoptic nuScenes og nuPlan. Datasættene er tilgængelige under kommercielle licenser eller gratis akademisk brug underlagt Motional’s ikke‑kommercielle vilkår og betingelser.