Motional lanserer nuReasoning-datasettet og starter ECCV-utfordringen

Motional kunngjorde lanseringen av nuReasoning 8. september 2026, og beskrev det som verdens første resonnerings‑sentrerte, long‑tail‑scenario åpne datasett for autonome kjøretøy, samt startet en tilhørende forskningsutfordring på den europeiske konferansen for datamaskinsyn i Sverige. Datasettet ble laget i samarbeid med UCLA Mobility Lab og deres leder, professor Jiaqi Ma.

«Motional‑kunngjøringen» presenterer nuReasoning som treningsmateriale for ende‑til‑ende autonome systemer, med mål om de sjeldne kanttilfellene der persepsjon alene er utilstrekkelig. Vision‑Language‑Action‑modeller kombinerer scenegjenkjenning med beslutninger om hvordan man skal handle, og Motional påpeker at slike modeller trenger treningsdata som formidler logikken bak en kjøreadferd, ikke bare den korrekte handlingen. Datasettet er designet for å lære modeller romlige relasjoner, beslutnings‑resonnering i kjøring, risikoforutsigelse og vurdering av alternative utfall.

Datasett‑sammensetning

nuReasoning inneholder 20 000 long‑tail‑scenarioer, hver som et videoklipp på minst 20 sekunder med menneskelig verifisert resonnerings‑annotasjon. Hendelsene er hentet fra Motional‑flåtedata samlet inn i Las Vegas, Pittsburgh, Los Angeles, Boston og Singapore, og selskapet rapporterer mer enn 105 timer med resonnerings‑intensive kanttilfeller, inkludert uvanlig fotgjengeraktivitet, arbeidsområder og nattlig veibygging, dyrekryssinger og scenarier med begrenset sikt. Annotasjonssettet teller 247 000 menneskelig verifiserte resonnerings‑annotasjoner fordelt på tre typer: Spatial Reasoning, Decision Reasoning og Counterfactual Reasoning, sammen med multimodale sensordata for tredimensjonal scenerepresentasjon.

Den offisielle nuReasoning‑registreringen gir ytterligere struktur. Klippene varer omtrent 20 sekunder og er samplet med 10 Hz, med 17 000 treningsklipp, 2 000 valideringsklipp og 1 000 private testklipp. Sensordata inkluderer synkroniserte fler‑kameravinkler, LiDAR for støttede klipp, kalibrering og ego‑tilstand, 3D‑objektannotasjoner, vektoriserte HD‑kart, trafikklys, rute‑baner og navigasjonskommandoer. For å velge long‑tail‑materialet, scoret en AI‑vurderer mer enn 100 000 forhåndsfiltrerte 30‑sekunders kandidatklipp hentet fra over 10 000 timer kjøring, etterfulgt av menneskelig verifisering og nøkkel‑ramme‑utvelgelse.

Spatial Reasoning‑annotasjoner dekker objekt‑sentrert 2D‑3D‑forståelse, kart‑ og topologikontekst, relativ posisjon, hastighet, fremtidig bevegelse og interaksjoner med ego‑kjøretøy, annotert med 1 Hz. Decision Reasoning fanger scenebeskrivelsen, kritiske komponenter, longitudinale og laterale meta‑handlinger, samt en kausal sporing som forklarer den valgte atferden. Counterfactual Reasoning vurderer alternative ego‑handlinger mot sikkerhetskritiske utfall og risikonivåer merket som trygge, suboptimale eller farlige; beslutnings‑ og kontrafaktiske annotasjoner registreres med 0,2 Hz. Registreringen oppgir også at datasettet bruker personvern‑bevarende prosessering, inkludert anonymisering av menneskelige ansikter og bilskilt.

Motional har integrert sin proprietære Omnitag‑søkemotor, som gjør det mulig for forskere å forespørre fordelinger etter scenariotype, vanskelighetsgrad og lokasjon, samt å utføre naturlige språk‑semantiske søk for taktiske interaksjoner. Ett annotert scenario beskrevet av selskapet viser en nattlig byggeplass hvor kjøretøyet stoppet: annotasjonen forklarer at stoppet var korrekt på grunn av et lite dyr som krysset foran, og at alternative ruter ble avvist på grunn av byggebarrierer og dyrets ukjente hastighet og retning.

Selskapet rapporterer at et nuReasoning‑minisett som ble sluppet tidligere i år, er lastet ned mer enn 50 000 ganger. Den offentlige utgivelsen dekker trenings‑ og valideringsdelene på Hugging Face, mens de 1 000 private testklippene holdes tilbake for utfordrings‑evaluering. Et åpen‑kilde‑devkit på GitHub tilbyr databehandling for VLA‑trening, resonnerings‑ og planleggingsmål, basis‑modeller og evalueringsmetrikker.

nuReasoning‑utfordring

Motional og UCLA Mobility Lab arrangerer nuReasoning‑utfordringen, lansert på ECCV. Konkurransen er strukturert som en felles evaluering av planlegging og resonnering på de 1 000 private‑test‑scenarioene. Hovedplanleggingsoppgaven gir deltakerne 10 sekunders kjøretøykontekst — flervinkels‑bilder, HD‑kartinformasjon, navigasjonskommando og ego‑tilstand — og krever en predikert ego‑trajektorie for de neste fem sekundene. Den tilleggsmessige resonneringsoppgaven bruker samme kontekst for visuell spørsmåls‑svar‑behandling som dekker geometri, bevegelse, beslutning og kontrafaktisk resonnering, med svarformater som flervalg, numerisk, koordinat og trajektorie.

Den endelige utfordringspoengsummen kombinerer 75 % planleggingspoeng og 25 % resonneringspoeng, og den totale premiepengene er $10 000. Påmelding er åpen, og vinnerne kunngjøres i desember 2026 på Conference on Neural Information Processing Systems.

«For å trygt utvide AV‑flåter må autonome kjøresystemer reagere på sjeldne, kaotiske kanttilfeller med samme sikre logikk som en erfaren menneskelig sjåfør», sier Phil Michel, Motional sin Senior Vice President for Autonomi og AI. Han uttaler at selskapet prioriterer transparent AI slik at beslutningstaking i sanntid og risikovurdering kan evalueres tydelig, og at å gjøre nuReasoning åpent tilgjengelig gir et felles grunnlag for å løse kanttilfeller.

Forskningsgrunnlag og tilgjengelighet

Det tilhørende papiret, med tittelen «nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long-Tail Autonomous Driving», ble innsendt til arXiv 29. mai 2026, med forfattere tilknyttet UCLA og Motional, og Tony Xuewei Qi oppført som prosjektleder. I papiret rapporterer forfatterne at fin‑justering av vision‑language‑modeller på nuReasoning betydelig forbedrer kjøre‑spesifikk spørsmåls‑svar, og at innlemmelse av resonnerings‑veiledning i VLA‑trening forbedrer planleggingsytelse selv når tekstlige resonnerings‑utganger er deaktivert under inferens. Papirets planleggingsmodell, nuVLA, kombinerer en vision‑language‑ryggrad med trajektoriegenerering.

nuReasoning utvider Motional sin åpne‑data‑linje som startet med nuScenes i 2019, som selskapet identifiserer som bransjens første multimodale offentlige AV‑datasett, og fortsatte gjennom nuImages, Panoptic nuScenes og nuPlan. Datasettene er tilgjengelige under kommersielle lisenser eller gratis akademisk bruk underlagt Motional sine ikke‑kommersielle vilkår og betingelser.