Motional rilascia il dataset nuReasoning e lancia la sfida ECCV

Motional ha annunciato il rilascio di nuReasoning l’8 settembre 2026, descrivendolo come il primo dataset aperto al mondo incentrato sul ragionamento e su scenari a coda lunga per veicoli autonomi, e ha lanciato una sfida di ricerca correlata alla European Conference on Computer Vision in Svezia. Il dataset è stato creato in collaborazione con lo UCLA Mobility Lab e il suo direttore, il professor Jiaqi Ma.

Il annuncio di Motional presenta nuReasoning come materiale di addestramento per sistemi autonomi end‑to‑end, mirato ai rari casi limite in cui la sola percezione è insufficiente. I modelli Vision‑Language‑Action combinano il riconoscimento della scena con decisioni su come agire, e Motional afferma che tali modelli necessitano di dati di addestramento che trasmettano la logica alla base di un’azione di guida anziché solo l’azione corretta. Il dataset è progettato per insegnare ai modelli le relazioni spaziali, il ragionamento decisionale di guida, l’anticipazione dei rischi e la considerazione di esiti alternativi.

Composizione del Dataset

nuReasoning contiene 20.000 scenari a coda lunga, ciascuno un clip video di almeno 20 secondi arricchito con annotazioni di ragionamento verificate da esseri umani. Gli eventi sono stati estratti dai dati della flotta Motional raccolti a Las Vegas, Pittsburgh, Los Angeles, Boston e Singapore, e l’azienda riporta più di 105 ore di casi limite intensivi di ragionamento, inclusi comportamenti pedonali insoliti, zone di lavoro e costruzioni notturne, attraversamenti di animali e scenari con visibilità limitata. Il set di annotazioni totalizza 247.000 annotazioni di ragionamento verificate da umani suddivise in tre tipologie: Ragionamento Spaziale, Ragionamento Decisionale e Ragionamento Controfattuale, insieme a dati sensoriali multimodali per la rappresentazione tridimensionale della scena.

Il record ufficiale di nuReasoning fornisce una struttura aggiuntiva. I clip durano circa 20 secondi e sono campionati a 10 Hz, con 17.000 clip per l’addestramento, 2.000 per la validazione e 1.000 clip di test privati. I dati dei sensori includono telecamere multi‑view sincronizzate, LiDAR per i clip supportati, calibrazione e stato dell’ego, annotazioni 3D degli oggetti, mappe HD vettorializzate, semafori, percorsi di rotta e comandi di navigazione. Per selezionare il materiale a coda lunga, un valutatore AI ha assegnato punteggi a più di 100.000 clip candidati pre‑filtrati di 30 secondi estratti da oltre 10.000 ore di guida, seguiti da verifica umana e selezione dei fotogrammi chiave.

Le annotazioni di Ragionamento Spaziale coprono la comprensione oggetto‑centrica 2D‑3D, il contesto di mappa e topologia, posizione relativa, velocità, moto futura e interazioni con il veicolo ego, annotate a 1 Hz. Il Ragionamento Decisionale cattura la descrizione della scena, i componenti critici, le meta‑azioni longitudinali e laterali, e una traccia causale che spiega il comportamento selezionato. Il Ragionamento Controfattuale valuta azioni ego alternative rispetto a esiti critici per la sicurezza e livelli di rischio etichettati come sicuri, subottimali o non sicuri; le annotazioni decisionali e controfattuali sono registrate a 0,2 Hz. Il record segnala inoltre che il dataset applica processi di tutela della privacy, inclusa l’anonimizzazione di volti umani e targhe.

Motional ha integrato il proprio motore di ricerca proprietario Omnitag, che consente ai ricercatori di interrogare le distribuzioni per tipo di scenario, livello di difficoltà e località, e di eseguire ricerche semantiche in linguaggio naturale per interazioni tattiche. Un scenario annotato descritto dall’azienda mostra una zona di costruzione notturna in cui il veicolo si è fermato: l’annotazione spiega che la sosta era corretta a causa di un piccolo animale che attraversava la strada, e che le rotte alternative sono state scartate a causa delle barriere di costruzione e della velocità e direzione sconosciute dell’animale.

L’azienda riferisce che un mini‑set di nuReasoning rilasciato all’inizio di quest’anno è stato scaricato più di 50.000 volte. Il rilascio pubblico copre le suddivisioni di addestramento e validazione su Hugging Face, mentre i 1.000 clip di test privati sono riservati alla valutazione della sfida. Un devkit open‑source su GitHub fornisce la lavorazione dei dati per l’addestramento VLA, obiettivi di ragionamento e pianificazione, modelli di riferimento e metriche di valutazione.

Sfida nuReasoning

Motional e lo UCLA Mobility Lab ospitano la nuReasoning Challenge, lanciata a ECCV. La competizione è strutturata come una valutazione congiunta di pianificazione e ragionamento sui 1.000 scenari di test privati. Il compito principale di pianificazione fornisce ai partecipanti 10 secondi di contesto di guida — immagini multi‑view, informazioni della mappa HD, comando di navigazione e stato dell’ego — e richiede una traiettoria ego prevista per i successivi cinque secondi. Il compito ausiliario di ragionamento utilizza lo stesso contesto per il visual question answering che spazia su geometria, moto, decisione e ragionamento controfattuale, con formati di risposta a scelta multipla, numeriche, coordinate e di traiettoria.

Il punteggio finale della sfida combina il 75 % del punteggio di pianificazione e il 25 % del punteggio di ragionamento, e il montepremi totale è di 10.000 $. Le iscrizioni sono aperte e i vincitori saranno annunciati a dicembre 2026 alla Conference on Neural Information Processing Systems.

«Per espandere in sicurezza le flotte di veicoli autonomi, i sistemi di guida autonoma devono reagire a casi limite rari e caotici con la stessa logica sicura di un conducente umano esperto», ha dichiarato Phil Michel, Senior Vice President of Autonomy and AI di Motional. Ha aggiunto che l’azienda sta dando priorità a un’IA trasparente affinché le decisioni in tempo reale e la valutazione del rischio possano essere chiaramente esaminate, e che rendere nuReasoning disponibile apertamente offre una base condivisa per risolvere i casi limite.

Base della Ricerca e Disponibilità

Il paper di accompagnamento, intitolato “nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long-Tail Autonomous Driving”, è stato sottoposto a arXiv il 29 maggio 2026, con autori affiliati a UCLA e Motional e Tony Xuewei Qi indicato come responsabile del progetto. Nel paper, gli autori riportano che il fine‑tuning di modelli vision‑language su nuReasoning migliora notevolmente le risposte a domande specifiche di guida, e che l’incorporazione della supervisione del ragionamento nella formazione VLA migliora le prestazioni di pianificazione anche quando le uscite di ragionamento testuale sono disattivate in fase di inferenza. Il modello di pianificazione del paper, nuVLA, combina un backbone vision‑language con la generazione di traiettorie.

nuReasoning estende la linea di dati aperti di Motional iniziata con nuScenes nel 2019, che l’azienda identifica come il primo dataset pubblico multimodale per veicoli autonomi del settore, e proseguita con nuImages, Panoptic nuScenes e nuPlan. I dataset sono disponibili sotto licenze commerciali o per uso accademico gratuito, soggetti ai termini e alle condizioni non commerciali di Motional.