Motional lansează setul de date nuReasoning și inițiază provocarea ECCV

Motional a anunțat lansarea nuReasoning pe 8 septembrie 2026, descriind-l ca fiind primul set de date deschis din lume centrat pe raționament, cu scenarii de coadă lungă pentru vehicule autonome, și a inițiat o provocare de cercetare însoțitoare la Conferința Europeană de Viziune pe Calculator din Suedia. Setul de date a fost creat în parteneriat cu UCLA Mobility Lab și directorul său, profesorul Jiaqi Ma.

În Anunțul Motional poziționează nuReasoning ca material de instruire pentru sistemele autonome de tip end-to-end, vizând cazurile rare de margine în care percepția singură este insuficientă. Modelele Vision-Language-Action combină recunoașterea scenei cu deciziile privind acțiunile, iar Motional afirmă că astfel de modele au nevoie de date de antrenament care să transmită logica din spatele unei acțiuni de conducere, nu doar acțiunea corectă în sine. Setul de date este conceput pentru a învăța modelele relații spațiale, raționamentul deciziilor de conducere, anticiparea riscurilor și luarea în considerare a rezultatelor alternative.

Compoziția setului de date

nuReasoning conține 20.000 de scenarii de coadă lungă, fiecare fiind un clip video de cel puțin 20 de secunde încorporat cu adnotări de raționament verificate de oameni. Evenimentele au fost extrase din datele flotei Motional colectate în Las Vegas, Pittsburgh, Los Angeles, Boston și Singapore, iar compania raportează peste 105 ore de cazuri de margine intensive în raționament, inclusiv activități neobișnuite ale pietonilor, zone de lucru și construcții rutiere nocturne, traversări de animale și scenarii cu vizibilitate limitată. Setul de adnotări însumează 247.000 de adnotări de raționament verificate de oameni, împărțite în trei tipuri: Spatial Reasoning, Decision Reasoning și Counterfactual Reasoning, alături de date senzoriale multimodale pentru reprezentarea tridimensională a scenei.

În înregistrarea nuReasoning oficială se oferă o structură suplimentară. Clipurile au aproximativ 20 de secunde și sunt eșantionate la 10 Hz, cu 17.000 de clipuri de antrenament, 2.000 de clipuri de validare și 1.000 de clipuri de testare private. Datele senzorilor includ camere multi-view sincronizate, LiDAR pentru clipurile suportate, calibrare și stare ego, adnotări 3D ale obiectelor, hărți HD vectorizate, semafoare, trasee de rută și comenzi de navigație. Pentru a selecta materialul de coadă lungă, un evaluator AI a notat peste 100.000 de clipuri candidate de 30 de secunde prefiltrate, extrase din peste 10.000 de ore de conducere, urmate de verificare umană și selecție de cadre cheie.

Adnotările de Spatial Reasoning acoperă înțelegerea centrată pe obiect 2D-3D, contextul hărții și topologiei, poziția relativă, viteza, mișcarea viitoare și interacțiunile cu vehiculul ego, adnotate la 1 Hz. Decision Reasoning surprinde descrierea scenei, componentele critice, meta-acțiunile longitudinale și laterale, și o urmă cauzală care explică comportamentul selectat. Counterfactual Reasoning evaluează acțiuni alternative ale vehiculului ego în raport cu rezultate critice pentru siguranță și niveluri de risc etichetate ca sigure, suboptimale sau nesigure; adnotările de decizie și contrafactuale sunt înregistrate la 0,2 Hz. Înregistrarea mai precizează că setul de date aplică procesare care protejează confidențialitatea, inclusiv anonimizarea fețelor umane și a plăcilor de înmatriculare.

Motional a integrat motorul său proprietar de căutare Omnitag, care permite cercetătorilor să interogheze distribuțiile după tipul scenariului, nivelul de dificultate și locație, și să efectueze căutări semantice în limbaj natural pentru interacțiuni tactice. Un scenariu adnotat descris de companie prezintă o zonă de construcție nocturnă în care vehiculul s-a oprit: adnotarea explică că oprirea a fost corectă datorită unei mici animale care traversa în față, iar rutele alternative au fost respinse din cauza barierelor de construcție și a vitezei și direcției necunoscute ale animalului.

Compania raportează că un mini-set nuReasoning lansat la începutul acestui an a fost descărcat de peste 50.000 de ori. Versiunea publică acoperă părțile de antrenament și validare pe Hugging Face, în timp ce cele 1.000 de clipuri de testare private sunt reținute pentru evaluarea provocării. Un devkit open-source pe GitHub oferă procesarea datelor pentru antrenarea VLA, ținte de raționament și planificare, modele de bază și metrici de evaluare.

Provocarea nuReasoning

Motional și UCLA Mobility Lab găzduiesc Provocarea nuReasoning, lansată la ECCV. Competiția este structurată ca o evaluare comună a planificării și raționamentului pe cele 1.000 de scenarii de testare privată. Sarcina principală de planificare oferă participanților 10 secunde de context de conducere — imagini multi-view, informații de hartă HD, comandă de navigație și stare ego — și solicită o traiectorie ego prezisă pentru următoarele cinci secunde. Sarcina auxiliară de raționament folosește același context pentru întrebări vizuale cu răspunsuri ce acoperă geometria, mișcarea, decizia și raționamentul contrafactual, cu formate de răspuns tip alegere multiplă, numeric, coordonate și traiectorie.

Scorul final al provocării combină 75% din scorul de planificare și 25% din scorul de raționament, iar premiul total este de 10.000 de dolari. Înscrierea este deschisă, iar câștigătorii vor fi anunțați în decembrie 2026 la Conferința privind Sistemele de Procesare Neurală a Informațiilor.

„Pentru a extinde în siguranță flotele de vehicule autonome, sistemele de conducere autonomă trebuie să reacționeze la cazuri rare și haotice de margine cu aceeași logică sigură ca un șofer uman experimentat,” a declarat Phil Michel, Vicepreședinte Senior al Autonomiei și AI la Motional. El a spus că compania prioritizează AI transparent, astfel încât luarea deciziilor în timp real și evaluarea riscurilor să poată fi clar evaluate, și că punerea la dispoziție deschisă a nuReasoning oferă o bază comună pentru rezolvarea cazurilor de margine.

Baza de cercetare și disponibilitate

Lucrarea însoțitoare, intitulată “nuReasoning: Un set de date centrat pe raționament și reper pentru conducerea autonomă de coadă lungă,” a fost trimisă la arXiv pe 29 mai 2026, cu autori afiliați la UCLA și Motional, iar Tony Xuewei Qi listat ca lider de proiect. În lucrare, autorii raportează că ajustarea fină a modelelor vision-language pe nuReasoning îmbunătățește substanțial răspunsurile la întrebări specifice conducerii, și că incorporarea supravegherii raționamentului în antrenarea VLA îmbunătățește performanța planificării chiar și când ieșirile de raționament textual sunt dezactivate în timpul inferenței. Modelul de planificare al lucrării, nuVLA, combină un nucleu vision-language cu generarea de traiectorii.

nuReasoning extinde linia de date deschise a Motional, care a început cu nuScenes în 2019, pe care compania o identifică ca fiind primul set de date public multi-modal pentru vehicule autonome din industrie, și a continuat prin nuImages, Panoptic nuScenes și nuPlan. Seturile de date sunt disponibile sub licențe comerciale sau pentru utilizare academică gratuită, sub rezerva termenilor și condițiilor non-comerciale ale Motional.