Motional udostępnia zestaw danych nuReasoning i uruchamia konkurs ECCV

Motional ogłosiło udostępnienie nuReasoning 8 września 2026 r., opisując je jako pierwszy na świecie otwarty zestaw danych skupiający się na rozumowaniu, obejmujący rzadkie scenariusze długiego ogona dla pojazdów autonomicznych, oraz uruchomiło towarzyszące wyzwanie badawcze na Europejskiej Konferencji Computer Vision w Szwecji. Zestaw danych został stworzony we współpracy z UCLA Mobility Lab i jego dyrektorem, profesorem Jiaqi Ma.

W Ogłoszeniu Motional nuReasoning przedstawiono jako materiał szkoleniowy dla systemów autonomicznych typu end‑to‑end, skierowany do rzadkich przypadków brzegowych, w których sama percepcja jest niewystarczająca. Modele Vision‑Language‑Action łączą rozpoznawanie sceny z decyzjami o tym, jak postąpić, a Motional podkreśla, że takie modele potrzebują danych treningowych, które przekazują logikę stojącą za działaniem prowadzenia, a nie jedynie poprawne działanie. Zestaw danych został zaprojektowany tak, aby uczyć modele relacji przestrzennych, rozumowania przy decyzjach prowadzenia, przewidywania ryzyka oraz rozważania alternatywnych wyników.

Skład zestawu danych

nuReasoning zawiera 20 000 rzadkich scenariuszy, z których każdy to klip wideo trwający co najmniej 20 sekund, zawierający adnotacje rozumowania zweryfikowane przez ludzi. Zdarzenia zostały wydobyte z danych floty Motional zebranych w Las Vegas, Pittsburgh, Los Angeles, Bostonie i Singapurze, a firma podaje ponad 105 godzin przypadków brzegowych wymagających intensywnego rozumowania, w tym nietypową aktywność pieszych, strefy robót i nocną budowę dróg, przejścia zwierząt oraz scenariusze o ograniczonej widoczności. Zbiór adnotacji obejmuje 247 000 zweryfikowanych przez ludzi adnotacji rozumowania w trzech typach: Spatial Reasoning, Decision Reasoning i Counterfactual Reasoning, wraz z multimodalnymi danymi sensorów do trójwymiarowej reprezentacji sceny.

Oficjalny rekord nuReasoning zapewnia dodatkową strukturę. Klipy mają około 20 sekund i są próbkowane z częstotliwością 10 Hz, przy czym 17 000 klipów służy do treningu, 2 000 do walidacji i 1 000 prywatnych klipów testowych. Dane sensorów obejmują zsynchronizowane kamery wielokątne, LiDAR dla obsługiwanych klipów, kalibrację i stan ego, trójwymiarowe adnotacje obiektów, wektorowe mapy HD, sygnalizację świetlną, trasy i polecenia nawigacyjne. Aby wybrać materiał rzadkiego ogona, evaluator AI ocenił ponad 100 000 wstępnie przefiltrowanych 30‑sekundowych klipów kandydatów pochodzących z ponad 10 000 godzin jazdy, po czym nastąpiła weryfikacja ludzka i wybór kluczowych klatek.

Adnotacje Spatial Reasoning obejmują obiektowo‑skoncentrowane rozumienie 2D‑3D, kontekst mapy i topologii, pozycję względną, prędkość, przyszły ruch oraz interakcje z pojazdem ego, anotowane z częstotliwością 1 Hz. Decision Reasoning rejestruje opis sceny, kluczowe elementy, meta‑działania wzdłużne i poprzeczne oraz przyczynowy ślad wyjaśniający wybraną zachowanie. Counterfactual Reasoning ocenia alternatywne działania ego względem wyników krytycznych pod względem bezpieczeństwa oraz poziomów ryzyka oznaczonych jako bezpieczne, suboptymalne lub niebezpieczne; adnotacje decyzji i kontrfaktyczne są zapisywane z częstotliwością 0,2 Hz. Rekord wskazuje również, że zestaw danych stosuje przetwarzanie chroniące prywatność, w tym anonimizację twarzy ludzi i tablic rejestracyjnych.

Motional zintegrowało własny silnik wyszukiwania Omnitag, który umożliwia badaczom zapytania o dystrybucje według typu scenariusza, poziomu trudności i lokalizacji oraz przeprowadzanie semantycznych wyszukiwań w języku naturalnym pod kątem interakcji taktycznych. Jeden z opisanych przez firmę scenariuszy przedstawia nocną strefę budowy, w której pojazd zatrzymał się: adnotacja wyjaśnia, że zatrzymanie było prawidłowe ze względu na małe zwierzę przechodzące przed pojazdem, a alternatywne trasy zostały odrzucone z powodu barier budowlanych oraz nieznanej prędkości i kierunku zwierzęcia.

Firma informuje, że mini‑zestaw nuReasoning udostępniony wcześniej w tym roku został pobrany ponad 50 000 razy. Publiczne udostępnienie obejmuje podziały treningowe i walidacyjne na platformie Hugging Face, natomiast 1 000 prywatnych klipów testowych jest zarezerwowanych do oceny w konkursie. Otwarty zestaw deweloperski na GitHubie zapewnia przetwarzanie danych dla treningu VLA, celów rozumowania i planowania, modele bazowe oraz metryki oceny.

Wyzwanie nuReasoning

Motional i UCLA Mobility Lab organizują Wyzwanie nuReasoning, uruchomione na ECCV. Konkurs jest skonstruowany jako wspólna ocena planowania i rozumowania na 1 000 prywatnych scenariuszach testowych. Główne zadanie planistyczne daje uczestnikom 10 sekund kontekstu jazdy — obrazy wielokątne, informacje z mapy HD, polecenie nawigacyjne i stan ego — i wymaga przewidywanej trajektorii ego na kolejne pięć sekund. Zadanie pomocnicze rozumowania wykorzystuje ten sam kontekst do wizualnego odpowiadania na pytania obejmujące geometrię, ruch, decyzję i rozumowanie kontrfaktyczne, z formatami odpowiedzi wielokrotnego wyboru, liczbowymi, współrzędnymi i trajektoriami.

Ostateczny wynik konkursu łączy 75 % wyniku planowania i 25 % wyniku rozumowania, a łączna pula nagród wynosi 10 000 $. Rejestracja jest otwarta, a zwycięzcy zostaną ogłoszeni w grudniu 2026 r. na konferencji Conference on Neural Information Processing Systems.

„Aby bezpiecznie rozwijać floty pojazdów autonomicznych, systemy autonomicznej jazdy muszą reagować na rzadkie, chaotyczne przypadki brzegowe z taką samą pewną logiką, jak doświadczony kierowca,” powiedział Phil Michel, starszy wiceprezes Motional ds. autonomii i AI. Stwierdził, że firma priorytetowo traktuje przejrzyste AI, aby decyzje w czasie rzeczywistym i ocena ryzyka mogły być jasno oceniane, oraz że udostępnienie nuReasoning publicznie zapewnia wspólną podstawę do rozwiązywania przypadków brzegowych.

Podstawa badawcza i dostępność

Towarzyszący artykuł, zatytułowany „nuReasoning: A Reasoning‑Centric Dataset and Benchmark for Long‑Tail Autonomous Driving”, został zgłoszony na arXiv 29 maja 2026 r., a autorzy są powiązani z UCLA i Motional, przy czym Tony Xuewei Qi jest wymieniony jako lider projektu. W artykule autorzy podają, że dostrajanie modeli vision‑language na nuReasoning znacząco poprawia odpowiadanie na pytania specyficzne dla jazdy, oraz że włączenie nadzoru rozumowania do treningu VLA zwiększa wydajność planowania, nawet gdy wyjścia tekstowe rozumowania są wyłączone w czasie inferencji. Model planistyczny z artykułu, nuVLA, łączy szkielet vision‑language z generowaniem trajektorii.

nuReasoning rozszerza linię otwartych danych Motional, która rozpoczęła się od nuScenes w 2019 r., uznawanego przez firmę za pierwszy w branży multimodalny publiczny zestaw danych AV, i kontynuowana była w ramach nuImages, Panoptic nuScenes oraz nuPlan. Zestawy danych są dostępne na licencjach komercyjnych lub do bezpłatnego użytku akademickiego, pod warunkiem przestrzegania niekomercyjnych warunków i zasad Motional.