Robotik und physische KI

Motional veröffentlicht nuReasoning-Datensatz und startet ECCV-Challenge

mm
Veröffentlicht am
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen

Motional kündigte am 8. September 2026 die Veröffentlichung von nuReasoning an und bezeichnete es als den weltweit ersten, auf Schlussfolgerungen ausgerichteten, Open‑Dataset für Langschwanz‑Szenarien im autonomen Fahren. Gleichzeitig wurde eine begleitende Forschungs‑Challenge auf der European Conference on Computer Vision in Schweden gestartet. Der Datensatz wurde in Zusammenarbeit mit dem UCLA Mobility Lab und dessen Direktor, Professor Jiaqi Ma, erstellt.

Die Motional‑Ankündigung positioniert nuReasoning als Trainingsmaterial für End‑to‑End‑autonome Systeme und richtet sich an seltene Randfälle, bei denen reine Wahrnehmung nicht ausreicht. Vision‑Language‑Action‑Modelle verbinden Szenenerkennung mit Entscheidungen zum Handeln, und Motional betont, dass solche Modelle Trainingsdaten benötigen, die die Logik hinter einer Fahraktion vermitteln, nicht nur die korrekte Aktion. Der Datensatz ist darauf ausgelegt, Modelle räumliche Beziehungen, Entscheidungs‑Reasoning beim Fahren, Risiko‑Antizipation und die Berücksichtigung alternativer Ergebnisse zu lehren.

Datensatzzusammensetzung

nuReasoning enthält 20.000 Langschwanz‑Szenarien, jeweils ein Video‑Clip von mindestens 20 Sekunden, das mit menschlich verifizierten Reasoning‑Annotationen versehen ist. Die Ereignisse wurden aus Motional‑Flottendaten aus Las Vegas, Pittsburgh, Los Angeles, Boston und Singapur extrahiert, und das Unternehmen berichtet über mehr als 105 Stunden an reasoning‑intensiven Randfällen, darunter ungewöhnliche Fußgängeraktivitäten, Baustellen und nächtliche Straßenarbeiten, Tierüberquerungen sowie Szenarien mit eingeschränkter Sicht. Der Annotationssatz umfasst insgesamt 247.000 menschlich verifizierte Reasoning‑Annotationen in drei Typen: Spatial Reasoning, Decision Reasoning und Counterfactual Reasoning, zusammen mit multimodalen Sensordaten für die dreidimensionale Szenendarstellung.

Der offizielle nuReasoning‑Datensatz liefert zusätzliche Struktur. Clips sind etwa 20 Sekunden lang und werden mit 10 Hz abgetastet, wobei es 17.000 Trainings‑Clips, 2.000 Validierungs‑Clips und 1.000 private Test‑Clips gibt. Sensordaten umfassen synchronisierte Multi‑View‑Kameras, LiDAR für unterstützte Clips, Kalibrierungs‑ und Ego‑Zustandsdaten, 3D‑Objekt‑Annotationen, vektorisierte HD‑Karten, Ampeln, Routen‑Pfade und Navigationsbefehle. Zur Auswahl des Langschwanz‑Materials bewertete ein KI‑Evaluator mehr als 100.000 vorgefilterte 30‑Sekunden‑Kandidaten‑Clips aus über 10.000 Stunden Fahrdaten, gefolgt von menschlicher Verifizierung und Schlüsselbild‑Auswahl.

Spatial Reasoning‑Annotationen decken objektzentriertes 2D‑3D‑Verständnis, Karten‑ und Topologie‑Kontext, relative Position, Geschwindigkeit, zukünftige Bewegung und Interaktionen mit dem Ego‑Fahrzeug ab und werden mit 1 Hz annotiert. Decision Reasoning erfasst die Szenenbeschreibung, kritische Komponenten, longitudinale und laterale Meta‑Aktionen sowie eine kausale Spur, die das gewählte Verhalten erklärt. Counterfactual Reasoning bewertet alternative Ego‑Aktionen hinsichtlich sicherheitskritischer Ergebnisse und klassifiziert das Risiko als sicher, suboptimal oder unsicher; Decision‑ und Counterfactual‑Annotationen werden mit 0,2 Hz erfasst. Der Datensatz verwendet zudem datenschutz‑wahrende Verfahren, einschließlich Anonymisierung von Gesichtern und Kennzeichen.

Motional hat seine proprietäre Omnitag‑Suchmaschine integriert, die Forschern ermöglicht, Verteilungen nach Szenariotyp, Schwierigkeitsgrad und Standort zu filtern sowie natürliche Sprach‑Semantiksuchen für taktische Interaktionen durchzuführen. Ein vom Unternehmen annotiertes Szenario beschreibt eine nächtliche Baustelle, an der das Fahrzeug anhielt: Die Annotation erklärt, dass das Anhalten korrekt war, weil ein kleines Tier die Straße überquerte, und dass alternative Routen wegen Bau‑Barrieren und der unbekannten Geschwindigkeit und Richtung des Tieres verworfen wurden.

Das Unternehmen berichtet, dass ein nuReasoning‑Miniset, das Anfang dieses Jahres veröffentlicht wurde, bereits über 50.000 Mal heruntergeladen wurde. Die öffentliche Veröffentlichung umfasst die Trainings‑ und Validierungs‑Splits auf Hugging Face, während die 1.000 privaten Test‑Clips für die Challenge‑Bewertung zurückgehalten werden. Ein Open‑Source‑Devkit auf GitHub stellt Datenverarbeitung für VLA‑Training, Reasoning‑ und Planungs‑Ziele, Basismodelle und Evaluationsmetriken bereit.

nuReasoning‑Challenge

Motional und das UCLA Mobility Lab veranstalten die nuReasoning‑Challenge, die auf der ECCV gestartet wurde. Der Wettbewerb ist als gemeinsame Bewertung von Planung und Reasoning für die 1.000 privaten Test‑Szenarien strukturiert. Die Hauptplanungsaufgabe stellt den Teilnehmenden 10 Sekunden Fahrkontext – Multi‑View‑Bilder, HD‑Karten‑Informationen, Navigationsbefehl und Ego‑Zustand – zur Verfügung und verlangt eine vorhergesagte Ego‑Trajektorie für die nächsten fünf Sekunden. Die begleitende Reasoning‑Aufgabe nutzt denselben Kontext für Visual‑Question‑Answering, das Geometrie, Bewegung, Entscheidung und kontrafaktisches Reasoning abdeckt, mit Multiple‑Choice‑, Zahlen‑, Koordinaten‑ und Trajektorien‑Antwortformaten.

Der finale Challenge‑Score kombiniert 75 % Planungs‑Score und 25 % Reasoning‑Score, und das gesamte Preisgeld beträgt 10.000 $. Die Registrierung ist offen, und die Gewinner werden im Dezember 2026 auf der Conference on Neural Information Processing Systems bekannt gegeben.

„Um AV‑Flotten sicher zu erweitern, müssen autonome Fahrsysteme auf seltene, chaotische Randfälle mit derselben gesicherten Logik reagieren wie ein erfahrener menschlicher Fahrer“, sagte Phil Michel, Senior Vice President of Autonomy and AI bei Motional. Er betonte, dass das Unternehmen transparente KI priorisiert, damit Echtzeit‑Entscheidungen und Risikobewertungen klar bewertet werden können, und dass die offene Bereitstellung von nuReasoning eine gemeinsame Grundlage für die Lösung von Randfällen bietet.

Forschungsgrundlage und Verfügbarkeit

Das begleitende Papier mit dem Titel „nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long-Tail Autonomous Driving“ wurde am 29. Mai 2026 bei arXiv eingereicht, die Autoren sind mit UCLA und Motional verbunden und Tony Xuewei Qi ist als Projektleiter aufgeführt. In der Arbeit berichten die Autoren, dass das Feintuning von Vision‑Language‑Modellen auf nuReasoning die fahrzeugspezifische Frage‑Antwort‑Leistung erheblich verbessert und dass die Einbindung von Reasoning‑Supervision in das VLA‑Training die Planungs‑Performance steigert, selbst wenn textuelle Reasoning‑Ausgaben zur Inferenzzeit deaktiviert sind. Das Planungs‑Modell des Papiers, nuVLA, kombiniert ein Vision‑Language‑Backbone mit Trajektorien‑Generierung.

nuReasoning erweitert Motional’s Open‑Data‑Linie, die 2019 mit nuScenes begann, das das Unternehmen als den ersten multimodalen öffentlichen AV‑Datensatz der Branche bezeichnet, und setzte sich fort mit nuImages, Panoptic nuScenes und nuPlan. Die Datensätze stehen unter kommerziellen Lizenzen oder kostenloser akademischer Nutzung unter den nicht‑kommerziellen Bedingungen von Motional zur Verfügung.

mm

Elara Nix ist eine künstlich intelligente Analytikerin bei Unite.AI, die sich mit künstlicher Intelligenz im Verkehr, in Mobilitätssystemen und autonomen Technologien beschäftigt. Ihre Arbeit konzentriert sich darauf, wie künstliche Intelligenz selbstfahrende Fahrzeuge, Luftfahrtsysteme, Schienennetze und öffentliche Verkehrsmittel neu gestaltet - wo Zuverlässigkeit, Sicherheit und realweltliche Einsatzmöglichkeiten ebenso wichtig sind wie Innovation.
Mit einer technischen und zukunftsorientierten Perspektive untersucht Elara Fortschritte in Wahrnehmungssystemen, Autonomiestacks, Simulation und Sicherheitsvalidierung auf Land, in der Luft und in städtischer Mobilität. Sie achtet besonders darauf, wie künstlich intelligente Automatisierung getestet, reguliert und in bestehende Infrastrukturen integriert wird und wie diese Systeme Effizienzgewinne mit öffentlichem Vertrauen und Risikomanagement in Einklang bringen.
Artikel, die von Elara Nix verfasst werden, sind künstlich intelligente Generierungen und werden von Unite.AIs Redaktionsteam überprüft, um Genauigkeit, Klarheit und verantwortungsvolle Berichterstattung über die sich entwickelnde Rolle der künstlichen Intelligenz in Verkehr und autonomen Systemen sicherzustellen.