Motional publica el conjunto de datos nuReasoning y lanza el desafío ECCV

Motional anunció la publicación de nuReasoning el 8 de septiembre de 2026, describiéndolo como el primer conjunto de datos abierto de escenarios de larga cola centrado en el razonamiento del mundo para vehículos autónomos, y lanzó un desafío de investigación asociado en la Conferencia Europea de Visión por Computadora en Suecia. El conjunto de datos se creó en colaboración con el UCLA Mobility Lab y su director, el profesor Jiaqi Ma.

El anuncio de Motional posiciona nuReasoning como material de entrenamiento para sistemas autónomos de extremo a extremo, dirigido a los casos límite raros donde la percepción por sí sola es insuficiente. Los modelos de Visión-Lenguaje-Acción combinan el reconocimiento de escenas con decisiones sobre cómo actuar, y Motional afirma que dichos modelos necesitan datos de entrenamiento que transmitan la lógica detrás de una acción de conducción, no solo la acción correcta. El conjunto de datos está diseñado para enseñar a los modelos relaciones espaciales, razonamiento de decisiones de conducción, anticipación de riesgos y consideración de resultados alternativos.

Composición del Conjunto de Datos

nuReasoning contiene 20.000 escenarios de larga cola, cada uno un clip de video de al menos 20 segundos incrustado con anotaciones de razonamiento verificadas por humanos. Los eventos se extrajeron de los datos de la flota de Motional recopilados en Las Vegas, Pittsburgh, Los Ángeles, Boston y Singapur, y la empresa informa más de 105 horas de casos límite intensivos en razonamiento, que incluyen actividad peatonal inusual, zonas de trabajo y construcción nocturna de carreteras, cruces de animales y escenarios de visibilidad limitada. El conjunto de anotaciones totaliza 247.000 anotaciones de razonamiento verificadas por humanos en tres tipos: Razonamiento Espacial, Razonamiento de Decisión y Razonamiento Contrafactual, junto con datos de sensores multimodales para la representación tridimensional de la escena.

El registro nuReasoning oficial proporciona una estructura adicional. Los clips duran aproximadamente 20 segundos y se muestrean a 10 Hz, con 17.000 clips de entrenamiento, 2.000 clips de validación y 1.000 clips de prueba privados. Los datos de los sensores incluyen cámaras multivista sincronizadas, LiDAR para los clips compatibles, calibración y estado del ego, anotaciones de objetos en 3D, mapas HD vectorizados, semáforos, rutas y comandos de navegación. Para seleccionar el material de larga cola, un evaluador de IA calificó más de 100.000 clips candidatos de 30 segundos prefiltrados extraídos de más de 10.000 horas de conducción, seguido de verificación humana y selección de fotogramas clave.

Las anotaciones de Razonamiento Espacial cubren la comprensión centrada en objetos 2D-3D, el contexto de mapas y topología, posición relativa, velocidad, movimiento futuro e interacciones con el vehículo ego, anotadas a 1 Hz. El Razonamiento de Decisión captura la descripción de la escena, componentes críticos, meta‑acciones longitudinales y laterales, y una traza causal que explica el comportamiento seleccionado. El Razonamiento Contrafactual evalúa acciones alternativas del ego frente a resultados críticos de seguridad y niveles de riesgo etiquetados como seguros, subóptimos o inseguros; las anotaciones de decisión y contrafactual se registran a 0,2 Hz. El registro también indica que el conjunto de datos aplica procesamiento que preserva la privacidad, incluida la anonimización de rostros humanos y matrículas.

Motional ha integrado su motor de búsqueda propietario Omnitag, que permite a los investigadores consultar distribuciones por tipo de escenario, nivel de dificultad y ubicación, y ejecutar búsquedas semánticas en lenguaje natural para interacciones tácticas. Un escenario anotado descrito por la empresa muestra una zona de construcción nocturna donde el vehículo se detuvo: la anotación explica que la parada fue correcta debido a un pequeño animal que cruzaba adelante, y que las rutas alternativas fueron descartadas por barreras de construcción y la velocidad y dirección desconocidas del animal.

La empresa informa que un mini‑conjunto nuReasoning lanzado a principios de este año ha sido descargado más de 50.000 veces. La publicación pública cubre los subconjuntos de entrenamiento y validación en Hugging Face, mientras que los 1.000 clips de prueba privados se reservan para la evaluación del desafío. Un devkit de código abierto en GitHub ofrece procesamiento de datos para el entrenamiento VLA, objetivos de razonamiento y planificación, modelos de referencia y métricas de evaluación.

Desafío nuReasoning

Motional y el UCLA Mobility Lab organizan el Desafío nuReasoning, lanzado en ECCV. La competición está estructurada como una evaluación conjunta de planificación y razonamiento sobre los 1.000 escenarios de prueba privados. La tarea principal de planificación brinda a los participantes 10 segundos de contexto de conducción — imágenes multivista, información de mapa HD, comando de navegación y estado del ego — y requiere una trayectoria ego prevista para los siguientes cinco segundos. La tarea auxiliar de razonamiento utiliza el mismo contexto para responder preguntas visuales que abarcan geometría, movimiento, decisión y razonamiento contrafactual, con formatos de respuesta de opción múltiple, numérico, coordenado y de trayectoria.

La puntuación final del desafío combina un 75 % de la puntuación de planificación y un 25 % de la puntuación de razonamiento, y el premio total es de $10,000. Las inscripciones están abiertas, y los ganadores se anunciarán en diciembre de 2026 en la Conferencia sobre Sistemas de Procesamiento de Información Neural.

“Para expandir de forma segura las flotas de AV, los sistemas de conducción autónoma deben reaccionar a casos límite raros y caóticos con la misma lógica segura que un conductor humano experimentado”, dijo Phil Michel, vicepresidente senior de Autonomía e IA de Motional. Añadió que la empresa está priorizando una IA transparente para que la toma de decisiones en tiempo real y la evaluación de riesgos puedan ser evaluadas claramente, y que poner nuReasoning a disposición de forma abierta ofrece una base compartida para resolver los casos límite.

Base de Investigación y Disponibilidad

El artículo adjunto, titulado “nuReasoning: Un Conjunto de Datos y Referencia Centrada en el Razonamiento para la Conducción Autónoma de Larga Cola”, se envió a arXiv el 29 de mayo de 2026, con autores afiliados a UCLA y Motional y Tony Xuewei Qi listado como líder del proyecto. En el artículo, los autores informan que el ajuste fino de modelos de visión‑lenguaje en nuReasoning mejora sustancialmente la respuesta a preguntas específicas de conducción, y que incorporar supervisión de razonamiento en el entrenamiento VLA mejora el rendimiento de planificación incluso cuando las salidas de razonamiento textual están desactivadas en tiempo de inferencia. El modelo de planificación del artículo, nuVLA, combina una columna vertebral de visión‑lenguaje con generación de trayectorias.

nuReasoning amplía la línea de datos abiertos de Motional que comenzó con nuScenes en 2019, que la empresa identifica como el primer conjunto de datos público multimodal de AV de la industria, y continuó con nuImages, Panoptic nuScenes y nuPlan. Los conjuntos de datos están disponibles bajo licencias comerciales o uso académico gratuito sujeto a los términos y condiciones no comerciales de Motional.