Motional lança o dataset nuReasoning e inicia o desafio ECCV

A Motional anunciou o lançamento do nuReasoning em 8 de setembro de 2026, descrevendo-o como o primeiro conjunto de dados aberto de cenários de cauda longa centrado em raciocínio para veículos autônomos, e lançou um desafio de pesquisa complementar na Conferência Europeia de Visão Computacional na Suécia. O conjunto de dados foi criado em parceria com o UCLA Mobility Lab e seu diretor, o professor Jiaqi Ma.

O anúncio da Motional posiciona o nuReasoning como material de treinamento para sistemas autônomos de ponta a ponta, visando os raros casos críticos em que a percepção isolada é insuficiente. Modelos Vision-Language-Action combinam o reconhecimento de cena com decisões sobre como agir, e a Motional afirma que esses modelos precisam de dados de treinamento que transmitam a lógica por trás de uma ação de condução, e não apenas a ação correta. O conjunto de dados foi projetado para ensinar aos modelos relações espaciais, raciocínio de decisão de condução, antecipação de risco e consideração de resultados alternativos.

Composição do Conjunto de Dados

O nuReasoning contém 20.000 cenários de cauda longa, cada um um clipe de vídeo de pelo menos 20 segundos incorporado com anotações de raciocínio verificadas por humanos. Os eventos foram extraídos dos dados da frota da Motional coletados em Las Vegas, Pittsburgh, Los Angeles, Boston e Cingapura, e a empresa relata mais de 105 horas de casos críticos intensivos em raciocínio, incluindo atividade incomum de pedestres, zonas de trabalho e construção noturna de estradas, travessias de animais e cenários de visibilidade limitada. O conjunto de anotações totaliza 247.000 anotações de raciocínio verificadas por humanos em três tipos: Raciocínio Espacial, Raciocínio de Decisão e Raciocínio Contrafactual, juntamente com dados de sensores multimodais para representação tridimensional da cena.

O registro nuReasoning oficial fornece estrutura adicional. Os clipes têm aproximadamente 20 segundos de duração e são amostrados a 10 Hz, com 17.000 clipes de treinamento, 2.000 clipes de validação e 1.000 clipes de teste privados. Os dados dos sensores incluem câmeras multivisão sincronizadas, LiDAR para clipes suportados, calibração e estado ego, anotações de objetos 3D, mapas HD vetorizados, semáforos, rotas e comandos de navegação. Para selecionar o material de cauda longa, um avaliador de IA pontuou mais de 100.000 clipes candidatos pré‑filtrados de 30 segundos extraídos de mais de 10.000 horas de condução, seguidos de verificação humana e seleção de quadros‑chave.

As anotações de Raciocínio Espacial cobrem compreensão centrada em objetos 2D‑3D, contexto de mapa e topologia, posição relativa, velocidade, movimento futuro e interações com o veículo ego, anotadas a 1 Hz. O Raciocínio de Decisão captura a descrição da cena, componentes críticos, meta‑ações longitudinais e laterais, e um traço causal que explica o comportamento selecionado. O Raciocínio Contrafactual avalia ações alternativas do ego em relação a resultados críticos de segurança e níveis de risco rotulados como seguro, subótimo ou inseguro; as anotações de decisão e contrafactual são registradas a 0,2 Hz. O registro também indica que o conjunto de dados aplica processamento que preserva a privacidade, incluindo anonimização de rostos humanos e placas de veículos.

A Motional integrou seu motor de busca proprietário Omnitag, que permite que pesquisadores consultem distribuições por tipo de cenário, nível de dificuldade e localização, e realizem buscas semânticas em linguagem natural para interações táticas. Um cenário anotado descrito pela empresa mostra uma zona de construção noturna onde o veículo parou: a anotação explica que a parada foi correta devido à passagem de um pequeno animal à frente, e que rotas alternativas foram rejeitadas por barreiras de construção e pela velocidade e direção desconhecidas do animal.

A empresa relata que um miniconjunto nuReasoning lançado no início deste ano foi baixado mais de 50.000 vezes. O lançamento público inclui as divisões de treinamento e validação no Hugging Face, enquanto os 1.000 clipes de teste privados são reservados para a avaliação do desafio. Um devkit de código aberto no GitHub oferece processamento de dados para treinamento VLA, alvos de raciocínio e planejamento, modelos de referência e métricas de avaliação.

Desafio nuReasoning

A Motional e o UCLA Mobility Lab estão organizando o Desafio nuReasoning, lançado na ECCV. A competição está estruturada como uma avaliação conjunta de planejamento e raciocínio nos 1.000 cenários de teste privados. A tarefa principal de planejamento fornece aos participantes 10 segundos de contexto de condução — imagens multivisão, informações de mapa HD, comando de navegação e estado ego — e requer uma trajetória ego prevista para os próximos cinco segundos. A tarefa auxiliar de raciocínio usa o mesmo contexto para perguntas‑resposta visuais que abrangem geometria, movimento, decisão e raciocínio contrafactual, com formatos de resposta de múltipla escolha, numérica, coordenada e de trajetória.

A pontuação final do desafio combina 75 % da pontuação de planejamento e 25 % da pontuação de raciocínio, e o prêmio total é de US$ 10.000. As inscrições estão abertas, e os vencedores serão anunciados em dezembro de 2026 na Conferência sobre Sistemas de Processamento de Informação Neural.

“Para expandir com segurança frotas de veículos autônomos, os sistemas de condução autônoma devem reagir a casos críticos raros e caóticos com a mesma lógica garantida de um motorista humano experiente”, disse Phil Michel, Vice‑Presidente Sênior de Autonomia e IA da Motional. Ele afirmou que a empresa está priorizando IA transparente para que a tomada de decisão em tempo real e a avaliação de risco possam ser claramente avaliadas, e que disponibilizar o nuReasoning abertamente oferece uma base compartilhada para resolver casos críticos.

Base de Pesquisa e Disponibilidade

O artigo acompanhante, intitulado “nuReasoning: A Dataset and Benchmark Centrada em Raciocínio para Condução Autônoma de Cauda Longa”, foi submetido ao arXiv em 29 de maio de 2026, com autores afiliados à UCLA e à Motional e Tony Xuewei Qi listado como líder do projeto. No artigo, os autores relatam que o ajuste fino de modelos vision‑language no nuReasoning melhora substancialmente a resposta a perguntas específicas de condução, e que a incorporação de supervisão de raciocínio no treinamento VLA aprimora o desempenho de planejamento mesmo quando as saídas de raciocínio textual são desativadas durante a inferência. O modelo de planejamento do artigo, nuVLA, combina um backbone vision‑language com geração de trajetória.

O nuReasoning amplia a linha de dados abertos da Motional que começou com o nuScenes em 2019, que a empresa identifica como o primeiro conjunto de dados público multimodal da indústria para veículos autônomos, e continuou com o nuImages, Panoptic nuScenes e nuPlan. Os conjuntos de dados estão disponíveis sob licenças comerciais ou uso acadêmico gratuito, sujeito aos termos e condições não comerciais da Motional.