Motional выпускает набор данных nuReasoning и запускает конкурс ECCV

Motional объявила о выпуске nuReasoning 8 сентября 2026 года, описав его как первый в мире ориентированный на рассуждения открытый набор данных с долгими редкими сценариями для автономных транспортных средств, и запустила сопутствующий исследовательский конкурс на Европейской конференции по компьютерному зрению в Швеции. Набор данных был создан в партнерстве с UCLA Mobility Lab и её директором, профессором Цзяци Ма.

The Объявление Motional позиционирует nuReasoning как учебный материал для сквозных автономных систем, ориентированный на редкие граничные случаи, когда одной лишь перцепции недостаточно. Модели Vision-Language-Action объединяют распознавание сцены с принятием решений о действиях, и Motional заявляет, что такие модели нуждаются в учебных данных, передающих логику за водительским действием, а не только само правильное действие. Набор данных разработан для обучения моделей пространственным отношениям, рассуждениям при принятии решений вождения, предвидению рисков и учёту альтернативных исходов.

Состав набора данных

nuReasoning содержит 20 000 редких сценариев, каждый из которых представляет собой видеоклип длиной не менее 20 секунд, снабжённый аннотацией рассуждения, проверенной человеком. События были извлечены из данных автопарка Motional, собранных в Лас-Вегасе, Питтсбурге, Лос‑Анджелесе, Бостоне и Сингапуре, и компания сообщает более 105 часов граничных случаев, интенсивно требующих рассуждений, включая необычную пешеходную активность, рабочие зоны и ночное дорожное строительство, переходы животных и сценарии с ограниченной видимостью. Набор аннотаций включает 247 000 проверенных человеком аннотаций рассуждений трёх типов: Spatial Reasoning, Decision Reasoning, and Counterfactual Reasoning, вместе с многомодальными сенсорными данными для трёхмерного представления сцены.

The official Запись nuReasoning предоставляет дополнительную структуру. Клипсы длительностью около 20 секунд и с частотой дискретизации 10 Гц, включают 17 000 обучающих клипов, 2 000 валидационных и 1 000 закрытых тестовых клипов. Сенсорные данные включают синхронные многовидовые камеры, LiDAR для поддерживаемых клипов, калибровку и состояние собственного автомобиля, 3‑D аннотации объектов, векторные HD‑карты, светофоры, маршруты и команды навигации. Для отбора редких материалов AI‑оценщик оценил более 100 000 предварительно отфильтрованных 30‑секундных кандидатных клипов, отобранных из более чем 10 000 часов вождения, после чего последовала проверка людьми и отбор ключевых кадров.

Аннотации пространственного рассуждения охватывают объектно‑центрированное 2D‑3D понимание, контекст карты и топологии, относительное положение, скорость, будущие движения и взаимодействия с собственным транспортным средством, аннотируются с частотой 1 Гц. Рассуждение о решении фиксирует описание сцены, критические компоненты, продольные и поперечные мета‑действия, а также причинный след, объясняющий выбранное поведение. Контрфактическое рассуждение оценивает альтернативные действия собственного автомобиля относительно критически важных для безопасности исходов и уровней риска, классифицированных как безопасный, субоптимальный или небезопасный; аннотации решения и контрфактического рассуждения записываются с частотой 0,2 Гц. В реестре также указано, что набор данных использует обработку, сохраняющую конфиденциальность, включая анонимизацию лиц людей и номерных знаков.

Motional интегрировала собственный поисковый движок Omnitag, который позволяет исследователям выполнять запросы по распределениям по типу сценария, уровню сложности и местоположению, а также проводить семантические поиски на естественном языке для тактических взаимодействий. Один из аннотированных сценариев, описанный компанией, демонстрирует ночную строительную зону, где транспортное средство остановилось: аннотация объясняет, что остановка была правильной из‑за небольшого животного, переходящего дорогу впереди, а альтернативные маршруты были отклонены из‑за строительных барьеров и неизвестной скорости и направления животного.

Компания сообщает, что мини‑набор nuReasoning, выпущенный ранее в этом году, был скачан более 50 000 раз. Публичный релиз включает обучающие и валидационные части на Hugging Face, тогда как 1 000 закрытых тестовых клипов удерживаются для оценки в рамках конкурса. Открытый набор разработчиков на GitHub предоставляет обработку данных для обучения VLA, целей рассуждения и планирования, базовых моделей и метрик оценки.

Конкурс nuReasoning

Motional и UCLA Mobility Lab проводят конкурс nuReasoning, запущенный на ECCV. Соревнование построено как совместная оценка планирования и рассуждения по 1 000 закрытых тестовых сценариев. Основная задача планирования предоставляет участникам 10‑секундный контекст вождения — многовидовые изображения, информацию HD‑карты, команду навигации и состояние собственного автомобиля — и требует предсказать траекторию собственного автомобиля на следующие пять секунд. Вспомогательная задача рассуждения использует тот же контекст для визуального ответа на вопросы, охватывающие геометрию, движение, решение и контрфактическое рассуждение, с форматами ответов множественного выбора, числовыми, координатными и траекторными.

Итоговый балл конкурса комбинирует 75 % оценки планирования и 25 % оценки рассуждения, а общий призовой фонд составляет 10 000 $. Регистрация открыта, победители будут объявлены в декабре 2026 года на конференции Conference on Neural Information Processing Systems.

“Чтобы безопасно расширять парки автономных транспортных средств, системы автономного вождения должны реагировать на редкие, хаотичные граничные случаи с такой же уверенной логикой, как опытный водитель,” сказал Фил Мишель, старший вице‑президент Motional по автономии и ИИ. Он отметил, что компания ставит в приоритет прозрачный ИИ, чтобы реальное время принятия решений и оценка рисков могли быть чётко оценены, и что открытая доступность nuReasoning предоставляет общую основу для решения граничных случаев.

Исследовательская база и доступность

Сопутствующая статья под названием “nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long-Tail Autonomous Driving” была отправлена на arXiv 29 мая 2026 года, её авторы аффилированы с UCLA и Motional, а Тони Сюэйвэй Ци указан как руководитель проекта. В статье авторы сообщают, что дообучение моделей vision‑language на nuReasoning существенно улучшает ответы на вопросы, специфичные для вождения, и что включение надзора за рассуждениями в обучение VLA повышает эффективность планирования даже при отключённых текстовых выводах рассуждений во время инференса. Планирующая модель статьи, nuVLA, сочетает vision‑language основу с генерацией траекторий.

nuReasoning продолжает линию открытых данных Motional, начавшуюся с nuScenes в 2019 году, который компания считает первым в отрасли многомодальным публичным набором данных для автономных транспортных средств, и продолжается через nuImages, Panoptic nuScenes и nuPlan. Наборы данных доступны по коммерческим лицензиям или бесплатно для академического использования при соблюдении некоммерческих условий Motional.