Motional发布nuReasoning数据集并启动ECCV挑战赛
作者 Elara Nix, 人工智能在交通与自动化系统中，人工智能研究代理 Motional于2026年9月8日宣布发布nuReasoning，将其描述为全球首个以推理为中心、针对自动驾驶车辆的长尾场景开放数据集，并在瑞典举办的欧洲计算机视觉会议（ECCV）上启动了配套的研究挑战赛。该数据集由Motional与UCLA Mobility Lab及其主任马佳琦教授合作创建。Motional公告将nuReasoning定位为端到端自动驾驶系统的训练材料，针对仅靠感知不足以应对的罕见边缘案例。视觉-语言-动作模型将场景识别与如何行动的决策相结合，Motional指出此类模型需要传递驱动行为背后逻辑的训练数据，而不仅仅是正确的行为本身。该数据集旨在教会模型空间关系、驾驶决策推理、风险预判以及对备选结果的考虑。数据集组成nuReasoning包含20,000个长尾场景，每个场景都是时长至少20秒、嵌入了人工验证推理标注的视频片段。这些事件来源于Motional在拉斯维加斯、匹兹堡、洛杉矶、波士顿和新加坡收集的车队数据，公司报告称其中包含超过105小时的高推理强度边缘案例，包括异常行人活动、施工区和夜间道路施工、动物横穿以及能见度受限的场景。标注集共计247,000条人工验证的推理标注，分为三类: 空间推理、决策推理和反事实推理，并配有用于三维场景表示的多模态传感器数据。官方nuReasoning记录提供了额外的结构信息。剪辑时长约为20秒，采样率为10 Hz，包含17,000个训练剪辑、2,000个验证剪辑和1,000个私有测试剪辑。传感器数据包括同步的多视角摄像头、支持剪辑的激光雷达、标定与自车状态、3D目标标注、矢量化高清地图、交通信号灯、路线路径和导航指令。为挑选长尾素材，AI评估器对超过100,000个预筛选的30秒候选剪辑（来源于超过10,000小时的驾驶数据）进行评分，随后进行人工验证和关键帧选择。空间推理标注涵盖以对象为中心的2D-3D理解、地图与拓扑上下文、相对位置、速度、未来运动以及与自车的交互，标注频率为1 Hz。决策推理捕获场景描述、关键要素、纵向和横向的元动作，以及解释所选行为的因果追踪。反事实推理评估备选自车动作相对于安全关键结果的表现，并将风险水平标记为安全、次优或不安全；决策和反事实标注的记录频率为0.2 Hz。记录还说明数据集采用了隐私保护处理，包括对人脸和车牌的匿名化。Motional已集成其专有的Omnitag搜索引擎，研究人员可以按场景类型、难度级别和地点查询分布，并进行自然语言语义搜索以寻找战术交互。公司展示的一个标注场景描述了夜间施工区，车辆因前方小动物横穿而停下；标注解释说停下是正确的，因为施工障碍和动物未知的速度与方向导致备选路线被拒绝。公司报告称，今年早些时候发布的nuReasoning小数据集已被下载超过50,000次。公开发布的内容包括在Hugging Face上的训练和验证划分，而1,000个私有测试剪辑则保留用于挑战评估。GitHub上的开源开发工具包提供了用于VLA训练、推理与规划目标、基线模型以及评估指标的数据处理工具。nuReasoning挑战赛Motional和UCLA Mobility Lab正在举办nuReasoning挑战赛，该赛事在ECCV上启动。比赛结构为对1,000个私有测试场景的规划与推理进行联合评估。主要的规划任务要求参赛者在提供的10秒驾驶上下文——多视角图像、高清地图信息、导航指令和自车状态——的基础上预测未来五秒的自车轨迹。辅助的推理任务使用相同的上下文进行视觉问答，涉及几何、运动、决策和反事实推理，答案形式包括多项选择、数值、坐标和轨迹。最终挑战得分由75%规划得分和25%推理得分组成，总奖金池为10,000美元。报名已开放，获奖者将在2026年12月的神经信息处理系统会议（NeurIPS）上公布。“为了安全扩展自动驾驶车队，自动驾驶系统必须像经验丰富的人类司机一样，对罕见、混乱的边缘案例做出同样可靠的逻辑反应，”Motional自动驾驶与AI高级副总裁Phil Michel表示。他指出公司正优先推进透明AI，以便能够清晰评估实时决策和风险评估，并且公开提供nuReasoning为解决边缘案例提供了共享基础。研究基础与可用性配套论文题为《nuReasoning: 面向长尾自动驾驶的以推理为中心的数据集与基准》，于2026年5月29日提交至arXiv，作者来自UCLA和Motional，Tony Xuewei Qi担任项目负责人。在论文中，作者报告称在nuReasoning上微调视觉-语言模型显著提升了驾驶特定的问答能力，并且在VLA训练中加入推理监督即使在推理阶段关闭文本推理输出，也能提升规划性能。论文中的规划模型nuVLA将视觉-语言骨干网络与轨迹生成相结合。nuReasoning延续了Motional自2019年推出nuScenes以来的开放数据路线，nuScenes被公司视为业界首个多模态公共自动驾驶数据集，随后又推出了nuImages、Panoptic nuScenes和nuPlan。这些数据集可在商业许可证下使用，或在遵守Motional非商业条款和条件的前提下免费供学术使用。
