Ai2发布ToyBlocks，用于测试机器人如何学习与失败

Ai2于2026年11月6日发布了ToyBlocks，这是其FoundationWorlds框架中的首个环境。该环境将开放式机器人仿真与生成的演示数据、两个训练好的模型及评估工具结合起来。该框架旨在让机器人学习实验可重复进行，并更容易追溯失败原因。

该环境在桌面上设置了一只仿真机械臂和带标签的方块。除了推、翻转和堆叠，还包括搜索、分类和排列任务：方块上所需的字母或图案可能被遮住，因此机器人必须先将方块翻过来，再判断它应该放在哪里。通过在不同场景中改变方块尺寸、桌面高度及其他属性，可以测试策略能否应对不断变化的几何条件。

这个受限领域让Ai2得以同时追求四项特性：可信的物理效果与视觉呈现；可扩展的任务和演示数据生成；既需要推理能力、也需要灵巧操作的问题；以及覆盖该领域所能支持的各类任务。

自动生成演示数据与开放模型

强化学习和运动规划在Nvidia的Isaac Lab中生成短任务技能。技能生成可以使用仿真器的特权状态信息，包括方块的精确位置和朝向，而不依赖摄像头估算；这使原本需要在实体机器人上通过遥操作完成的行为能够自动生成。随后，任务与运动规划器会选择并按顺序组合技能，以生成带标签的演示数据。Ai2表示，数百个规划方案可以在一块GPU上并行执行，速度最高可达实时速度的24倍。

研究人员可以调整生成的训练数据混合比例，使其侧重特定技能，也可以在训练时未涉及的任务上评估策略。这样一来，数据生成器就成了实验控制手段，而不只是扩大数据集的来源。

目标以PDDL规划规范的形式写入ToyBlocks代码库，使评估系统无需为每项任务单独设计指标，就能评估任务完成情况和中间进展。演示数据以LeRobot格式存储。分层策略的任一层都可以替换为提供正确规划方案或动作的预言机，从而区分错误决策与电机执行故障。失败状态也可以返回数据生成环节，用于生成新的演示数据和恢复方案。

Ai2报告称，首个版本包含85,336条长时程演示数据；每条演示数据根据所属数据集，约由6–12条技能演示组成，涵盖近1,600小时的机器人运行过程和1.44亿帧。公开数据集采用Parquet格式的LeRobot数据，遵循ODC-BY许可协议，并分为简单、中等和困难三个子集。主要代码采用Apache-2.0许可；指定的子模块和下载的资源则各自遵循其对应许可。

Ai2的模型说明卡将发布的策略分为两个层级：Molmo2-4B-tb是一款约45亿参数的模型，它读取前置摄像头图像和文本目标，生成简短规划、下一步动作和目标点；ManiFlow-tb拥有3.225亿参数，使用前置摄像头和夹爪摄像头的图像、机器人状态、任务信息及目标热图来生成动作序列块。

泛化能力与智能体实验

空间实验涵盖堆叠、拆垛、翻转和旋转任务，并区分训练范围内的插值与超出该范围的外推。例如，训练时让方块位于工作空间的一个区域，测试时则将其放在另一个区域；也可以在训练中排除特定的堆叠高度。Ai2报告称，尽管经过大规模预训练，ManiFlow、π0.5和MolmoAct 2最初的泛化能力仍然较差，并据此得出结论：动作模型的泛化问题远未解决。

智能体测试暴露了另一项弱点。Ai2表示，其基于Claude Opus 5.5的系统，仅凭文本描述就完成了全部30项经典积木堆叠任务；在根据反复获取的摄像头图像进行闭环动作选择时，也完成了全部30项任务。在最多包含八个方块的搜索拼字场景中，50%的场景缺少所需字母，因此必须判断任务无法完成。该智能体在63%的案例中完成了任务或正确识别出任务不可行；其中，13%的案例因混淆外形相似的字母而失败，15%的案例则因字母朝向错误而失败。

第三项智能体实验允许系统测试意料之外的技能表现，并根据测试结果编写新的技能描述。Ai2报告称，这些学习得到的描述将成功率从使用默认描述时的24%提高到63%，超过了采用人类专家编写的描述时达到的36%。

实体机器人测试及其局限

在实体评估中，模型完全使用ToyBlocks仿真数据训练，没有使用任何真实世界训练样例，随后部署在配有Robotiq夹爪的Franka FR3机械臂上运行。30种场景配置中包含4–10个训练期间见过的方块。只有当相关方块到达目标姿态且未发生碰撞时，该回合才计为成功；因运动不安全而需要操作员介入，则计为失败。

为缩小仿真与现实之间的差距，Ai2根据真实轨迹调整了仿真中的关节摩擦力和转动惯量。生成数据时，系统会随机改变物体尺寸、摩擦力和桌面高度，以及光照、背景、材质和摄像头参数。

Ai2 报告称，ManiFlow 原子技能的成功率在模拟环境中为 80.0%，在实体机械臂上为 81.1%。分层式 Molmo 2–ManiFlow 系统在模拟环境的 200 次测试中成功 111 次，成功率为 55.5%；在实体环境的 30 次测试中成功 15 次，成功率为 50.0%。

Ai2 从两个方面对这些结果作了限定。实体环境中的分层系统评估采用了最简单的模拟配置：方块字符清晰可见且保持直立；此外，还需要进行更多测试，才能确认系统在不同任务中的统计置信度。ManiFlow 的结果卡还记录了同一组 128 次模拟测试在四轮运行中的成功率为 54% 至 59%；这是因为模拟和批量推理并非逐位确定性的。

Ai2 计划推出第二个版本，其中将包含规模更大的数据集、更多技能和范围更广的基准测试，并加入当前版本中尚未提供的完全集成式强化学习训练。更长期的发展方向包括双臂操作、配备力觉和触觉传感器的灵巧手，以及与无序堆放的方块交互。

因此，ToyBlocks 的直接贡献在于提供实验控制能力：研究人员可以调整训练数据组合，将规划与执行分开，并把失败案例反馈到数据生成流程中。初步结果也揭示了其局限：模拟环境中的泛化能力较弱，实体环境评估范围较窄，因此这些早期迁移率对于说明机器人在方块世界之外的学习能力，所能证明的内容仍然有限。