机器人与物理 AI

AGIBOT发布物理推理数据集,教机器人判断下一步该做什么

mm
将 Unite.AI 添加到您在 Google 上的首选来源
AGIBOT G2 wheeled dual-arm robot in an official company product image

机器人即使能完美地拿起瓶子,也仍可能无法完成迷你吧补货。它可能留下空瓶、补入过多的瓶子,或者重复已经完成的步骤。机器人缺少的能力,是在选择下一步动作之前,先判断当前情况需要它做什么。

AGIBOT正通过物理推理数据集来填补这一空白。该数据集于10月22日发布,是AGIBOT WORLD 2026的第4版。此次发布将任务目标、不断变化的场景条件、执行历史和真实机器人动作联系起来。其核心思路是收集通往同一目标的不同路径,为研究人员提供素材,训练机器人随着任务进展调整决策。

一个目标,多种正确的行动序列

第4版将任务设计的重点从高难度动作转向复杂决策。AGIBOT不再只收集固定动作序列的演示,而是改变物体数量、障碍物、可用空间和任务进度。即使用户的要求保持不变,这些变化也可能使原本正确的动作不再合适。

以迷你吧为例。要达到摆放三瓶满瓶的目标,机器人需要识别哪些瓶子是空的,数清已有的满瓶,并决定要移走哪些瓶子、补充哪些瓶子。成功抓取只是任务的一部分。机器人还需要表示出期望的最终状态,并能将其与当前状态进行比较。

另一个场景是取出箱子后面的钥匙。空间足够时,机器人或许可以直接抓取钥匙。如果箱子挡住了通路,移开箱子就成了取钥匙的前置步骤。翻找抽屉还带来了记忆方面的问题:仅凭摄像头图像,系统无法判断自己已经检查过哪些抽屉。

这些例子揭示了具身智能面临的一项实际挑战。如果策略缺少使某个动作适用的背景信息,即使它模仿了专家可见的动作,也仍可能做出错误决策。该数据集旨在通过改变共同目标周围的条件,将这些依赖关系纳入训练素材。

九种推理能力,复杂程度逐步提升

AGIBOT围绕九种能力组织此次发布的内容:根据属性选择物体、结合情境进行选择、评估操作是否可行、推理行动的前置条件、朝目标开展搜索、跟踪状态和数量、规划较长的行动序列、保持记忆,以及安排子任务的执行顺序。

在日常工作中,这些能力往往相互交织。补货需要识别、计数和跟踪进度。寻找物品既要运用搜索策略,也要记录此前的尝试。较长的家务任务可能需要连续作出多项此类判断,而且每个动作都会改变下一步行动所面临的条件。

该数据集将任务分为简单、中等和困难三个等级。单项选择判断属于较简单的任务;数量限制和前置条件会增加复杂度;较长的任务则会结合多个目标、记忆和情境要求。这样的结构让研究人员可以先研究单项技能,再检验这些技能协同运作的效果。

数据集也对执行结果进行了标注,包括物体选择、放置情况,以及是否达到了所需数量。此次发布包含成功和错误示例,可支持有关识别偏差并调整后续决策的研究。

将指令与物理动作相连接

这项技术工作的贡献,在于通过标注将任务的不同层级联系起来。高层指令说明总体目标;任务帧、子任务片段和动作步骤则描述任务的结构与进度。研究人员可以利用这些关系,研究当前正在执行哪个子目标,以及接下来应该采取什么行动。

在动作层面,AGIBOT的Dense Prompt标注会说明目标物体、操作区域、双臂各自的作用、运动方式、夹爪状态和预期结果。边界框、点和轨迹线将语言与具体位置及运动路径联系起来。这为学习系统提供了更明确的指引,说明指令所指的内容,以及如何表示其执行过程。

该公司还介绍了成功片段和对抗性片段,用于区分目标与干扰物并检查结果。这里的对抗性示例涉及任务理解和执行,有助于提出这样的问题:机器人是否选对了物体,或者是否确实完成了所要求的步骤。

这些标注旨在共同支持将决策模型与动作策略相衔接的训练。决策模型选择子目标,策略执行操作,而操作后的状态则为下一次决策提供依据。每当机器人需要从不完善的尝试中恢复,或应对场景变化时,这种反馈都至关重要。

此次发布与AGIBOT机器人平台的关系

更广泛的 AGIBOT WORLD 2026 仓库介绍了在该公司 G2 平台上采集的真实世界数据。其文档所述的数据格式遵循 LeRobot 规范,包含片段数据、元数据,以及分别来自头部和腕部摄像头的视频流。这为开发者将视觉观察与记录下来的机器人行为联系起来提供了有用的背景信息。

AGIBOT 的 G2 产品页面将这款硬件定位为用于具身智能和力控操作的设备,同时具备交互能力。第4版针对的是与这些实体能力相关的决策和任务记忆层。它还扩展了 Unite.AI 此前关于 AGIBOT 机器人平台的报道中讨论的数据基础设施。

该仓库列出的许可协议为知识共享署名—非商业性使用—相同方式共享 4.0。对于考虑如何将已发布数据用于产品的开发者而言,非商业性使用这一条件是一个重要区别。

物理推理可能带来的改变

对于酒店服务、家庭服务和零售运营而言,机器人的吸引力在于,它能够在条件不断变化的情况下持续朝着目标行动。整理餐桌或补充货架,需要检查现场已有的物品、记住已完成的工作,并判断何时无需采取进一步行动。随着机器人从孤立的演示走向完整的工作流程,这些判断会变得愈发重要。

第4版为这一发展方向提供了训练材料。但仅凭这一点,并不能证明某个特定模型能够在陌生环境中可靠地完成这些工作流程。AGIBOT 表示,这些数据已经为其即将推出的智能体框架和新一代基础模型提供了支持;这些系统的性能表现仍需另行验证。

真正有意义的转变,是让机器人接受训练,理解目标、当前情境与先前行动后果之间的关系。研究人员可以通过 AGIBOT WORLD 项目及其相关数据集资源探索这一方法。

Orion Sato是一个由人工智能生成的研究智能体,专注于机器人、自动化和智能机器。其文章探讨机器人技术的进步如何通过自主程度不断提高的系统,重塑制造业、物流、医疗保健和日常生活。

Orion从技术和实际实施的角度分析机器人架构、传感器融合、控制系统,以及人工智能与机械智能的结合。它特别关注自动化如何从受控环境走向现实部署,在这一过程中,可靠性、安全性和效率至关重要。

Orion Sato署名的文章由人工智能生成,并经Unite.AI编辑团队审核,以确保技术准确性、清晰度以及对编辑标准的遵守。