我们教会机器人移动，现在我们正在教他们生活

现代机器人已经达到了一个阶段，移动不再是主要挑战——机器已经可以在空间中导航、抓取和操作，具有令人印象深刻的精度。然而，实现他们真正“生活”和在现实世界中运行仍然是一个未解决的问题。

在这个过程中，关键角色是由所谓的“脊髓”系统扮演的：负责基本反应、行为和与环境交互的系统。

当你从这个角度看待机器人的演化时，很明显，这个阶段序列——在每个阶段，系统学习新东西，从简单的移动到复杂的、上下文感知的动作——与人类发展非常相似。

而正是在这个演化中——从“空白”的硬件到有意义的行为——今天的物理人工智能的主要转变正在发生。有趣的是，深入学习它。

机器人学的基础：一个很少讨论的阶段

什么是机器人在实际意义上？它是一个最初被创建为通用平台的物理设备。从本质上讲，它是一个“空白”，必须被适应于特定的任务、训练以在特定环境中运行，并被教导执行所需的动作。

如果我们超越日常场景，考虑更现实的近期应用，我们会发现机器人的全面采用将主要发生在工业和潜在危险的环境中。这反过来意味着对他们的行为、稳定性和训练质量有着显著更高的要求。

这个过程从最基本的步骤开始——构建设备本身。机器人由多个组件组成，包括执行器、电机、传感器、摄像头、激光雷达。它可以是人形、轮式、双足或四足——形状是次要的。重要的是，在这个阶段，我们最终得到一个功能但仍然“空白”的设备。

下一个阶段是安装一个基础模型，该模型作为其行为的基础。在广泛的意义上，“模型”是整个功能控制层。它负责核心能力：保持平衡、站立和移动、从点A到点B导航、避免障碍、不损坏环境、安全地与人类交互。

这就是强化学习发挥作用的地方。在这样的系统中，运行了数十亿次模拟。我们经常看到机器人在复杂环境中“学习”的视频：大多数机器人会摔倒、失去平衡或无法完成任务。但是那些能够保持直立并继续移动的机器人是进步的机器人。

这就是强化学习的本质：选择成功的行为。那些“幸存”的算法成为下一个迭代的基础。因此，在经过大量运行之后，出现了一个可以自信地处理障碍的模型。然后将该算法转移到物理设备上。

这是一个扎实但至关重要的阶段——通常涉及很少或没有计算机视觉，这在这一点上是不需要的。我们正在处理的不是计算机视觉，而是必须从一开始就嵌入到系统中的基本物理和力学。

机器人如何开始“感知”世界

所以，我们已经拥有了“硬件”——一个带有基础模型的机器人：它可以站立、行走和保持平衡。但这对于现实世界中的任务，例如在工业环境中，是否足够？显然不够。

下一个层次从这里开始。我们集成传感器并训练模型根据感官输入进行操作。出现了一层新的核心技能——远远超过简单的移动。

与人类发展的类比在这里很有用。在第一个阶段，我们将系统提升到了大约一岁孩子的水平：它可以站立、迈出第一步、保持平衡而不摔倒。下一步更像是八岁孩子的水平。

在这个年龄，孩子积极地使用他们的“感官”：他们可以感知风险并评估他们的行为的后果。他们知道不要触摸热的东西或把很冷的东西放进嘴里。他们可以爬上桌子、骑自行车、与物体交互。他们能够抓取、携带和操作物体，并执行基本的自我护理动作。

我们称这个阶段为预训练。在这一点上，仅仅依靠模拟是不够的。

是的，一些场景仍然可以被有效地建模：如何拿起一个玻璃杯，或者更换电池，例如，移除一个组件，放置在充电器上，取另一个，然后安装回去。

但总体而言，平衡发生了转变：大约80%的训练仍然可以在模拟中进行，而大约20%的数据必须来自现实世界。这也是我们开始讨论自我中心数据的地方。

自我中心数据作为环境理解的基础

今天，自我中心数据正在全球范围内大规模收集——因为没有它，无法从基本力学转变为与现实世界的有意义交互。我的一位同事经营着一家汽车维修店网络，他的员工使用头戴式摄像头来记录整个汽车维修过程。纽约市的一位建筑所有者实施了类似的方法：清洁人员佩戴额头上的摄像头来捕捉他们如何清洁空间和维护卫生区域。

随着时间的推移，这些录音成为一个独立的产品——它们被打包和出售。它们的关键价值在于它们适合预训练阶段，帮助构建对环境和动作序列的基础理解。

例如，Keymakr提供了这样的服务，团队独立创建了简单场景（如洗碗）到更复杂场景的整个自我中心数据集合。

为什么这是如此重要？因为这样的数据提供了纯模拟无法提供的东西——现实世界环境的多样性。办公室、汽车维修店、建筑工地、餐厅和酒店——每一个都添加了自己的背景、情景和细微差别。它们共同形成了一个数据集，使系统不仅仅能够“看到”，而且逐渐开始理解现实世界的动态。

在这个阶段，目标不再是教机器人完美地执行特定动作。更重要的是使其能够在其周围环境中定位自己。

今天，几乎所有从事机器人领域的公司——从特斯拉到Unitree Robotics和Figure AI——都专注于这一阶段。他们的目标是建立一个基础模型，其能力首先类似于“八岁孩子”，然后朝着“十二岁孩子”的方向发展。这也是我们在Introspector关注的内容——为预训练阶段准备所需的数据，这是现代机器人“成长”的最关键阶段。

训练的最后一英里：通用性结束，专业化开始的地方

让我们想象一个机器人已经完成了预训练，并从一开始就具有对世界的基本理解和与青少年相当的技能。但即使这样，对于真正的商业用例来说仍然不够。公司不需要“通用”机器人——他们需要专家。

以汽车制造为例。一些任务仍然由人类执行，因为它们需要灵敏度、精确度和连续的视觉控制。传统的自动化在这里挣扎。工业操作员擅长重复、刚性任务——“拾取、移动、放置”。但需要适应性、压力感知和实时调整的任务仍然属于人类的领域。

这就是一个新的需求出现的地方：训练机器人执行特定操作，正如熟练的工人在生产线上所做的那样。换句话说，在基础训练之后，下一个层次是训练特定职业和场景。

在这一点上，一个实际问题出现：这种培训水平需要什么？如果我们希望机器人复制人类的表现，我们需要尽可能精确地捕捉人类的行为。例如，工厂上的专家需要佩戴摄像头，并在较长时间内——数月甚至一年——记录他们如何执行任务。

机器人“生活”在人类世界需要什么

单独的摄像头是不够的。我们不仅需要捕捉视觉视角，还需要捕捉运动的物理特性。这是通过使用带有触觉传感器的手套来完成的，手套可以测量压力、施加的力和与物体的交互方式。这尤其重要，因为物体本身可能会有很大差异。例如，密封条的刚度可能会因车型而异，这直接影响任务的执行方式。

接下来是运动学跟踪。视觉或传感器标记被放置在手腕、肘部和有时肩膀上。这些可以包括带有可识别标记（类似于QR码）的腕带，使系统能够从视频中跟踪手在空间中的位置。额外的传感器，如陀螺仪，用于捕捉关节运动。

最终目标是完全重建运动的机制：肩膀如何移动，肘部如何弯曲，手腕如何旋转。所有这些对于下一个阶段——后训练——都是必不可少的。

如果在预训练中，我们仍然可以部分依赖模拟，那么在这个阶段，模拟不再起作用。这个“最后一英里”几乎不可能被准确地建模。例如，你不可能完全模拟厨师如何擀面团——施加的力、压力的分布、材料的感觉。

这就是为什么在后训练中，几乎所有数据都必须来自现实世界。这也是为什么它变得明显：主要挑战转移到了实际领域——如何在现实中获得这样的数据。以这种水平收集自我中心数据是一个复杂的多步骤过程，涉及环境访问、专用设备、熟练工人的参与以及随后的数据准备。

除了理论之外，这就是机器人真正“活过来”的地方——在我们能够组织这个过程、克服各个行业团队面临的约束、并在规模上注释这样的数据集之后。 这将在下一部分中介绍，我们将更详细地研究在标记和准备过程中出现的所有挑战。