Google 的 AI 教会机器人如何通过观察狗来移动

即使是今天一些最先进的机器人仍然以有些笨拙、生硬的方式移动。为了使机器人以更逼真、流畅的方式移动，Google 的研究人员开发了一种能够从真实动物的运动中学习的 AI 系统。Google 研究团队在上周末发布了一篇预印本论文，详细描述了他们的方法。在论文和一篇附加的 博客文章 中，研究团队描述了该系统背后的理念。论文作者认为，赋予机器人更自然的运动可以帮助它们完成需要精确运动的真实世界任务，例如在建筑物的不同楼层之间递送物品。

正如 VentureBeat 报道 的那样，研究团队使用强化学习来训练他们的机器人。研究人员首先收集了真实动物运动的视频片段，并使用强化学习（RL）技术来推动机器人模仿视频片段中的动物运动。在这种情况下，研究人员使用狗的视频片段来训练机器人，设计在物理模拟器中，并指示四足 Unitree Laikago 机器人模仿狗的运动。训练后，机器人能够完成复杂的运动，如跳跃、转身和快速行走，速度约为每小时 2.6 英里。

训练数据包括大约 200 万个狗在运动的样本，跟踪在物理模拟器中。不同的运动然后通过奖励函数和代理学习的策略运行。创建策略后，在模拟器中使用了一种称为潜在空间适应的技术将其转移到现实世界中。由于用于训练机器人的物理模拟器只能近似某些方面的现实世界运动，研究人员随机应用了各种扰动到模拟器，以模拟在不同条件下的操作。

根据研究团队的说法，他们能够使用仅来自 50 次试验的 8 分钟数据来适应模拟策略到现实世界的机器人。研究人员成功地展示了现实世界的机器人能够模仿各种不同的、特定的运动，如小跑、转身、跳跃和踱步。他们甚至能够模仿动画艺术家创建的动画，如组合跳跃和转身。

研究人员在论文中总结了他们的发现：

“我们展示了通过利用参考运动数据，单一的学习方法能够自动合成控制器用于多样化的行为的腿式机器人。通过将样本高效的域适应技术纳入训练过程，我们的系统能够在模拟中学习自适应策略，然后可以快速适应现实世界的部署。”

强化学习过程中使用的控制策略有一定的局限性。由于硬件和算法的约束，机器人无法做到某些事情。例如，它们无法奔跑或跳跃很远。学习的策略在稳定性方面也没有手动设计的运动那么好。研究团队希望通过使控制器更加强健和能够从不同类型的数据中学习来进一步发展这项工作。理想情况下，未来版本的框架将能够从视频数据中学习。