谷歌的AI教会机器人如何通过观看狗来移动

即使是今天最先进的机器人仍然以某种笨拙、jerky的方式移动。为了使机器人以更逼真、流畅的方式移动，谷歌的研究人员开发了一种能够从真实动物运动中学习的AI系统。谷歌研究团队在上周末发布了一篇预印本论文，详细介绍了他们的方法。在论文和一篇配套的博客文章中，研究团队描述了该系统背后的理由。论文作者认为，赋予机器人更自然的运动可以帮助它们完成需要精确运动的真实世界任务，例如在建筑物的不同楼层之间交付物品。

正如VentureBeat报道的，研究团队使用强化学习来训练他们的机器人。研究人员首先收集了真实动物运动的片段，并使用强化学习（RL）技术来推动机器人模仿视频片段中的动物运动。在这种情况下，研究人员训练机器人使用狗的视频片段，设计在物理模拟器中，指示四足Unitree Laikago机器人模仿狗的运动。训练后，机器人能够完成复杂的动作，如跳跃、转弯和快速行走，速度约为每小时2.6英里。

训练数据包括大约2亿个狗在运动的样本，使用物理模拟跟踪。不同的运动然后通过奖励函数和代理学习的政策运行。政策创建后，使用潜在空间适应技术将其转移到现实世界。由于用于训练机器人的物理模拟器只能近似模拟某些现实世界运动的方面，研究人员随机应用各种扰动到模拟中，旨在模拟在不同条件下运行。

根据研究团队的说法，他们能够使用从50次试验中收集的8分钟数据将模拟策略适应到现实世界的机器人。研究人员成功展示了现实世界的机器人能够模仿各种特定的动作，如小跑、转身、跳跃和踱步。他们甚至能够模仿动画艺术家创作的动画，如组合跳跃和转身。

研究人员在论文中总结了他们的发现：

“我们展示了通过利用参考运动数据，单一的学习方法能够自动合成控制器，用于腿式机器人的多样化行为。通过将样本高效的域适应技术纳入训练过程，我们的系统能够在模拟中学习适应性策略，然后可以快速适应现实世界的部署。”

强化学习过程中使用的控制策略有一定的局限性。由于硬件和算法的约束，机器人有一些事情做不到。例如，它们不能跑或跳很远。学习的策略也没有表现出与手动设计的运动相比的那么多稳定性。研究团队希望通过使控制器更强壮、能够从不同类型的数据中学习来进一步发展这项工作。理想情况下，框架的未来版本将能够从视频数据中学习。