机器人通过强化学习教自己走路

虽然波士顿动力公司和跳舞机器人通常会吸引大部分的注意力，但是在幕后有一些重要的发展没有得到足够的关注。其中一个发展来自伯克利实验室，一个名为Cassie的机器人通过强化学习能够教自己走路。

经过试验和错误，机器人的两条腿学会了在模拟环境中导航，然后在现实世界中进行测试。最初，机器人展示了能够在所有方向上行走、蹲着行走、重新定位自己当被推离平衡时、以及适应不同类型的表面。

Cassie机器人是第一个成功使用强化学习走路的两条腿机器人。

跳舞机器人的惊艳

虽然像波士顿动力公司这样的机器人非常令人印象深刻，几乎所有看到它们的人都感到惊讶，但有几个关键因素。最值得注意的是，这些机器人是手动编程和编排的，以实现结果，但这不是现实世界中首选的方法。

在实验室外，机器人必须具有强壮、灵活、适应性强等特点。除此之外，它们还需要能够遇到和处理意外情况，这只能通过使它们能够自己处理这些情况来实现。

李忠宇是伯克利大学Cassie项目团队的一员。

“这些视频可能会让一些人认为这是一个已经解决的问题，”李说。“但我们仍然有很长的路要走，才能让人形机器人可靠地在人类环境中运行和生活。”

https://www.youtube.com/watch?v=goxCjGPQH7U

强化学习

为了创建这样的机器人，伯克利团队依赖于强化学习，这种方法已经被像DeepMind这样的公司用来训练算法击败人类在最复杂的游戏中。强化学习基于试验和错误，机器人从自己的错误中学习。

Cassie机器人使用强化学习在模拟环境中学习如何行走，这不是第一次使用这种方法。然而，这通常不会从模拟环境转移到现实世界。即使是一个小的差异也可能导致机器人无法行走。

研究人员使用了两个模拟环境，而不是一个，第一个是名为MuJoCo的开源训练环境。在第一个模拟环境中，算法尝试并从可能的动作库中学习，然后在第二个模拟环境SimMechanics中测试它们在更现实的条件下。

在两个模拟环境中开发后，算法不需要进行微调。它已经准备好在现实世界中使用。不仅能够行走，而且能够做更多的事情。根据研究人员的说法，Cassie能够在两条腿的电机故障后恢复。

虽然Cassie可能没有其他机器人那么多的功能，但它在很多方面更令人印象深刻。它对现实世界的技术应用也有更大的影响，因为这样的行走机器人可以在许多不同的领域中使用。