机器人通过强化学习自学

虽然波士顿动力公司和 跳舞机器人 通常会受到大多数关注，但幕后发生的一些重大进展却没有得到足够的报道。 其中一项进展来自伯克利实验室，其中一个名为 Cassie 的机器人能够自学进行强化学习。 

经过反复试验，这对机械腿学会了在模拟环境中导航，然后在现实世界中进行测试。 最初，该机器人展示了向各个方向行走、蹲下行走、在失去平衡时重新定位以及适应不同类型表面的能力。 

Cassie 机器人是第一个成功使用强化学习行走的两足机器人。 

跳舞机器人的敬畏

虽然波士顿动力公司的机器人令人印象深刻，几乎让所有观看它们的人都惊叹不已，但有几个关键因素。 最值得注意的是，这些机器人是手工编程和编排的，以实现结果，但这并不是现实世界中的首选方法。 

在实验室之外，机器人必须坚固、有弹性、灵活等等。 最重要的是，他们需要能够遇到和处理意外情况，这只能通过让他们自己处理这种情况来实现。 

李中宇是伯克利大学研究 Cassie 的团队的一员。 

“这些视频可能会让一些人相信这是一个已解决且简单的问题，”李说。 “但要让仿人机器人在人类环境中可靠地运行和生活，我们还有很长的路要走。” 

强化学习

为了创造这样的机器人，伯克利团队依靠强化学习，DeepMind 等公司已使用强化学习来训练算法，以在世界上最复杂的游戏中击败人类。 强化学习基于反复试验，机器人从错误中学习。 

Cassie 机器人利用强化学习在模拟环境中学习行走，这并非该方法的首次应用。然而，这种方法通常无法从模拟环境进入现实世界。即使是微小的差异也可能导致机器人无法行走。 

研究人员使用了两次模拟，而不是一次，第一个是名为 MuJoCo 的开源训练环境。 在第一次模拟中，算法尝试并从可能的运动库中学习，而在名为 SimMechanics 的第二次模拟中，机器人在更真实的条件下对其进行了测试。

经过两次模拟开发后，算法不需要进行微调。 它已经准备好进入现实世界了。 它不仅能走路，还能做更多的事情。 据研究人员称，在机器人膝盖的两个电机发生故障后，卡西得以康复。

虽然卡西可能不像其他一些机器人那样拥有所有的花哨功能，但它在很多方面都令人印象深刻。 当涉及到现实世界的使用时，它也对该技术产生更大的影响，因为这样的步行机器人可以用于许多不同的领域。