机器人通过强化学习自学

虽然波士顿动力公司和 跳舞机器人 通常会受到大多数关注，但幕后发生的一些重大进展却没有得到足够的报道。 其中一项进展来自伯克利实验室，其中一个名为 Cassie 的机器人能够自学进行强化学习。 

经过反复试验，这对机械腿学会了在模拟环境中导航，然后在现实世界中进行测试。 最初，该机器人展示了向各个方向行走、蹲下行走、在失去平衡时重新定位以及适应不同类型表面的能力。 

Cassie 机器人是第一个成功使用强化学习行走的两足机器人。 

跳舞机器人的敬畏

虽然波士顿动力公司的机器人令人印象深刻，几乎让所有观看它们的人都惊叹不已，但有几个关键因素。 最值得注意的是，这些机器人是手工编程和编排的，以实现结果，但这并不是现实世界中的首选方法。 

在实验室之外，机器人必须坚固、有弹性、灵活等等。 最重要的是，他们需要能够遇到和处理意外情况，这只能通过让他们自己处理这种情况来实现。 

李中宇是伯克利大学研究 Cassie 的团队的一员。 

“这些视频可能会让一些人相信这是一个已解决且简单的问题，”李说。 “但要让仿人机器人在人类环境中可靠地运行和生活，我们还有很长的路要走。” 

强化学习

为了创造这样的机器人，伯克利团队依靠强化学习，DeepMind 等公司已使用强化学习来训练算法，以在世界上最复杂的游戏中击败人类。 强化学习基于反复试验，机器人从错误中学习。 

Cassie 机器人使用强化学习来学习如何在模拟中行走，这并不是第一次使用这种方法。 然而，这通常无法脱离模拟环境并进入现实世界。 即使很小的差异也可能导致机器人无法行走。 

研究人员使用了两次模拟，而不是一次，第一个是名为 MuJoCo 的开源训练环境。 在第一次模拟中，算法尝试并从可能的运动库中学习，而在名为 SimMechanics 的第二次模拟中，机器人在更真实的条件下对其进行了测试。

经过两次模拟开发后，算法不需要进行微调。 它已经准备好进入现实世界了。 它不仅能走路，还能做更多的事情。 据研究人员称，在机器人膝盖的两个电机发生故障后，卡西得以康复。

虽然卡西可能不像其他一些机器人那样拥有所有的花哨功能，但它在很多方面都令人印象深刻。 当涉及到现实世界的使用时，它也对该技术产生更大的影响，因为这样的步行机器人可以用于许多不同的领域。