روبوت يتعلم المشي من تلقاء نفسه من خلال التعلم التعزيزي

في حين أن روبوتات بوسطن دايناميكس والروبوتات الراقصة عادة ما تحصل على معظم الانتباه، هناك بعض التطورات الكبيرة التي تحدث في الخلفية ولا تحصل على تغطية كافية. واحدة من تلك التطورات تأتي من مختبر بيركلي، حيث تمكنت روبوتة تدعى كاسي من تعلم المشي من تلقاء نفسها من خلال التعلم التعزيزي.

بعد التجربة والخطأ، تعلمت زوج من الساقين الروبوتية التنقل في بيئة محاكاة قبل أن يتم اختبارها في العالم الحقيقي. في البداية، أظهرت الروبوت القدرة على المشي في جميع الاتجاهات، والمشي أثناء الانحناء، وإعادة وضع نفسها عندما يتم دفعها خارج التوازن، والتكيف مع أنواع مختلفة من الأسطح.

روبوت كاسي هو أول مثال لروبوت ثنائي الساقين يستخدم التعلم التعزيزي بنجاح للمشي.

روعة الروبوتات الراقصة

في حين أن روبوتات مثل تلك التي تنتجها بوسطن دايناميكس هي روبوتات مثيرة للإعجاب وتثير إعجاب الجميع الذين يشاهدونها، هناك بعض العوامل المهمة. أكثر ما يلفت الانتباه هو أن هذه الروبوتات يتم برمجةها وتشغيلها يدويًا لتحقيق النتيجة، ولكن هذا ليس الأسلوب المفضل في الحالات الحقيقية.

خارج المختبر، يجب أن تكون الروبوتات متينة ومرنة ومتنوعة. بالإضافة إلى ذلك، يجب أن تكون قادرة على مواجهة ومعالجة المواقف غير المتوقعة، والتي يمكن أن تتم فقط من خلال تمكينها من التعامل مع هذه المواقف بنفسها.

كان Zhongyu Li جزءًا من الفريق الذي يعمل على روبوت كاسي في جامعة بيركلي.

“قد تؤدي هذه الفيديوهات إلى أن يعتقد بعض الناس أن هذه مشكلة محلولة وسهلة،” يقول لي. “لكننا ما زلنا لدينا طريق طويل للوصول إلى روبوتات شبه إنسانية تعمل بثبات وتعيش في بيئات بشرية.”

https://www.youtube.com/watch?v=goxCjGPQH7U

التعلم التعزيزي

为了创造这样的机器人，伯克利团队依靠了强化学习，这种方法曾被像DeepMind这样的公司用来训练算法，以击败人类在世界上最复杂的游戏中。强化学习基于试错，机器人从自己的错误中学习。

机器人Cassie使用强化学习来学习如何在模拟环境中行走，这并不是第一次使用这种方法。然而，这种方法通常不会从模拟环境转移到现实世界。即使是小小的差异也可能导致机器人无法行走。

研究人员使用了两个模拟环境，而不是一个。第一个模拟环境是一个名为MuJoCo的开源训练环境，在这个环境中，算法尝试并学习了一系列可能的动作。在第二个模拟环境中，名为SimMechanics，机器人在更现实的条件下测试了这些动作。

在两个模拟环境中开发后，算法不需要进行微调。它已经准备好在现实世界中使用。不仅能够行走，还能够做更多的事情。根据研究人员的说法，Cassie能够在机器人膝盖中的两个电机发生故障后恢复过来。

虽然Cassie可能没有其他机器人那么多功能，但它在很多方面更令人印象深刻。它对技术的影响也更大，尤其是在现实世界中的应用，因为这样的行走机器人可以在很多不同的领域中使用。