تعلم روبوتات جوجل كيفية الحركة من خلال مشاهدة الكلاب

尽管 بعض الروبوتات المتقدمة اليوم لا تزال تتحرك بطرق غير ملساء وغير سلسة، إلا أن الباحثين في جوجل طوروا نظامًا ذكياً قادرًا على التعلم من حركات الحيوانات الحقيقية. نشر فريق البحث في جوجل ورقة بحثية مسبقة قبل أسبوع، ووصف فيها المنطق وراء النظام. يعتقد مؤلفو الورقة أن منح الروبوتات حركة أكثر طبيعية يمكن أن تساعدهم على إنجاز مهام حقيقية في العالم الحقيقي تتطلب حركة دقيقة، مثل نقل الأشياء بين مستويات مختلفة من المبنى.

كما ذكرت VentureBeat، استخدم فريق البحث تعلم التعزيز لتدريب روبوتاتهم. بدأ الباحثون بجمع مقاطع فيديو لحيوانات حقيقية تتحرك، واستخدموا تقنيات التعلم بالتعزيز (RL) لدفع الروبوتات نحو تقليد حركات الحيوانات في مقاطع الفيديو. في هذه الحالة، درب الباحثون الروبوتات على مقاطع فيديو لكلب، مصمم في محاكي فيزيائي، وأمر روبوت Unitree Laikago ذو четыре أرجل بتقليد حركات الكلب. بعد تدريب الروبوت، أصبح قادرًا على إنجاز حركات معقدة مثل القفز والتحول والسير بسرعة تبلغ حوالي 2.6 ميل في الساعة.

تكونت بيانات التدريب من حوالي 200 مليون عينة لكلاب تتحرك، تمت متابعتها في محاكي فيزيائي. ثم تم تشغيل الحركات المختلفة من خلال دوال مكافأة وسياسات تعلمها الوكلاء. بعد إنشاء السياسات في المحاكي، تم نقلها إلى العالم الحقيقي باستخدام تقنية تسمى التكيف في الفضاء الكامن. نظرًا لأن محاكي الفيزياء المستخدمة لتدريب الروبوتات يمكن أن تتقرب فقط من بعض جوانب الحركة في العالم الحقيقي، قام الباحثون بتطبيق اضطرابات مختلفة بشكل عشوائي على المحاكي، بهدف محاكاة التشغيل تحت ظروف مختلفة.

وفقًا لفريق البحث، تمكنوا من تعديل سياسات المحاكي إلى روبوتات العالم الحقيقي باستخدام apenas ثماني دقائق من البيانات التي تم جمعها من 50 تجربة مختلفة. نجح الباحثون في إظهار أن روبوتات العالم الحقيقي قادرة على تقليد مجموعة متنوعة من الحركات المحددة، مثل الركض والتحول والقفز والتمشي. حتى إنهم تمكنوا من تقليد الرسومات التي أنشأها فنانو الرسوم المتحركة، مثل القفز والتحول المشترك.

يوجز الباحثون النتائج في الورقة كما يلي:

“نظهر أن من خلال الاستفادة من بيانات الحركة المرجعية، يمكن لمقاربة التعلم واحدة أن ت合ن تلقائيًا مراقبي السلوك لمجموعة متنوعة من السلوكيات لروبوتات الساق. من خلال دمج تقنيات التكيف في النطاق بفعالية في عملية التدريب، يمكن لنظامنا أن يتعلم سياسات تكيّفية في المحاكي التي يمكن تعديلها بسرعة للنشر في العالم الحقيقي”.

كانت هناك قيود على سياسات التحكم المستخدمة خلال عملية التعلم بالتعزيز. بسبب القيود المفروضة بواسطة الأجهزة والخوارزميات، هناك بعض الأشياء التي لا يمكن للروبوتات القيام بها. على سبيل المثال، لم يتمكنوا من الركض أو القفز بعيدًا. كما لم تظهر السياسات المكتسبة استقرارًا كبيرًا عند مقارنتها بالحركات التي تم تصميمها يدوياً. يريد فريق البحث أن يأخذ العمل إلى أبعد من ذلك من خلال جعل المراقبين أكثر متانة وقدرة على التعلم من أنواع مختلفة من البيانات. في المثالية، ستكون إصدارات مستقبلية من الإطار قادرة على التعلم من بيانات الفيديو.