علماء الحاسوب يستخدمون التعزيز الإيجابي لتعليم الروبوتات

استخدم علماء الحاسوب في جامعة جونز هوبكينز تقنية التدريب القائمة على التعزيز الإيجابي، والتي يتم استخدامها في كثير من الأحيان لتدريب الحيوانات مثل الكلاب، على روبوت حتى يتمكن من تعليم نفسه مهارات جديدة. ومن بين تلك المهارات الجديدة القدرة على ركن الكتل.

يسمى الروبوت سبوت، ووفقًا للباحثين، يمكن للروبوت تعلم المهارات في غضون أيام ما كان يحتاج إلى شهر لتعلمه.

التعزيز الإيجابي

استخدم الفريق التعزيز الإيجابي لزيادة مجموعة مهارات الروبوت. السرعة التي تمكن الفريق من تحقيقها تجعل من السهل نشر هذا النوع من الروبوتات في العالم الحقيقي.

نشرت الأعمال في IEEE Robotics and Automation Letters، تحت عنوان “روبوت جيد! تعلم تعزيز كفء لمهام بصرية متعددة الخطوات مع نقل من المحاكاة إلى الواقع.”

أندرو هانت هو طالب دكتوراه يعمل في جامعة جونز هوبكينز و هو المؤلف الرئيسي للبحث.

“السؤال هنا هو كيف نحصل على الروبوت ليتعلم مهارة؟” قال. “لدي كلبين所以 أعرف أن المكافآت تعمل وهذا ما ألهم تصميم خوارزمية التعلم.”

أحد الأسباب التي تجعل التعزيز الإيجابي يعمل على الكمبيوتر هو أنهم لا يمتلكون أدمغة直觉ية، مما يعني أنهم عبارة عن لوحة فارغة يمكن投影 أي شيء عليها. في outras كلمات، يجب أن يتعلموا كل شيء من لا شيء. واحدة من أكثر الطرق فعالية للتعلم بالنسبة للكمبيوتر هي التجربة والخطأ، وهو ما لا يزال يعمل عليه روبوتيون حتى اليوم.

هذا بالضبط ما فعلته الباحثون عندما أنشأوا نظام مكافأة للروبوت، مشابهة لعملية تدريب كلب عن طريق إعطائه معال. الفرق هو أن الروبوت سوف يحصل على نقاط رقمية عند إكمال مهمة بشكل صحيح.

https://www.youtube.com/watch?v=dvxqjJBWFD4

المهارات المكتسبة

عندما جاء الأمر لتعلم كيفية ركن الكتل، كان على الروبوت أن يتعلم التركيز على الأفعال الإنشائية. في هذه الطريقة، حصل الروبوت سبوت على نقاط أعلى عند إكمال سلوكيات صحيحة أثناء ركن الكتل. في النهاية الأخرى، لم يكن هناك شيء للافتاء على السلوكيات غير الصحيحة. حصل على أعلى عدد من النقاط من خلال إكمال ركن أربع كتل مع الكتلة الأخيرة في الأعلى.

شهد الباحثون نجاحًا كبيرًا في هذه الطريقة، حيث تعلم الروبوت في أيام ما كان سيستغرق أسابيع في الماضي. من خلال تدريب روبوت محاكي، قام الفريق بتقليل وقت الممارسة قبل الانتقال إلى روبوت سبوت.

“الروبوت يريد الدرجة الأعلى،” قال هانت. “يتعلم سريعًا السلوك الصحيح للحصول على أفضل مكافأة. في الواقع، كان يأخذ شهرًا من الممارسة للروبوت أن يصل إلى دقة 100٪. كنا قادرين على القيام بذلك في يومين.”

إضافة إلى تعلم كيفية ركن الكتل، استخدم الروبوت أيضًا التعزيز الإيجابي لتعلم مهام أخرى، مثل كيفية لعب لعبة ملاحة محاكاة.

“في البداية، لا يعرف الروبوت ما يفعل، لكنه سوف يتحسن مع كل ممارسة. لا يتنازل أبدًا ويستمر في المحاولة لركن الكتل ويمكنه إكمال المهمة 100٪ من الوقت،” قال هانت.

من بين التطبيقات المحتملة لهذه الطريقة، هناك تدريب روبوتات المنازل على إكمال مهام معينة، وكذلك تحسين المركبات المستقلة.

“هدفنا في النهاية هو تطوير روبوتات يمكنها إكمال مهام معقدة في العالم الحقيقي – مثل تجميع المنتجات، و رعاية كبار السن، و الجراحة،” قال هاجر. “في الوقت الحالي، لا نعرف كيف نبرمج مهام مثل هذه – العالم معقد جدًا. لكن الأعمال مثل هذه تظهر لنا أن هناك وعدًا لفكرة أن الروبوتات يمكنها تعلم كيفية إكمال مهام العالم الحقيقي بطريقة آمنة وفعالة.