تعليم الروبوتات حول الأدوات باستخدام مجالات الإشعاع العصبية (NeRF)

أظهرت الأبحاث الجديدة من جامعة ميشيغان طريقة لروبوتات الفهم آليات الأدوات والأجسام المفصلية في العالم الحقيقي، من خلال إنشاء مجالات الإشعاع العصبية (NeRF) التي تظهر كيف تتحرك هذه الأجسام، وبالتالي تمكن الروبوتات من التفاعل معها واستخدامها دون الحاجة إلى تكوين مسبق متعب.

باستخدام المراجع الداخلية المعروفة للحركة الداخلية للأدوات (أو أي جسم مناسب)، يمكن لـ NARF22 تحليل تقريب فوتوغرافي للtool ونطاق حركته ونوع عمله. مصدر: https://progress.eecs.umich.edu/projects/narf/

الروبوتات التي تتطلب أكثر من تجنب المارة أو أداء روتين معين مسبقًا (لها بيانات غير قابلة لإعادة الاستخدام قد تم تخصيصها وتدريبها في وقت ما) تحتاج إلى هذا النوع من القدرة التكيفية إذا كانت ستعمل مع نفس المواد والأجسام التي نتعامل معها.

حتى الآن، هناك عدة عوائق أمام إعطاء الأنظمة الروبوتية هذا النوع من المرونة. وتشمل هذه العوائق قلة البيانات القابلة للتطبيق، والتي تتميز بعدد محدود من الأجسام؛ والتكلفة الكبيرة المترتبة على إنشاء نماذج ثلاثية الأبعاد فوتوغرافية يمكن أن تساعد الروبوتات على تعلم الآلية في سياق العالم الحقيقي؛ وعدم وجود بيانات فوتوغرافية حقيقية يمكن أن تظهر الأجسام على أنها منفصلة عما يدركه الروبوت في العالم المحيط به، وبالتالي يتعلم الروبوت البحث عن جسم من النوع الكرتوني الذي لن يظهر في الواقع.

للتغلب على هذه المشكلة، قام الباحثون في ميشيغان، الذين نشرت ورقتهم تحت عنوان NARF22: Neural Articulated Radiance Fields for Configuration-Aware Rendering، بإنشاء خط أنابيب من两ى مرحلة لإنشاء أجسام مفصلية تستند إلى NeRF ذات مظهر حقيقي، وتتضمن حركة وقيود كل جسم مفصل.

على الرغم من أن خط الأنابيب يبدو أكثر تعقيدًا، فإن المرحلتين الأساسيتين تتضمن عرض الأجزاء الثابتة للأدوات المتحركة، ثم دمج هذه الأجزاء في مجموعة بيانات ثانية تعرف على معلمات الحركة لهذه الأجزاء بالنسبة لبعضها البعض. مصدر: https://arxiv.org/pdf/2210.01166.pdf

NARF22

يُعتبر تحديد ما إذا كان الجسم الغامض يمكن أن يكون مفصلًا يتطلب كمية هائلة من المعرفة السابقة على الطراز البشري. على سبيل المثال، إذا كنت لم تكن قد رأيت درجًا مغلقًا من قبل، فقد يبدو لك أنه لوح زخرفي آخر – ولا يصبح الأمر واضحًا حتى تفتحه وتدرك أن “الدرج” هو جسم مفصل ذو محور حركة واحد (إلى الأمام والخلف).

لذلك، NARF22 لا يُستخدم ك نظام استكشافي لالتقاط الأشياء واكتشاف ما إذا كانت تحتوي على أجزاء متحركة قابلة للعمل – سلوك شبه قردي قد يؤدي إلى سيناريوهات محتملة للكوارث. بدلاً من ذلك، يعتمد الإطار على المعرفة المتاحة في تنسيق وصف الروبوت الشامل (URDF) – تنسيق مفتوح يستند إلى XML مناسب للغاية للمهمة. سيتضمن ملف URDF المعلمات القابلة للاستخدام للحركة في الجسم، بالإضافة إلى وصفات وأجزاء أخرى تم وضع علامات عليها من أجزاء الجسم.

في الأنابيب التقليدية، من الضروري وصف قدرات المفصلات في الجسم، ووضع علامات على قيم المفاصل ذات الصلة. هذه ليست مهمة رخيصة أو قابلة للتوسيع بسهولة. بدلاً من ذلك، يُ렌در نظام NaRF22 المكونات الفردية للجسم قبل “تجميع” كل جزء ثابت في تمثيل مفصل يستند إلى NeRF، مع معرفة معلمات الحركة المقدمة من URDF.

في المرحلة الثانية من العملية، يتم إنشاء معرض جديد يدمج جميع الأجزاء. على الرغم من أن من الممكن ببساطة دمج الأجزاء الفردية في مرحلة مبكرة وتجاوز الخطوة اللاحقة، يلاحظ الباحثون أن النموذج النهائي – الذي تم تدريبه على وحدة معالجة رسومات NVIDIA RTX 3080 تحت وحدة المعالجة المركزية AMD 5600X – له متطلبات حسابية أقل أثناء الاسترجاع العكسي مقارنة بتجميع غير متعمد في مرحلة مبكرة.

البيانات والتحеримات

أجرى الباحثون العديد من التجارب لاختبار NARF22: واحدة لتقييم العرض النوعي لكل تكوين ووضع للجسم؛ اختبار كمي لتقدير النتائج المعروضة بالمقارنة مع مناظير مشابهة يراها الروبوتات في العالم الحقيقي؛ واختبار لتقدير التكوين وتحسين الرفع بستة درجات حريّة باستخدام NARF22 لأداء تحسين التدرج.

تم اخذ بيانات التدريب من مجموعة أدوات التقدم من ورقة سابقة لبعض من مؤلفي العمل الحالي. تحتوي مجموعة أدوات التقدم على ما يقرب من ستة آلاف صورة RGB-D (بما في ذلك معلومات العمق، التي هي ضرورية للرؤية الروبوتية) بدقة 640×480. وشملت المشاهد ثمانية أدوات يدوية، مقسمة إلى أجزائها، مع نماذج شبكية و معلومات حول الخصائص الكينماتيكية للأجسام (أي كيف تم تصميمها للتحرك، ومعلمات هذا التحرك).

تتميز مجموعة أدوات التقدم بأدوات مفصلية أربعة. الصور أعلاه هي معروضات تستند إلى NeRF من NARF22.

لإجراء هذا الاختبار، تم تدريب نموذج قابل للتكوين نهائي باستخدام مقصّين فقط، ومقص طويل الأنف، ومقبس (انظر الصورة أعلاه). تحتوي بيانات التدريب على تكوين واحد فقط للمقبس، وتكوين واحد لكل من المقصّين.

تستند تنفيذ NARF22 على FastNeRF، مع تعديل معلمات الإدخال لتركيز على وضع وترميز مكاني للأدوات. يستخدم FastNeRF شبكة عصبونية متعددة الطبقات مع آلية عينة الفوكسيل (الفوكسيلات هي ببساطة بكسلات ثلاثية الأبعاد، بحيث يمكنها العمل في الفضاء ثلاثي الأبعاد).

للاختبار النوعي، يلاحظ الباحثون أن هناك أجزاء مخفية من المقبس (أي العمود الفقري المركزي، الذي لا يمكن معرفته أو تخمينه من خلال ملاحظة الجسم، ولكن فقط من خلال التفاعل معه، وأن النظام يصعب عليه إنشاء هذه “الجغرافيا غير المعروفة”.

معروضات نوعية للأدوات.

من ناحية أخرى، كان من الممكن للمقصّين تعميم جيد للتكوينات الجديدة (أي امتدادات وحركات لأجزائها التي تتوافق مع معلمات URDF، ولكنها ليست موضحة بشكل صريح في مواد التدريب للنموذج.

يلاحظ الباحثون، مع ذلك، أن أخطاء التسمية للمقصّين أدت إلى تقليل جودة العرض للنهايات المتفصلة للأدوات، مما يؤثر سلبًا على العروض – مشكلة تتعلق بمخاوف أوسع حول логистيات التسمية، والتخطيط المالي، ودقة البحث في مجال الرؤية الحاسوبية، chứ không مع أي نقص في إجراء خط الأنابيب NARF22.

نتائج اختبار دقة العرض.

للاختبارات لتقييم التكوين، أجرى الباحثون تحسين الوضع وتحسين التكوين من وضع صلب أولي، وتجنبوا أي من التخزين المؤقت أو التعجيلات الأخرى المستخدمة في FastNeRF نفسه.

ثم قاموا بتدريب 17 مشهدًا من مجموعة الاختبار من مجموعة أدوات التقدم (التي تم إحضارها أثناء التدريب)، وتم تشغيل 150 تكرارًا من تحسين التدرج تحت محسّن Adam. هذا الإجراء استعاد تقدير التكوين “جيدًا للغاية”، وفقًا للباحثين.

نتائج اختبار تقدير التكوين.

نُشر لأول مرة في 5 أكتوبر 2022.