تعليم الروبوتات حول الأدوات باستخدام مجالات الإشعاع العصبية (NeRF)

أظهرت الأبحاث الجديدة من جامعة ميشيغان طريقة تمكّن الروبوتات من فهم آليات الأدوات والأجسام المفصلية في العالم الحقيقي، من خلال إنشاء مجالات الإشعاع العصبية (NeRF) التي تظهر كيف تتحرك هذه الأجسام، وبالتالي تمكن الروبوتات من التفاعل معها واستخدامها دون الحاجة إلى تكوين مسبق متعب.

باستخدام المراجع الداخلية المعروفة للحركة الداخلية للأدوات (أو أي جسم مناسب)، يمكن لـ NARF22 توليد تقريب واقعي فوتوغرافي للأداة ونطاق حركته ونوع عمله. مصدر: https://progress.eecs.umich.edu/projects/narf/

الروبوتات التي تتطلب أكثر من تجنب المارة أو أداء روتين معين مسبقًا (لها بيانات غير قابلة لإعادة الاستخدام قد تم وسمها واستخدامها في التدريب بتكلفة معينة) تحتاج إلى هذا النوع من القدرة التكيفية إذا كانت ستعمل مع نفس المواد والأجسام التي نتعامل معها.

حتى الآن، هناك عدة عوائق أمام إعطاء الأنظمة الروبوتية هذا النوع من المرونة. وتشمل هذه العوائق قلة البيانات القابلة للتطبيق، والتي تتميز بعدد محدود من الأجسام؛ والتكلفة الكبيرة المترتبة على إنشاء نماذج ثلاثية الأبعاد واقعية فوتوغرافيًا قائمة على الشبكات الهندسية يمكن أن تساعد الروبوتات على تعلم استخدام الأدوات في سياق العالم الحقيقي؛ وعدم وجود بيانات فوتوغرافية حقيقية يمكن أن تظهر الأجسام على أنها منفصلة عما يدركه الروبوت في العالم المحيط به، وبالتالي يتعلم الروبوت البحث عن جسم من النوع الكرتوني الذي لن يظهر في الواقع.

للتغلب على هذه المشكلة، قام الباحثون في ميشيغان، الذين نُشرت ورقتهم تحت عنوان NARF22: Neural Articulated Radiance Fields for Configuration-Aware Rendering، بإنشاء خط أنابيب من مرحلتين لإنشاء أجسام مفصلية تستند إلى NeRF ذات مظهر حقيقي، وتتضمن حركة وقيود كل جسم مفصل.

على الرغم من أن خط الأنابيب يبدو أكثر تعقيدًا، فإن المرحلتين الأساسيتين تتضمن عرض الأجزاء الثابتة للأدوات المتحركة، ثم دمج هذه الأجزاء في مجموعة بيانات ثانية تعرف على معلمات الحركة لهذه الأجزاء بالنسبة لبعضها البعض. مصدر: https://arxiv.org/pdf/2210.01166.pdf

يسمى النظام Neural Articulated Radiance Field، ويُختصر إلى NARF22 لتمييزه عن مشروع آخر يحمل اسمًا مشابهًا.

NARF22

يُعتبر تحديد ما إذا كان الجسم الغامض يمكن أن يكون مفصلًا يتطلب كمية هائلة من المعرفة السابقة على الطراز البشري. على سبيل المثال، إذا كنت لم تكن قد رأيت درجًا مغلقًا من قبل، فقد يبدو لك أنه لوح زخرفي آخر – ولا يصبح الأمر واضحًا حتى تفتحه وتدرك أن “الدرج” هو جسم مفصل ذو محور حركة واحد (إلى الأمام والخلف).

لذلك، NARF22 لا يُستخدم ك نظام استكشافي لالتقاط الأشياء واكتشاف ما إذا كانت تحتوي على أجزاء متحركة قابلة للعمل – سلوك شبه قردي قد يؤدي إلى سيناريوهات محتملة للكوارث. بدلاً من ذلك، يعتمد الإطار على المعرفة المتاحة في تنسيق وصف الروبوت الشامل (URDF) – تنسيق مفتوح يستند إلى XML مناسب للغاية للمهمة. سيتضمن ملف URDF المعلمات القابلة للاستخدام للحركة في الجسم، بالإضافة إلى أوصاف وجوانب أخرى موسومة من أجزاء الجسم.

في الأنابيب التقليدية، من الضروري وصف قدرات المفصلات في الجسم، ووضع علامات على قيم المفاصل ذات الصلة. هذه ليست مهمة رخيصة أو قابلة للتوسيع بسهولة. بدلاً من ذلك، يُصيّر نظام NaRF22 المكونات الفردية للجسم قبل “تجميع” كل جزء ثابت في تمثيل مفصل يستند إلى NeRF، مع معرفة معلمات الحركة المقدمة من URDF.

في المرحلة الثانية من العملية، يتم إنشاء محرّك تصيير جديد يدمج جميع الأجزاء. على الرغم من أن من الممكن ببساطة دمج الأجزاء الفردية في مرحلة مبكرة وتجاوز الخطوة اللاحقة، يلاحظ الباحثون أن النموذج النهائي – الذي تم تدريبه على وحدة معالجة رسومات NVIDIA RTX 3080 تحت وحدة المعالجة المركزية AMD 5600X – له متطلبات حسابية أقل أثناء الانتشار العكسي مقارنة بتجميع متسرع ومبكر. ويعمل نموذج المرحلة الثانية بضعف سرعة التجميع المباشر بالقوة الغاشمة. ولا تحتاج التطبيقات الثانوية التي تستخدم معلومات الأجزاء الثابتة إلى الوصول إلى بيانات URDF بنفسها، لأنها مدمجة بالفعل في محرّك التصيير النهائي.

البيانات والتجارب

أجرى الباحثون العديد من التجارب لاختبار NARF22: واحدة لتقييم العرض النوعي لكل تكوين ووضع للجسم؛ اختبار كمي لتقدير النتائج المعروضة بالمقارنة مع مناظير مشابهة يراها الروبوتات في العالم الحقيقي؛ واختبار لتقدير التكوين وتنقيح 6 DOF (عمق المجال) باستخدام NARF22 لأداء تحسين التدرج.

تم اخذ بيانات التدريب من مجموعة Progress Tools من ورقة سابقة لبعض من مؤلفي العمل الحالي. تحتوي مجموعة Progress Tools على ما يقرب من ستة آلاف صورة RGB-D (بما في ذلك معلومات العمق، التي هي ضرورية للرؤية الروبوتية) بدقة 640×480. وشملت المشاهد ثمانية أدوات يدوية، مقسمة إلى أجزائها، مع نماذج شبكية و معلومات حول الخصائص الكينماتيكية للأجسام (أي كيف تم تصميمها للتحرك، ومعلمات هذا التحرك).

تتميز مجموعة Progress Tools بأدوات مفصلية أربعة. الصور أعلاه هي معروضات تستند إلى NeRF من NARF22.

لإجراء هذا الاختبار، تم تدريب نموذج قابل للتكوين نهائي باستخدام زردية كهربائي، وزردية طويلة الأنف، ومشبك فقط (انظر الصورة أعلاه). تحتوي بيانات التدريب على تكوين واحد فقط للمشبك، وتكوين واحد لكل نوع من الزراديات.

تستند تنفيذ NARF22 على FastNeRF، مع تعديل معلمات الإدخال لتركيز على وضع وترميز مكاني للأدوات. يستخدم FastNeRF بيرسيبترون متعدد الطبقات محلل إلى عوامل (MLP) مع آلية عينة الفوكسيل (الفوكسيلات هي ببساطة بكسلات ثلاثية الأبعاد، بحيث يمكنها العمل في الفضاء ثلاثي الأبعاد).

للاختبار النوعي، يلاحظ الباحثون أن هناك أجزاء مخفية من المشبك (أي القضيب المركزي، الذي لا يمكن معرفته أو تخمينه من خلال ملاحظة الجسم، ولكن فقط من خلال التفاعل معه)، وأن النظام يصعب عليه إنشاء هذه “الهندسة غير المعروفة”.

معروضات نوعية للأدوات.

من ناحية أخرى، كان من الممكن لنماذج الزراديات التعميم جيدًا للتكوينات الجديدة (أي امتدادات وحركات لأجزائها التي تتوافق مع معلمات URDF، ولكنها ليست موضحة بشكل صريح في مواد التدريب للنموذج).

يلاحظ الباحثون، مع ذلك، أن أخطاء التسمية للزراديات أدت إلى تقليل جودة العرض للنهايات المتفصلة للأدوات، مما يؤثر سلبًا على العروض – مشكلة تتعلق بمخاوف أوسع حول تنظيم أعمال الوسم، والتخطيط المالي، ودقة البحث في مجال الرؤية الحاسوبية، وليس بأي أي نقص في إجراء خط الأنابيب NARF22.

نتائج اختبار دقة العرض.

للاختبارات لتقييم التكوين، أجرى الباحثون تحسين الوضع وتحسين التكوين من وضع صلب أولي، وتجنبوا أي من التخزين المؤقت أو التعجيلات الأخرى المستخدمة في FastNeRF نفسه.

ثم قاموا بتدريب 17 مشهدًا من مجموعة الاختبار من مجموعة Progress Tools (التي استُبعدت من التدريب واحتُفظ بها للاختبار)، وتم تشغيل 150 تكرارًا من التحسين بالانحدار المتدرج تحت محسّن Adam. هذا الإجراء استعاد تقدير التكوين “جيدًا للغاية”، وفقًا للباحثين.

نتائج اختبار تقدير التكوين.

نُشر لأول مرة في 5 أكتوبر 2022.