التحكم في الطائرات بدون طيار من خلال الرؤية المباشرة

قام باحثون من الصين بتطوير خوارزمية جديدة يمكنها تمكين التحكم في طيران الطائرة بدون طيار عن طريق تفسير رؤية المستخدم مباشرة. بشكل فعال ، يصبح المشغل البشري “الطائرة بدون طيار” ، ويوجه مسارها بناءً على اتجاه نظرة المستخدم.

منظر المستخدم في الزاوية اليسرى السفلى ، مع مسار طيران الطائرة بدون طيار المحسوبة خارجيًا بواسطة جهاز الظل. انظر الفيديو في نهاية المقال لمشاهدة الفيلم بالكامل. المصدر: https://www.youtube.com/watch?v=WYujLePQwB8

المقال المقال يسمى GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation ، ويأتي من باحثين في معهد الأنظمة الإلكترونية والسيطرة في جامعة تشجيانغ ، وكلية السيطرة الآلية في معهد تكنولوجيا نانجينغ. كما أصدر الباحثون فيديو اليوم يظهر إمكانيات النظام (انظر نهاية المقال).

ما وراء التحكم المجرد

يهدف الباحثون إلى إزالة طبقة التجريد للتحكم في الطائرة بدون طيار ، بحجة أن وحدات التحكم الثانوية تتطلب تدريبًا وهي مجرد تمثيل تقريبي للنية المستخدم ، مما يؤدي إلى مناورات غير متوقعة وتفسيرات خاطئة للحركات التوجيهية.

في مقال نُشر في وقت سابق من هذا العام ، من نفس الباحثين ، شدد على أهمية الرؤية المباشرة في ملاحة الطائرة بدون طيار ، والعمل الحالي هو تطور للنتائج من ذلك البحث.

أعلى ، مجمع لمسار مختبر اختبار الطائرة بدون طيار ‘دورة الهجوم’ (انظر فيديوهات النهاية لاختبارات خارجية في بيئة مفتوحة طبيعية). أسفل ، يرتدي المشغل جهاز تتبع العين الذي يغذي منظر مباشر لكاميرا الطائرة بدون طيار الأمامية (أسفل اليمين). المصدر: https://arxiv.org/pdf/2109.04907.pdf

الخوارزمية

يستخدم GPA محسّنًا خلفيًا يُحسّن نظرة المستخدم إلى المسار الأمثل الأكثر أمانًا ، يمكن القول إنها تعادل “التحكم التلقائي” في الألعاب ، مع تأخير قريب من الصفر (لأسباب واضحة).

تثبت وحدات فرعية للطائرة بدون طيار مباشرة في الطائرة ، بما في ذلك مرافق لتقييم الحالة ، والتخطيط ، والخريطة ، ووحدات التحكم. يستلم النظام المحلي بيانات نظرة العين من وحدة عين واحدة مثبتة في حزام يرتديه المستخدم ، والتي توفر مسارًا طوبولوجيًا أوليًا ، والذي يجب على النظام تنظيفه أثناء التنفيذ.

لcreating تجربة متسقة للمشغل عن بُعد ، يتم تحديد المنظر الأبيض والأسود الذي يتلقاه المستخدم تلقائيًا بواسطة نظام الطائرة بدون طيار على متن الطائرة ، ولا سيما لأنه بدون ذلك سيكون من الصعب تفسير الانحرافات الجديدة المقصودة للمسار (كما هو موضح bằng تغيير في اتجاه النظر).

يحلل النظام أولاً إحداثيات المتجه المقدرة من تدفق الصورة. منذ أن يكون مدخル الفيديو للنظام الحالي أحادي العين ، يتم استخدام حدود عمق الإدراك للكاميرا للحصول على متجه عمق ثاني (يفرض على المتجه ثنائي الأبعاد المشتق من الصورة). في النظرية ، يمكن أن تستخدم الإصدارات اللاحقة كاميرات ستيريو لتحسين هذا Pipeline ، على الرغم من أنه يبقى أن نرى ما إذا كانت الزيادة الإضافية في الحمل الحاسوبي ستترك الفائدة من الإدراك ثلاثي الأبعاد القائم على الأجهزة سليمة.

في أي حال ، مع الحصول على القيم ثلاثية الأبعاد ، يتم استخدام الحساب كمنشأ لمسار بحث أول.by-العرض (BFS). يتم استخدام البكسل التي قد يتم تجاوزها بواسطة BFS (أي البكسل المحددة على أنها داخل الحدود بالفعل) ك点 مرجعي لتركيب DBSCAN (إذا لم يتم تركيبه بالفعل) ، ويعود الروتين إلى تقييم BFS من آخر نقطة انطلاق.

هندسة GPA.

يتكرر العملية حتى يتم تحديد وتسمية كائن داخل معاملات الحد المحدد للمجال (FOV – الذي في هذه الحالة يجب أن يكون واضحًا تمامًا لتفادي الاصطدامات).

أخيرًا ، يتم استخدام حسابات المتجه لإنشاء مسارات واضحة ، أو لتحقق من أن اتجاه نظرة المستخدم已经 مسار آمن عبر أو حول عقبة.

اختبارات حيث يتم تجاهل الرؤية (اليسار) وحيث يتم إعادة حساب المسار للاعتبار الرؤية حاسمة لمسار الطيران (اليمين).

الاختبار

لاختبار نظام التحكم في الطائرة بدون طيار القائم على النظر ، استخدم الباحثون الصينيون سلسلة من المتطوعين بدون معرفة مسبقة بالنظام ، ولا خبرة في التحكم في طيران الطائرة بدون طيار. تمت إعطاء المشاركين توجيهات موجزة للاطلاع على تشغيل النظام الأساسي ، وتمت إعطاءهم مسارات عقبات في بيئات مغلقة وخارجية مع ثلاث توجيهات موجزة فقط للاطلاع على تشغيل النظام الأساسي.

بالإضافة إلى ذلك ، بعد إعطاء المتطوعين توجيهات حول التضاريس الأساسية للعقبات ، أضاف الباحثون “عقبات مفاجئة” غير مدرجة في التوجيهات.

أعلى ، مسارات الطائرة بدون طيار عبر الإنترنت ، ملونة حسب الارتفاع. أسفل ، العقبات القابلة للملاحة ، بدءًا من الصناديق وانتقلت إلى الحلقات.

في الممارسة ، كان النظام قادرًا على تصحيح بيانات النظر بشكل فعال بحيث تمكنت الطائرات بدون طيار الحساسة للمساحة من المرور (أو عبر) العقبات على شكل حلقات وصناديق دون اصطدام ، وخلصت الدراسة إلى أن نظامهم ممتع وآمن ، مع هامش أمان كبير في التشغيل.

كما قارن الباحثون أداء نهجهم مع هندسة FocusTrack في نظام Mavic Air 2 ، وخلصت إلى أنه يتفوق عليه من خلال القدرة على تقدير ونفاذ نية المستخدم بدقة.

لقد تم بحث تقنية تتبع العين على نطاق واسع في مجالات مثل جمع بيانات المركبات المستقلة لمنظومات SDV القائمة على التعلم الآلي ، وبحث في أنماط الانتباه لدى الطيارين ، من بين قطاعات أخرى. في يوليو من هذا العام ، نشر فريق بحثي من بلغاريا النتائج من ملاحظات طياري الطائرات بدون طيار التي أظهرت أن مرحلة الهبوط من الرحلة هي الأكثر تحديًا للمبتدئين.

انظر فيديو الباحثين الرسمي لـ GPA أدناه.