رسم مسارات للمكفوفين مع تعلم الآلة

تُقدم أبحاث جديدة من ألمانيا نظامًا محمولًا جديدًا يعمل بالgpu لمساعدة الأشخاص ذوي الإعاقة البصرية في التنقل في العالم الحقيقي. ويتناول النظام أحد التحديات الأساسية في إطارات الرؤية الحاسوبية في الوقت الفعلي – تحديد الزجاج والعوائق الشفافة الأخرى.

تُفصِّل الورقة ، من معهد كارلسروه للتكنولوجيا ، بناء نظام يُرتدى من قبل المستخدم ، يُسمى Trans4Trans ، يتكون من زوج من النظارات الذكية متصلة بحافظة GPU محمولة ، بشكل فعال جهاز كمبيوتر محمول خفيف ، يلتقط صورًا ملونة وعمقًا عند 640×480 بكسل في تدفق مستمر ، ثم يمر عبر إطار تصنيف семантиكي.

المستشعرات المتنقلة في هيكل Trans4Trans. مصدر: https://arxiv.org/pdf/2107.03172.pdf

تُحسَّن قدرات التغذية المرتدة الحسية للنظام بواسطة سماعة أذن تعمل بالتوصيل العظمي ، تصدر تغذية مُرتدة صوتية استجابةً للعوائق البيئية.

كما تم اختبار نظام Trans4Trans على هيكل الواقع المعزز Microsoft HoloLens 2 ، وحقق تصنيفًا كاملًا ومتسقًا (أي تمييزًا) للعوائق الخطرة المحتملة مثل أبواب الزجاج.

نظام Trans4Trans يعمل على هيكل HoloLens 2.

الهيكل

يستخدم نظام Trans4Trans نهجًا مزدوجًا ، يستخدم كلاً من الترميز القائم على المحول والفك ، ويتضمن وحدة تجميع محول مخصصة (وحدة تجميع المحول) قادرة على تجميع خرائط الميزات التي تم إنشاؤها بواسطة التضمينات من التقسيمات الكثيفة ، بينما يمكن للمحول القائم على الفك تحليل خرائط الميزات بشكل متسق من المُشفر المُقترن.

هيكل نظام Trans4Trans.

تتكون كل وحدة تجميع من طبقة واحدة قائمة على المحول ، ضرورية لانخفاض استهلاك الموارد وportability للنظام. تحتوي الوحدة الفك على أربع مراحل متماثلة للمُشفر ، مع وحدة تجميع مخصصة لكل منها. يحقق النظام وفورات في الموارد عن طريق دمج وظيفة عدة نهج في نظام متسق ، بدلاً من نشر نموذجين منفصلين في تدفق عمل خطي.

الأجهزة

تتضمن النظارات المستخدمة في النظام حساس RealSense R200 RGB-D ، بينما تحتوي الآلة المضيفة على Jetson AGX Xavier NVIDIA GPU ، مصمم لأنظمة متضمنة ، ويتضمن 384 نواة NVIDIA CUDA و 48 نواة Tensor.

يوفر R200 إسقاط النقاط والتعادل العمياء السلبي ، مما يجعله مناسبًا للبيئات الداخلية والخارجية. تُعد مرفق الإسقاط النقطي مفيدًا بشكل خاص في تقييم السطوح الشفافة ، حيث أنه يزيد ويوضح البيانات البصرية الواردة دون أن يُعمى بأشعة الضوء القوية. كما تساعد قدرات الحساس بالأشعة تحت الحمراء على الحصول على هندسة متميزة وخرائط عمق قابلة للتنفيذ ، التي هي حرجة لتجنب العوائق ، في سياق أهداف المشروع.

منع التحميل المعرفي للمستخدم

يجب على النظام أن يجد توازنًا بين تكرار البيانات الكافي والبيانات الزائدة ، لأن المستخدم يحتاج إلى تمييز البيئة بشكل متسق من خلال التغذية المرتدة الصوتية والاهتزاز.

لذلك ، يقوم نظام Trans4Trans بتحديد الحجم الافتراضي لبيانات التغذية المرتدة ، مع عتبة واحدة افتراضية محددة عند متر واحد ، بدلاً من إجبار المستخدم على تعلم مجموعة من إعدادات الاهتزاز التي تتوافق مع مسافات مختلفة للعوائق والحدود.

اختبار نظام Trans4Trans

تم اختبار نظام Trans4Trans على مجموعتين من البيانات المتعلقة بتصنيف الكائنات الشفافة: Trans10K-V2 ، من جامعة هونغ كونغ وآخرون ، الذي يحتوي على 10,428 صورة لكائنات شفافة للتحقق والتدريب والاختبار ؛ وقاعدة بيانات Stanford2D3D ، التي تحتوي على 70,496 صورة لكائنات شفافة مختلطة ، تم التقاطها عند دقة 1080×1080.

الصور والقناع المقابل من مجموعة Trans10k. مصدر: https://arxiv.org/pdf/2101.08461.pdf

نظام Stanford2D3D يعمل. مصدر: http://buildingparser.stanford.edu/dataset.html

في الاختبار ، كان نظام Trans4Trans قادرًا أيضًا على تصنيف الكائنات الشفافة التي تم تصنيفها بشكل خاطئ بواسطة مبادرة Trans2Seg المُطلقة في بداية عام 2021 من قبل نفس الباحثين ، بينما يتطلب عددًا أقل من عمليات الفLOAT32 لتحديد وتصنيف السطوح.

على عكس Trans2Seq ، الذي يستخدم مُشفرًا قائمًا على CNN ومُفسرًا قائمًا على المحول ، يستخدم نظام Trans4Trans هيكلًا مُشفرًا وفكًا قائمًا على المحول فقط ، مما يتفوق على النهج السابق ويحسن بشكل كبير على PVT.

حقَّق الخوارزمية أيضًا نتائج على مستوى الدولة للفئة العددية من الطبقات الشفافة ، بما في ذلك الجرار ، النافذة ، الباب ، الكوب ، الصندوق و القارورة.