الرعاية الصحية
رسم مسارات للمكفوفين مع تعلم الآلة
يُقدم بحث جديد من ألمانيا نظامًا محمولًا جديدًا مدعومًا بGPU لمساعدة الأشخاص المصابين بالرؤية على التنقل في العالم الحقيقي. ويُعالج النظام أحد التحديات الأساسية في إطارات الرؤية الحاسوبية في الوقت الفعلي – تحديد الزجاج والعوائق الشفافة الأخرى.
الورقة الورقة، من معهد كارلسروه للتكنولوجيا، تفاصيل بناء نظام يُرتدى من قبل المستخدم، يُسمى Trans4Trans، يتكون من زوج من النظارات الذكية المتصلة بغلاف GPU محمول، بشكل فعال جهاز لوحي خفيف الوزن، والذي يلتقط صور RGB وعمق عند 640×480 بكسل في تيار مستمر، ثم يتم تشغيله عبر إطار تحديد معنوي.
المستشعرات المتنقلة في هيكل Trans4Trans. مصدر: https://arxiv.org/pdf/2107.03172.pdf
تتمتع قدرات النظام في تقديم ملاحظات حسية بزيادة من خلال زوج من سماعات الأذن التي تعمل بالتوصيل العظمي، والتي ت发出 ملاحظات صوتية استجابةً للعوائق البيئية.
كما تم اختبار نظام Trans4Trans على هيكل الواقع المعزز Microsoft HoloLens 2، وحقق التميز الكامل والمستمر (أي التعرف) على العوائق المحتملة الخطرة مثل أبواب الزجاج.
نظام Trans4Trans يعمل على HoloLens 2.
الهيكلة
يستخدم نظام Trans4Trans نهجًا مزدوجًا، يستخدم كلاً من محرك ترميز قائم على الترميز وفك الترميز، ويعتمد على وحدة ترميز خاصة تسمى وحدة التوصيل الترميزية (TPM) قادرة على تجميع خرائط الميزات التي تم توليدها بواسطة التضمينات من التقسيمات الكثيفة، بينما يمكن لمحرك فك الترميز القائم على الترميز تحليل خرائط الميزات بشكل مستمر من الترميز المزدوج.
هيكلة نظام Trans4Trans.
تتكون كل وحدة TPM من طبقة واحدة قائمة على الترميز، ضرورية لانخفاض استهلاك الموارد وسهولة حمل النظام. يحتوي فك الترميز على أربع مراحل متماثلة للمحرك، مع وحدة TPM مخصصة لكل منها. يوفر النظام节 kiệmاً في الموارد من خلال دمج وظيفة العديد من النهج في نظام متسق، بدلاً من نشر نموذجين منفصلين في تدفق عمل خطي.
الأجهزة
تتضمن النظارات المستخدمة في النظام مستشعر RealSense R200 RGB-D، بينما يحتوي جهاز المضيف على Jetson AGX Xavier NVIDIA GPU، مصمم لأنظمة متضمنة، ويتضمن 384 نواة NVIDIA CUDA و48 نواة Tensor.
يوفر R200 إسقاط بقع وطريقة مطابقة ستيريو سلبية، مما يجعله مناسبًا للبيئات الداخلية والخارجية. تُعد خاصية الإسقاط مفيدة بشكل خاص في تقييم السطوح الشفافة، لأنها تعزز وتبين البيانات البصرية الواردة دون أن تصاب بالعمى بسبب مصادر الضوء القوية. تساعد أيضًا قدرات المستشعر الأشعة تحت الحمراء على الحصول على هندسة واضحة وخرائط عمق قابلة للتنفيذ، والتي هي حاسمة لتجنب العوائق في سياق أهداف المشروع.
منع الحمل المعرفي للمستخدم
يحتاج النظام إلى تحقيق توازن بين تكرار البيانات الكافية والبيانات الزائدة، لأن المستخدم يحتاج إلى أن يكون قادرًا على تمييز البيئة بطريقة متسقة من خلال ملاحظات صوتية واهتزازية.
نتيجة لذلك، يقوم نظام Trans4Trans بتحديد الحجم الاصطناعي لبيانات الملاحظات، مع عتبة افتراضية واحدة تم ضبطها على متر واحد، بدلاً من إجبار المستخدم على تعلم مجموعة من إعدادات الاهتزاز التي تتوافق مع مسافات مختلفة من الأجسام والعوائق.
اختبار نظام Trans4Trans
تم اختبار نظام Trans4Trans على مجموعتين من البيانات المتعلقة بتحديد الكائنات الشفافة: Trans10K-V2، من جامعة هونغ كونغ وآخرون، التي تحتوي على 10,428 صورة لكائنات شفافة للتحقق والتدريب والاختبار؛ وقاعدة بيانات Stanford2D3D، التي تحتوي على 70,496 صورة لكائنات شفافة مختلطة، تم التقاطها بدقة 1080×1080.
صور ومasks من مجموعة Trans10k. مصدر: https://arxiv.org/pdf/2101.08461.pdf
نظام Stanford2D3D يعمل. مصدر: http://buildingparser.stanford.edu/dataset.html
في الاختبار، كان نظام Trans4Trans قادرًا أيضًا على تحديد الكائنات الشفافة التي تم تصنيفها بشكل خاطئ بواسطة مبادرة Trans2Seg مبادرة التي تم إصدارها في بداية عام 2021 من قبل نفس الباحثين، مع الحاجة إلى عدد أقل من عمليات الفلوربون لتحديد وتحليل السطوح.
على عكس Trans2Seq، الذي يستخدم ترميزًا قائمًا على CNN وترميز فك الترميز القائم على الترميز، يستخدم نظام Trans4Trans هيكلة ترميز وفك ترميز قائم على الترميز فقط، مما يتفوق على النهج السابق ويعمل بشكل جيد على تحسين PVT.
حققت الخوارزمية أيضًا نتائج على مستوى الدولة للفئة العددية من الكائنات الشفافة، بما في ذلك الجرار، النافذة، الباب، الكوب، الصندوق والقارورة.
