تقدمات في الواقع المعزز والواقع الافتراضي مع كاميرا المعصم الجديدة

قد تقدمت تقنيات الواقع المعزز (AR) والواقع الافتراضي (VR) خطوة واحدة إلى الأمام مع إنشاء جهاز جديد يُرتدى على المعصم لتقدير وضع اليد ثلاثي الأبعاد. تم إنشاء الجهاز من قبل باحثين في معهد طوكيو للتكنولوجيا (طوكيو تيك) ، إلى جانب فرق من جامعة كارنيجي ميلون وجامعة سانت أندروز وجامعة نيو ساوث ويلز.

النقطة الرئيسية في النظام الجديد هي كاميرا قادرة على التقاط الصور على ظهر اليد. وهي تفعل ذلك من خلال استخدام شبكة عصبية تسمى DorsalNet. يمكن للشبكة العصبية تحديد الإشارات الديناميكية.

استخدام أجهزة الواقع المعزز والواقع الافتراضي في زيادة، خاصة في الصناعات مثل الصحة والرياضة والترفيه. سيساعد هذا التطور الجديد على تحريك الصناعة بعيداً عن الطرق الأكثر громاً التي تعتمد عليها حالياً، والتي تشمل قفازات كبيرة تجعل من الصعب الحركة الطبيعية.

نظام تقدير وضع اليد ثلاثي الأبعاد

كان فريق البحث بقيادة هيديكي كوكي في طوكيو تيك.

وفقاً للباحثين، “هذا العمل هو الأول من نوعه في تقدير وضع اليد ثلاثي الأبعاد في الوقت الفعلي باستخدام الميزات البصرية من منطقة ظهر اليد. يتكون النظام من كاميرا مدعومة بشبكة عصبية تسمى DorsalNet والتي يمكنها تقدير وضع اليد ثلاثي الأبعاد بدقة من خلال الكشف عن التغييرات في ظهر اليد”.

الجهاز يحتوي على كاميرا ويرتدي على المعصم، ويتصرف كجهاز لتقدير وضع اليد ثلاثي الأبعاد. أهم جانب في الجهاز، والذي قد يكون مشابهاً لساعة ذكية، هو أنه يمكنه التقاط حركات اليد حتى عندما يكون البيئة والجهاز نفسه في حركة.

الدقة والاختبارات الأولية

أظهر البحث أن النظام الذي تم تطويره حديثاً يؤدي بشكل أفضل من المحاولات السابقة. على وجه التحديد، فهو يمتاز بدقة أعلى بنسبة 20٪ في التعرف على الإشارات الديناميكية. عندما يتعلق الأمر بتحديد 11 نوعاً مختلفاً من أنواع الإمساك، يمتاز بمعدل دقة يبلغ 75٪.

أظهرت الاختبارات الأولية أن النظام يمكن استخدامه لتحكم في الأجهزة الذكية. تشمل هذه التطبيقات أشياء مثل تغيير وقت ساعة ذكية عن طريق تغيير زاوية الإصبع. بالإضافة إلى ذلك، أظهر الباحثون كيف يمكنه التصرف كفأرة افتراضية أو لوحة مفاتيح، مما يسمح بأفعال مثل دوران المعصم لتحكم في المؤشر.

وفقاً للباحثين، سيتطلب النظام تحسينات أكثر لاستخدامه في العالم الحقيقي. على سبيل المثال، سيتعين عليهم استخدام كاميرا أكثر تطوراً مع معدل إطار أعلى لالتقاط حركات المعصم الأسرع، بالإضافة إلى التعامل مع ظروف إضاءة مختلفة.

سيتم تقديم البحث في المنتدى السنوي الثالث والثلاثين لبرمجيات واجهة المستخدم (UIST)، الذي من المقرر عقده افتراضياً في الفترة من 20 إلى 23 أكتوبر 2020.