نظام الذكاء الاصطناعي يمكنه التعرف على الإشارات اليدوية بدقة

تم تطوير نظام ذكاء اصطناعي جديد يمكنه التعرف على الإشارات اليدوية من قبل علماء من جامعة نانيانغ التكنولوجية، سنغافورة (NTU سنغافورة). تعمل التقنية عن طريق الجمع بين الإلكترونيات الشبيهة بالجلد والرؤية الحاسوبية.

تم تطوير أنظمة الذكاء الاصطناعي للتعرف على إشارات اليدين البشرية لمدة حوالي 10 سنوات، وهي تستخدم حاليًا في الروبوتات الجراحية ومعدات مراقبة الصحة وأنظمة الألعاب.

كانت أنظمة التعرف على الإشارات اليدوية في البداية تعتمد فقط على الرؤية، وقد تم دمج مدخلات من حساسات قابلة للارتداء لتحسينها. يسمى هذا “دمج البيانات”. واحدة من قدرات الحس هي “الحدس السكيني”، ويمكن للحساسات القابلة للارتداء إعادة إنشائه.

لا يزال من الصعب تحقيق دقة التعرف على الإشارات اليدوية بسبب جودة البيانات المنخفضة القادمة من الحساسات القابلة للارتداء. يحدث هذا بسبب الحجم الكبير والاتصال السيئ مع المستخدم، بالإضافة إلى تأثيرات الأجسام المحجوبة بصريًا والضوء السيئ.

تأتي تحديات إضافية من دمج البيانات البصرية والحسية، حيث يتعين معالجة مجموعات البيانات غير المتوافقة بشكل منفصل وفي النهاية دمجها. هذا العملية غير فعالة ويتسبب في إبطاء وقت الاستجابة.

قدم فريق NTU عدة طرق للتحايل على هذه التحديات، بما في ذلك إنشاء نظام دمج بيانات متأثر بالبيولوجيا يعتمد على حساسات انفعال قابلة للتمديد مصنوعة من أنابيب نانومترية كربونية وحيدة الجدار. كما اعتمد الفريق على الذكاء الاصطناعي كوسيلة لتمثيل كيفية معالجة الجلد والرؤية معًا في الدماغ.

تم الجمع بين ثلاثة نهجات شبكية عصبية في نظام واحد لتطوير نظام الذكاء الاصطناعي. كانت أنواع الشبكات العصبية الثلاثة: شبكة عصبية متوافقة، شبكة عصبية نادرة، وشبكة عصبية متعددة الطبقات.

من خلال الجمع بين هذه الشبكات الثلاث، تمكن الفريق من تطوير نظام قادر على التعرف على الإشارات البشرية بدقة أكبر مقارنة بالطرق الأخرى.

الأستاذ تشين شيادون هو المؤلف الرئيسي للدراسة. وهو من مدرسة علوم و هندسة المواد في NTU.

“تتميز هيكلتنا لدمج البيانات بميزات فريدة متأثرة بالبيولوجيا، بما في ذلك نظام من صنع الإنسان يشبه هرمية دمج الحدس السكيني والبصري في الدماغ. نعتقد أن هذه الميزات تجعل هيكلتنا فريدة من نوعها مقارنة بالمناهج الحالية.”

تشين هو أيضًا مدير مركز الابتكار للأجهزة المرنة (iFLEX) في NTU.

“بالنسبة إلى الحساسات القابلة للارتداء الصلبة التي لا تتشكل الاتصال الحميمي الكافي مع المستخدم لجمع البيانات بدقة، تستخدم ابتكارنا حساسات انفعال قابلة للتمديد تثبت بشكل مريح على الجلد البشري. هذا يسمح بجمع إشارات عالية الجودة، وهو أمر حيوي لمهام التعرف على الدقة العالية”، قال تشين.

نشرت نتائج الفريق المكون من علماء من NTU سنغافورة وجامعة تكنولوجيا سيدني (UTS) في يونيو في المجلة العلمية Nature Electronics.

اختبار النظام

اختبر الفريق نظام الذكاء الاصطناعي الملهم بالبيولوجيا مع روبوت يتحكم به الإشارات اليدوية. تم توجيه الروبوت خلال متاهة، وأظهرت النتائج أن نظام التعرف على الإشارات اليدوية للذكاء الاصطناعي كان قادرًا على توجيه الروبوت خلال المتاهة دون أخطاء. هذا مقارنة بنظام التعرف على الإشارات اليدوية القائم على الرؤية فقط، الذي ارتكب ستة أخطاء في نفس المتاهة.

عند الاختبار في ظروف سيئة، مثل الضوضاء والضوء السيئ، حافظ نظام الذكاء الاصطناعي على دقة عالية. بلغ معدل دقة التعرف على أكثر من 96.7٪.

الدكتور وانغ مينغ من مدرسة علوم و هندسة المواد في NTU سنغافورة كان المؤلف الأول للدراسة.

“السر وراء الدقة العالية في هيكلتنا يكمن في حقيقة أن المعلومات البصرية والحدسية يمكن أن تتفاعل وتكمل بعضها البعض في مرحلة مبكرة قبل إجراء التفسير المعقد. ونتيجة لذلك، يمكن للنظام جمع المعلومات المتسقة مع بيانات أقل وتأملات أقل، مما يؤدي إلى دقة أفضل”، قال مينغ.

وفقًا لرأي مستقل من الأستاذ ماركوس أنطونييتي، مدير معهد ماكس بلانك للكوليود والواجهات في ألمانيا، “تأتي النتائج من هذه الورقة بنا خطوة أخرى إلى عالم أكثر ذكاءً ودعمًا من الآلات. مثل اختراع الهاتف الذكي الذي غير المجتمع، يعطينا هذا العمل أملًا بأننا قد نتمكن في يوم ما من التحكم المادي في كل العالم المحيط بنا بدقة وثقة عالية من خلال إشارة.”

“هناك تطبيقات لا حصر لها لتقنية مثل هذه في السوق لدعم هذا المستقبل. على سبيل المثال، من التحكم عن بعد في الروبوتات في أماكن العمل الذكية إلى الهياكل الخارجية للمسنين.”

سيعمل فريق البحث الآن على نظام الواقع الافتراضي والواقع المعزز dựa على نظام الذكاء الاصطناعي الملهم بالبيولوجيا.