كيف يجعل الذكاء الاصطناعي تعرف لغة الإشارة أكثر دقة من أي وقت مضى

عندما نفكر في كسر حواجز الاتصال، غالبا ما نركز على تطبيقات الترجمة اللغوية أو المساعدين الصوتيين. ولكن对于 الملايين الذين يستخدمون لغة الإشارة، هذه الأدوات لم تكن كافية لجسر الفجوة. لغة الإشارة ليست مجرد حركات يدين – إنها شكل غني ومعقد من الاتصال الذي يشمل تعابير الوجه ولغة الجسد، وتحمل كل عنصر معنى حاسما.

ما يجعل هذا تحديا خاصا هو أن لغات الإشارة في جميع أنحاء العالم تختلف بشكل أساسي في كيفية نقل المعنى. على سبيل المثال، لغة الإشارة الأمريكية (ASL) لها قواعدها الخاصة وتركيباتها التي لا تتطابق مع اللغة الإنجليزية المنطوقة.

ت意味ى هذه التعقيدات أن إنشاء تكنولوجيا لتعرف وترجمة لغة الإشارة في الوقت الفعلي يتطلب فهمًا لنظام اللغة كله في الحركة.

منهج جديد للتعرف

هنا يأتي فريق في جامعة فلوريدا أتلانتيك (FAU) في كلية الهندسة وعلوم الحاسوب ليعطى نهجًا جديدًا. بدلا من محاولة التعامل مع كل تعقيدات لغة الإشارة مرة واحدة، ركزوا على إتقان خطوة حاسمة أولى: التعرف على إشارات الحروف في لغة الإشارة الأمريكية (ASL) بدقة غير مسبوقة من خلال الذكاء الاصطناعي.

فكر في تعليم الكمبيوتر قراءة الكتابة اليدوية، ولكن في ثلاثة أبعاد وفي حركة. بنى الفريق شيئًا remarkeable: قاعدة بيانات تضم 29,820 صورة ساكنة تظهر إشارات يدين لغة الإشارة الأمريكية. ولكنهم لم يجمعوا فقط الصور. لقد وضعوا علامات على كل صورة بـ 21 نقطة رئيسية على اليد، مما خلق خريطة مفصلة لكيفية حركة اليدين وتشكيل إشارات مختلفة.

الدكتور بدر الشريف، الذي قاد هذا البحث كمرشح دكتوراه، يشرح: “لم يتم استكشاف هذه الطريقة في الأبحاث السابقة، مما يجعلها اتجاها جديدًا وواعدا لتقدم المستقبل.”

تفكيك التكنولوجيا

دعونا نغوص في مزيج التكنولوجيات الذي يجعل نظام التعرف على لغة الإشارة يعمل.

MediaPipe و YOLOv8

السر يحدث من خلال التكامل السلس لآليتين قويتين: MediaPipe و YOLOv8. فكر في MediaPipe كخبير في مراقبة اليدين – مترجم ماهر للغة الإشارة يمكنه تتبع كل حركة لطيفة للأنامل وموضع اليد. اختار الفريق البحثي MediaPipe خصيصًا لقدرته الاستثنائية على توفير تتبع دقيق لランドمارك اليد، مما يحدد 21 نقطة دقيقة على كل يد، كما ذكرنا أعلاه.

لكن التتبع ليس كافيا – نحن بحاجة إلى فهم ما تعنيه هذه الحركات. यह حيث يأتي YOLOv8. YOLOv8 هو خبير في التعرف على الأنماط، يأخذ جميع هذه النقاط المتبعة ويفهم أي حرف أو إشارة تمثل. يظهر البحث أن YOLOv8 عندما يعالج صورة، يقسمها إلى شبكة S × S، مع كل خلية شبكية مسؤولة عن الكشف عن كائنات (في هذه الحالة، إشارات اليد) داخل حدودها.

Alsharif et al., Franklin Open (2024)

كيف يعمل النظام بالفعل

العمليات أكثر تعقيدا مما قد يبدو في البداية.

هذا ما يحدث خلف الكواليس:

مرحلة الكشف عن اليد

عندما تقوم بإشارة، يحدد MediaPipe أولا يدك في الإطار ويحدد تلك 21 نقطة رئيسية. هذه ليست مجرد نقاط عشوائية – إنها تتوافق مع مفاصل ومراكز محددة على يدك، من أطراف الأصابع إلى قاعدة الكف.

التحليل المكاني

ثم يأخذ YOLOv8 هذه المعلومات ويفحصها في الوقت الفعلي. لكل خلية شبكية في الصورة، يتنبأ ب:

• احتمال وجود إشارة يد
• الإحداثيات الدقيقة لموقع الإشارة
• درجة الثقة في تنبؤه

التصنيف

يستخدم النظام ما يسمى “تنبؤ مربع الحدود” – تخيل رسم مربع مثالي حول إشارة يدك. ي计算 YOLOv8 خمسة قيم حاسمة لكل مربع: إحداثيات x و y لمركز المربع، وعرض وطول المربع، ودرجة الثقة.

Alsharif et al., Franklin Open (2024)

لماذا يعمل هذا المزيج جيدًا

اكتشف فريق البحث أن بدمج هذه التكنولوجيات، خلقوا شيئًا أكبر من مجموع أجزائه. تتبع MediaPipe الدقيق مع كشف الكائنات المتقدم من YOLOv8 أنتج نتائج دقيقة بشكل remarkeable – نحن نتحدث عن نسبة دقة 98% ودرجة F1 99%.

ما يجعل هذا besonders مثير للإعجاب هو كيف يتعامل النظام مع تعقيدات لغة الإشارة. قد تظهر بعض الإشارات متشابهة للعين غير المدربة، ولكن النظام يمكنه تحديد الفروق الدقيقة.

نتائج قياسية

عندما يطور الباحثون تكنولوجيا جديدة، دائمًا ما يكون السؤال الكبير: “كيف تعمل بالفعل؟” بالنسبة لنظام التعرف على لغة الإشارة هذا، النتائج مثيرة للإعجاب.

وضع فريق FAU نظامهم عبر اختبارات صارمة، وهذا ما وجدوه:

• يحدد النظام الإشارات بشكل صحيح 98% من الوقت
• يتم كشف 98% من جميع الإشارات التي تظهر أمامه
• درجة الأداء الإجمالية تبلغ 99%

“تظهر النتائج من بحثنا khả năng نموذجنا لتحديد وتصنيف إشارات لغة الإشارة الأمريكية بدقة مع أخطاء قليلة جدا،” يشرح الشريف.

يعمل النظام جيدًا في المواقف اليومية – إضاءة مختلفة، مواضع يدين مختلفة، وحتى مع أشخاص مختلفين يؤدون الإشارات.

هذا الإنجاز يدفع حدود ما هو ممكن في التعرف على لغة الإشارة. كانت الأنظمة السابقة تكافح مع الدقة، ولكن بدمج تتبع MediaPipe مع قدرات الكشف من YOLOv8، خلق فريق البحث شيئًا خاصًا.

“نجاح هذا النموذج يعود في الغالب إلى التكامل المeticulous للتعلم النقلي، وإنشاء قاعدة البيانات بدقة، والتuning الدقيق،” يقول محمد إلياس، أحد مؤلفي الدراسة. لقد أتت هذه الاهتمام بال细节 ثماره في أداء النظام المremarkable.

ما يعنيه هذا للاتصال

نجاح هذا النظام يفتح إمكانيات مثيرة لجعل الاتصال أكثر سهولة وشمولا.

الفريق لا يتوقف عند التعرف على الحروف فقط. التحدي الكبير التالي هو تعليم النظام على فهم مجموعة أوسع من أشكال اليدين والإشارات. فكر في تلك اللحظات التي تظهر الإشارات متشابهة – مثل الحروف ‘M’ و ‘N’ في لغة الإشارة. يعمل الباحثون على مساعدة نظامهم لتحديد هذه الفروق الدقيقة بشكل أفضل. كما يقول الدكتور الشريف: “من المهم أن النتائج من هذه الدراسة تؤكد ليس فقط قوة النظام ولكن أيضًا إمكانية استخدامه في تطبيقات عملية ووقت حقيقي.”

ي集中 الفريق الآن على:

• جعل النظام يعمل بسلاسة على الأجهزة العادية
• جعلها سريعة بما يكفي للمحادثات في العالم الحقيقي
• ضمان عملها بشكل موثوق في أي بيئة

دين ستلا باتالاما من كلية الهندسة وعلوم الحاسوب في FAU يشارك الرؤية الأكبر: “من خلال تحسين التعرف على لغة الإشارة الأمريكية، يساهم هذا العمل في إنشاء أدوات يمكن أن تعزز الاتصال للمجتمع الصم وذوي الصم.

تخيل دخولك إلى مكتب طبيب أو حضورك لدورة دراسية حيث تقوم هذه التكنولوجيا بتقديم جسور اتصال على الفور. هذا هو الهدف الحقيقي هنا – جعل التفاعلات اليومية أكثر سلاسة وطبيعية للجميع المشاركين. إنها تكنولوجيا تعمل على مساعدة الناس على التواصل. سواء في التعليم أو الرعاية الصحية أو المحادثات اليومية، فإن هذا النظام يمثل خطوة نحو عالم حيث تقل الحواجز الاتصالية باستمرار.