قراءة الشفاه باستخدام Visemes والتعلم الآلي

تقدم الأبحاث الجديدة من مدرسة الهندسة الحاسوبية في طهران نهجًا محسّنًا لتحدي إنشاء أنظمة تعلم الآلة قادرة على قراءة الشفاه.

تقرير الورقة ، الذي يحمل عنوان قراءة الشفاه باستخدام فك الشفرة Viseme ، يُظهر أن النظام الجديد يحقق تحسنًا بنسبة 4٪ في معدل خطأ الكلمة مقارنة بأفضل النماذج السابقة المماثلة. ويتمثل النظام في معالجة نقص البيانات التدريبية المفيدة في هذا القطاع عن طريق تعيين فيزيمات إلى محتوى نصي مشتق من ستة ملايين عينة في مجموعة بيانات OpenSubtitles المترجمة لأسماء الأفلام.

فيزيم هو المكافئ البصري للفونيم ، وهو في الأساس خريطة صوت إلى صورة خريطة يمكن أن تشكل “ميزة” في نموذج تعلم الآلة.

فيزيمات في العمل. مصدر: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

بدأ الباحثون bằng إنشاء معدل الخطأ الأدنى على مجموعات البيانات المتاحة ، وتنمية تسلسلات فيزيمات من إجراءات التعيين المحددة. وبمرور الوقت ، يتم تطوير هذا الإجراء قاموسًا بصريًا للكلمات – على الرغم من أنه من الضروري تحديد احتمالات الدقة للكلمات المختلفة التي تشترك في فيزيم (مثل “قلب” و “فن”).

فيزيمات مستخرجة من النص. مصدر: https://arxiv.org/pdf/2104.04784.pdf

عندما تنتج كلمتان متطابقتان فيزيمًا متطابقًا ، يتم اختيار الكلمة الأكثر تكرارًا.

يبني النموذج على التعلم التقليدى من تسلسل إلى تسلسل تسلسل إلى تسلسل بإضافة مرحلة فرعية حيث يتم التنبؤ بفيزيمات من النص وتحديدها في خط أنابيب مخصص:

في الأعلى ، الطرق التقليدية لتسلسل إلى تسلسل في نموذج حرفي ؛ في الأسفل ، إضافة نمذجة حرف فيزيمات في نموذج البحث في طهران. مصدر: https://arxiv.org/pdf/2104.04784.pdf

تم تطبيق النموذج بدون سياق مرئي على مجموعة بيانات LRS3-TED ، صدرت من جامعة أكسفورد في عام 2018 ، مع أسوأ معدل خطأ كلمة (WER) تم الحصول عليه بنسبة 24.29٪.

كما يشمل بحث طهران استخدام محول غرافيم إلى فونيم.

في اختبار ضد بحث أوكسفورد لعام 2017 قراءة جمل الشفاه في البرية (انظر أدناه) ، حقق أسلوب الفيديو إلى فيزيم معدل خطأ كلمة بنسبة 62.3٪ ، مقارنة بـ 69.5٪ لطريقة أوكسفورد.

يخلص الباحثون إلى أن استخدام حجم أكبر من المعلومات النصية ، مع تحويل غرافيم إلى فونيم وتنمية فيزيمات ، يعدو بمpromises تحسينات على حالة الفن في أنظمة قراءة الشفاه الآلية ، مع الاعتراف بأن الأساليب المستخدمة قد تنتج نتائج أفضل عند دمجها في إطارات أكثر تطورًا.

لقد كان قراءة الشفاه بواسطة الآلة مجالًا نشطًا ومستمرًا في أبحاث الرؤية الحاسوبية و NLP على مدار العقدين الماضيين. من بين العديد من الأمثلة والمشاريع ، في عام 2006 ، استحوذ استخدام برنامج قراءة الشفاه الآلي على العناوين عندما تم استخدامه لتفسير ما قاله أدولف هتلر في بعض الأفلام الصامتة الشهيرة في ملاذه البافاري ، على الرغم من أن التطبيق يبدو أنه اختفى في العدم منذ ذلك الحين (بعد اثني عشر عامًا ، لجأ سير بيتر جاكسون إلى قراء الشفاه البشرية لاستعادة المحادثات في مشروع ترميم هم لن يكبروا).

في عام 2017 ، قراءة جمل الشفاه في البرية ، وهو تعاون بين جامعة أوكسفورد وفرع أبحاث الذكاء الاصطناعي في جوجل ، أنتج أي قادرة على استنتاج بشكل صحيح 48٪ من الكلام في الفيديو بدون صوت ، حيث يمكن للقارئ الشفاه البشري أن يصل فقط إلى دقة 12.4٪ من نفس المواد. تم تدريب النموذج على آلاف الساعات من لقطات تلفزيون بي بي سي.

جاء هذا العمل بعد مبادرة منفصلة من أوكسفورد وجوجل في العام السابق ، بعنوان LipNet ، وهي هندسة شبكية عصبونية خريطة تسلسلات فيديو بطول متغير إلى تسلسلات نصية باستخدام شبكة عصبونية متكررة محددة (GRN) ، والتي تضيف وظيفة إلى هيكل الشبكة العصبونية المتكررة (RNN) الأساسي. حقق النموذج أداءً أفضل 4.1 مرة من قراء الشفاه البشر.

إلى جانب مشكلة الحصول على نص دقيق في الوقت الفعلي ، يزداد تحدي تفسير الكلام من الفيديو مع إزالة السياق المفيد ، مثل الصوت ، وتصوير “الوجه إلى الأمام” الجيد الإضاءة ، ولغة / ثقافة حيث الفونيمات / فيزيمات متباينة بشكل نسبي.

على الرغم من عدم وجود فهم تجريبي حاليًا لأي لغات هي الأكثر صعوبة في قراءة الشفاه في غياب الصوت التام ، فإن اليابانية هي مرشح قوي. الطرق المختلفة التي يستخدم بها السكان الأصليون اليابانيون (وكذلك بعض السكان الأصليين الآسيويين الغربيين والشرقيين) التعبيرات الوجهية ضد محتوى كلامهم يجعلونهم بالفعل تحديًا أكبر لأنظمة تحليل المشاعر.

然而 ، من الجدير بالذكر أن معظم الأدبيات العلمية حول هذا الموضوع بشكل عام محدد ، لا سيما لأن البحث الموضوعي الجيد في هذا المجال يخاطر بالانخراط في التنميط العرقي وتعزيز الصور النمطية الحالية.

اللغات التي تحتوي على نسبة عالية من المكونات الحلقية ، مثل الشيشانية و الهولندية ، تكون بشكل خاص مشكلة للتقنيات الآلية لاستخراج الكلام ، في حين أن الثقافات التي قد ينظر فيها المتحدث بعيدًا عن الوجه كدليل على الاحترام (مرة أخرى ، بشكل عام في الثقافات الآسيوية) يضيف بعدًا آخر حيث سيتعين على باحثي قراءة الشفاه الآلي تطوير أساليب إضافية لملء الفراغات من خلال أدلة سياقية أخرى.