توحيد الكلام والايماءات

عندما عدت إلى بريطانيا بعد قضاء بعض السنوات في جنوب إيطاليا ، استغرق الأمر بعض الوقت لكي أتوقف عن الإشارة أثناء التحدث. في المملكة المتحدة ، دعم كلامك bằng حركات يد جريئة يجعل你 تبدو متعاطيًا للكافيين ؛ في إيطاليا ، كشخص يتعلم اللغة ، ساعدني ذلك حقًا على أن أفهم. حتى الآن ، في المناسبات النادرة التي أتحدث فيها الإيطالية ، تعود “الأيدي البرية” إلى الخدمة. من المستحيل تقريبًا التحدث باللغة الإيطالية دون حركة.

في السنوات الأخيرة ، حظيت الاتصالات المدعومة بالإيماءات في الثقافة الإيطالية واليهودية باهتمام عام أكثر من مجرد صورة من عمل مارتن سكورسيزي ووودي آلن في وقت مبكر. في عام 2013 ، قام نيويورك تايمز بتحويل تاريخ قصير للحركات الايدي الإيطالية إلى فيديو ؛ بدأت الأكاديمية دراسة النزعات العرقية للايماءات اليد ، بدلاً من إهمال الموضوع كصورة نمطية ؛ وأضافت رموز تعبيرية جديدة من اتحاد يونيكود الفراغ في الإيماءات التي ت伴ي الاتصالات الرقمية النصية.

نهج موحد للكلام والايماءات

الآن ، يبحث البحث الجديد من قسم الكلام والموسيقى والسمع في معهد التكنولوجيا الملكي في السويد عن دمج الكلام والايماءات في نظام متعدد الوضعيات موحد يمكن أن يزيد من فهمنا للاتصالات القائمة على الكلام عن طريق استخدام لغة الجسد كملحق متكامل للكلام ، بدلاً من مجرد مجال دراسي متوازي.

يقترح البحث نموذجًا جديدًا يسمى التوليف الكلامي والايماءات (ISG) ، ويجمع بين العديد من النماذج العصبية المتقدمة من أبحاث الكلام والايماءات.

ينسخ النموذج الجديد نموذج الخطي (حيث يتم اشتقاق معلومات الايماءات بشكل متسلسل من الكلام كمرحلة معالجة ثانوية) لنهج أكثر تكاملًا ، والذي يُقيم على قدم المساواة مع الأنظمة الحالية وفقًا للمستخدمين النهائيين ، والذي يحقق وقت توليد أسرع وعدد معاملات أقل.

يتضمن النظام الجديد متعدد الوضعيات معززًا للكلام التلقائي ومولدًا للحركات الصوتية ، وكلاهما مدرب على مجموعة بيانات Trinity Speech Gesture الحالية. تحتوي المجموعة على 244 دقيقة من الصوت والجسد لرجل يتحدث عن مواضيع مختلفة ويمتد بالحركات بحرية.

الهياكل

مكونات الكلام والبصرية (الايماءات) في المشروع غير متوازنة من حيث البيانات ؛ النص نادر والايماءات غنية ومتطلبة بيانات – تحدي في تحديد الأهداف والمقاييس. لذلك ، قيم الباحثون النظام بشكل أساسي من خلال الاستجابة البشرية للخرج ، بدلاً من النهج الميكانيكي الواضح مثل متوسط مربع الخطأ (MSE).

تم تطوير نموذجين ISG رئيسيين حول النسخة الثانية من مشروع التوليد الصوتي Tacotron النهاية إلى النهاية من جوجل في عام 2017 ، ومبادرة Glow-TTS الكورية الجنوبية المنشورة في عام 2020. يستخدم Tacotron هيكل LSTM التكراري ، بينما يعمل Glow-TTS بالتوازي من خلال مشغلات التconvolution ، مع أداء GPU أسرع ودون مشاكل الاستقرار التي قد ت伴ي النماذج التكرارية.

اختبر الباحثون ثلاثة أنظمة كلام وايماءات فعالة خلال المشروع: نسخة معدلة من نظام توليد كلام وايماءات متعدد الوضعيات منشور في عام 2021 من قبل بعض نفس الباحثين في المشروع الجديد ؛ نسخة مخصصة ومديفة من Tacotron 2 ؛ ونسخة معدلة بشكل كبير من Glow-TTS.

لتحديد الأنظمة ، أنشأ الباحثون بيئة مخصصة لتلقي الردود على الويب تampilkan أشخاصًا ثلاثي الأبعاد يتحدثون ويتحركون إلى مقاطع نصية محددة مسبقًا (يمكن رؤية مظهر عام للبيئة في صفحة المشروع العامة).

تمت مطالبة أفراد الاختبار بتقييم أداء النظام بناءً على الكلام والايماءات ، والكلام فقط ، والايماءات فقط. أظهرت النتائج تحسنًا طفيفًا في الإصدار الجديد من ISG مقارنة بنموذج Pipeline القديم ، على الرغم من أن النظام الجديد يعمل بشكل أسرع وبموارد مخفضة.

الايماءة المدمجة

يظهر نموذج Tacotron2-ISG ، الأكثر نجاحًا من النهج الثلاثة ، مستوى من التعلم “دون الوعي” المتعلق ببعض العبارات الأكثر شيوعًا في المجموعة البيانية ، مثل “لا أعرف” – على الرغم من عدم وجود بيانات صريحة لتوليد إيماءة مصاحبة لهذه العبارة ، وجد الباحثون أن المولد يؤدي فعلاً إيماءة الايماءة.

يشير الباحثون إلى أن الطبيعة المحددة جدًا لهذا المشروع الجديد يعني بالضرورة نقصًا في الموارد العامة ، مثل مجموعات بيانات مخصصة تدمج بيانات الكلام والايماءات بطريقة مناسبة لتدريب مثل هذا النظام. ومع ذلك ، وعلى الرغم من طابع البحث الرائد ، يعتبرونه مسارًا واعدًا ومبتورًا في الكلام واللغويات والتعرف على الإيماءات.