DIRFA يُحول مقاطع الصوت إلى وجوه رقمية واقعية

في خطوة كبيرة للأمام في مجال الذكاء الاصطناعي والاتصالات متعددة الوسائط، كشف فريق من الباحثين في جامعة نانيانغ التكنولوجية، سنغافورة (NTU سنغافورة) عن برنامج حاسوبي مبتكر يسمى DIRFA (تحريكات وجه متنوعة وواقعية).

هذا الإنجاز القائم على الذكاء الاصطناعي يظهر قدرة مذهلة: تحويل مقطع صوتي بسيط وصورة ثابتة لوجه إلى فيديوهات ثلاثية الأبعاد متحركة بشكل واقعي. تعرض هذه الفيديوهات ليس فقط مزامنة دقيقة لحركات الشفاه مع الصوت، ولكن أيضًا مجموعة غنية من التعبيرات الوجهية وحركات الرأس الطبيعية، مما يدفع حدود إنشاء الوسائط الرقمية إلى الأمام.

تطوير DIRFA

تقع الوظيفة الأساسية لبرنامج DIRFA في خوارزميته المتقدمة التي تدمج بسلاسة الإدخال الصوتي مع الصور الفوتوغرافية لإنشاء فيديوهات ثلاثية الأبعاد. من خلال تحليل دقيق لأنماط الكلام ونبراته في المقطع الصوتي، يتنبأ برنامج DIRFA بذكاء ويعيد إنتاج التعبيرات الوجهية وحركات الرأس. هذا يعني أن الفيديو الناتج يصور المتحدث بدرجة عالية من الواقعية، مع حركات وجهه المتزامنة تمامًا مع دقائق كلماته المنطوقة.

يعد تطوير DIRFA تحسنًا كبيرًا على التكنولوجيا السابقة في هذا المجال، والتي عانت غالبًا من تعقيدات الوضعيات والتعابير العاطفية المختلفة.

كافحت الأساليب التقليدية عادةً لتكرار الفروق الدقيقة في المشاعر البشرية بدقة أو كانت محدودة في قدرة التعامل مع وضعيات مختلفة للرأس. ومع ذلك، يمتاز برنامج DIRFA بتقديم طيف واسع من الفروق العاطفية الدقيقة ويمكنه التكيف مع اتجاهات رأس مختلفة، مما يوفر مخرجات أكثر تنوعًا وواقعية.

تعد هذه الخطوة ليس فقط خطوة إلى الأمام في تكنولوجيا الذكاء الاصطناعي، ولكنها تفتح أيضًا آفاقًا جديدة في كيفية تفاعلنا واستخدامنا لوسائط رقمية، مما يوفر نظرة على مستقبل حيث تكتسب الاتصالات الرقمية طابعًا أكثر شخصنة وتعبيرًا.

التدريب والتكنولوجيا وراء DIRFA

تعود قدرة DIRFA على تكرار التعبيرات الوجهية وحركات الرأس البشرية بدقة إلى عملية تدريب شاملة. قام فريق NTU سنغافورة بتدريب البرنامج على مجموعة بيانات ضخمة – أكثر من مليون مقطع صوتي-مرئي من مجموعة VoxCeleb2.

تتضمن هذه المجموعة مجموعة متنوعة من التعبيرات الوجهية وحركات الرأس والأنماط الصوتية من أكثر من 6000 فرد. من خلال تعريض DIRFA لمثل هذه المجموعة الواسعة والمتنوعة من البيانات الصوتية-البصرية، تعلم البرنامج تحديد وإعادة إنتاج الفروق الدقيقة التي تميز التعبيرات والكلام البشري.

شارك الأستاذ المساعد لو شيجيان، المؤلف المسؤول عن المراسلات في الدراسة، والدكتور وو رونغليانغ، المؤلف الأول، في تقديم رؤى قيمة حول أهمية عملهم.

قال الأستاذ لو: “يمكن أن يكون تأثير دراستنا عميقًا وبعيد المدى، إذ يُحدث ثورة في مجال الاتصالات متعددة الوسائط من خلال تمكين إنشاء فيديوهات واقعية عالية الجودة للأفراد الناطقين، باستخدام تقنيات مثل الذكاء الاصطناعي والتعلم الآلي. كما يعتمد برنامجنا على الدراسات السابقة ويمثل تقدمًا في التكنولوجيا، حيث إن الفيديوهات التي تم إنشاؤها باستخدام برنامجنا كاملة مع حركات شفاه دقيقة وتعبيرات وجهية حية وحركات رأس طبيعية، باستخدام فقط تسجيلات الصوت والصور الثابتة”.

أضاف الدكتور وو رونغليانغ: “يعرض الكلام مجموعة متنوعة من الاختلافات. ينطق الأفراد بنفس الكلمات بشكل مختلف في سياقات مختلفة، بما في ذلك الاختلافات في المدة والسعة والنبرة وغيرها. بالإضافة إلى محتواها اللغوي، فإن الكلام ينقل معلومات غنية حول حالة المتكلم العاطفية وعوامل الهوية مثل الجنس والعمر والعرق وسمات الشخصية. يعتبر نهجنا جهدًا رائدًا في تحسين الأداء من منظور التعلم التمثيلي للصوت في الذكاء الاصطناعي والتعلم الآلي”.

مقارنة بين DIRFA وأحدث أساليب توليد الوجوه المتحدثة اعتمادًا على الصوت. (NTU سنغافورة)

التطبيقات المحتملة

تتمثل إحدى أكثر تطبيقات DIRFA الواعدة في مجال الرعاية الصحية، خاصة في تطوير المساعدين الافتراضيين المتقدمين وبرامج الدردشة. مع قدرة إنشاء تحريكات وجه واقعية ومتجاوبة، يمكن لبرنامج DIRFA تعزيز تجربة المستخدم بشكل كبير في منصات الرعاية الصحية الرقمية، مما يجعل التفاعلات أكثر شخصنة ومتفاعلة. يمكن أن تكون هذه التكنولوجيا حاسمة في توفير الراحة العاطفية والرعاية الشخصية من خلال الوسائط الافتراضية، وهو جانب حاسم غالبًا ما تفتقر إليه حلول الرعاية الصحية الرقمية الحالية.

كما يمتلك برنامج DIRFA إمكانيات كبيرة في مساعدة الأفراد الذين يعانون من إعاقات في الكلام أو التعبير الوجهي. لأولئك الذين يواجهون تحديات في الاتصال اللفظي أو التعبير الوجهي، يمكن لبرنامج DIRFA أن يكون أداة قوية، تمكنهم من التعبير عن أفكارهم ومشاعرهم من خلال التمثيلات الافتراضية أو الرقمية. يمكنه تعزيز قدرتهم في التواصل بشكل فعال، وغلق الفجوة بين نواياهم وتعبيراتهم. من خلال توفير وسيلة رقمية للتعبير، يمكن لبرنامج DIRFA أن يلعب دورًا حيويًا في تمكين هؤلاء الأفراد، ويوفر لهم طريقًا جديدًا للتفاعل والتعبير عن أنفسهم في العالم الرقمي.

التحديات والاتجاهات المستقبلية

يُعد إنشاء تعبيرات وجه واقعية من الإدخال الصوتي فقط تحديًا معقدًا في مجال الذكاء الاصطناعي والاتصالات متعددة الوسائط. يعد نجاح برنامج DIRFA الحالي في هذا المجال ملحوظًا، ومع ذلك، فإن دقة التعبيرات البشرية تعني أن هناك دائمًا مجالًا للتحسين. لكل فرد نمط كلام فريد، ويمكن أن تختلف تعبيراته الوجهية بشكل كبير حتى مع نفس الإدخال الصوتي. التقاط هذا التنوع وهذه الفروق الدقيقة يبقى تحديًا رئيسيًا لفريق برنامج DIRFA.

يعترف الدكتور وو ببعض القيود في إصدار برنامج DIRFA الحالي. على سبيل المثال، تحتاج واجهة البرنامج ودرجة التحكم التي يتيحها في التعبيرات الناتجة إلى تحسين. على سبيل المثال، عدم قدرة تعديل التعبيرات المحددة، مثل تحويل العبوس إلى ابتسامة، هو قيد يهدفون إلى التغلب عليه. من الضروري معالجة هذه القيود لتوسيع قابلية تطبيق برنامج DIRFA وسهولة استخدامه.

في المستقبل، يخطط فريق NTU لتطوير برنامج DIRFA باستخدام مجموعة بيانات أكثر تنوعًا، بما في ذلك مجموعة أوسع من التعبيرات الوجهية ومقاطع الصوت. من المتوقع أن يزيد هذا التوسيع من دقة وواقعية التحريكات الوجهية التي ينتجها برنامج DIRFA، مما يجعلها أكثر مرونة وتكيفًا مع مختلف السياقات والتطبيقات.

الأثر وإمكانيات برنامج DIRFA

يعد برنامج DIRFA، مع نهجه الرائد في توليد تحريكات وجه واقعية من الصوت، مهيأ لإحداث ثورة في مجال الاتصالات متعددة الوسائط. هذه التكنولوجيا تمد حدود التفاعل الرقمي، وتطمس الحدود بين العالمين الرقمي والمادي. من خلال تمكين إنشاء تمثيلات رقمية دقيقة وواقعية، يعزز برنامج DIRFA جودة وصدق الاتصالات الرقمية.

مستقبل تكنولوجيا مثل برنامج DIRFA في تعزيز الاتصالات الرقمية والتمثيل هو واسع ومثير. مع استمرار تطور هذه التكنولوجيا، تَعِد بتقديم طرق أكثر غمرًا وتخصيصًا وتعبيرًا للتفاعل في الفضاء الرقمي.

يمكنك العثور على الدراسة المنشورة هنا.