باحثو الذكاء الاصطناعي يصممون برنامجًا لإنشاء مؤثرات صوتية للأفلام ووسائل الإعلام الأخرى

قام باحثون من جامعة تكساس سان أنطونيو بإنشاء تطبيق قائم على الذكاء الاصطناعي قادر على ملاحظة الإجراءات التي تحدث في مقطع فيديو وإنشاء مؤثرات صوتية اصطناعية لتطابق تلك الإجراءات. ويُreported أن المؤثرات الصوتية التي تم إنشاؤها بواسطة البرنامج واقعية لدرجة أن المراقبين البشر الذين تم استطلاع آرائهم اعتقدوا أن المؤثرات الصوتية كانت حقيقية.

تم تفصيل البرنامج المسؤول عن إنشاء المؤثرات الصوتية، AudioFoley، في دراسة نُشرت مؤخرًا في IEEE Transactions on Multimedia. وفقًا لـ IEEE Spectrum، تم تطوير البرنامج بواسطة جيف بروفوست، أستاذ في UT San Antonio، وطالب الدكتوراه سانشيتا غوس. قام الباحثون بإنشاء البرنامج باستخدام عدة نماذج تعلم الآلة متصلة معًا.

المهمة الأولى في إنشاء مؤثرات صوتية مناسبة للإجراءات على الشاشة كانت التعرف على تلك الإجراءات وتحديد موقعها إلى مؤثرات صوتية. لتحقيق ذلك، صمم الباحثون نموذجين مختلفين للتعلم الآلي وجربوا نهجهم المختلف. يعمل النموذج الأول عن طريق استخراج الإطارات من مقاطع الفيديو التي يتم تغذيتها وتحليل هذه الإطارات للميزات ذات الصلة مثل الحركات والألوان. بعد ذلك، تم استخدام نموذج ثانٍ لتحليل كيفية تغيير موقع كائن عبر الإطارات، لاستخراج المعلومات الزمنية. يتم استخدام هذه المعلومات الزمنية لتوقع الإجراءات التالية المحتملة في المقطع. النموذجين لديهما أساليب مختلفة لتحليل الإجراءات في المقطع، ولكن كلاهما يستخدم المعلومات الموجودة في المقطع لتحديد المؤثر الصوتي الذي سيكون أكثر ملاءمة.

المهمة التالية هي 合成 الصوت، ويتم ذلك عن طريق مطابقة الأنشطة / الحركات المتوقعة إلى عينات صوتية محتملة. وفقًا لघوس وبروفوست، تم استخدام AutoFoley لإنشاء صوت ل 1000 مقطع قصير، يضم إجراءات وأشياء مثل النار، حصان يركض، ساعات متيقظة، ومطر يهطل على النباتات. بينما كان AutoFoley أكثر نجاحًا في إنشاء صوت لمقاطع لا تحتاج إلى تطابق مثالي بين الإجراءات والأصوات، وواجه صعوبة في مطابقة المقاطع التي تحدث فيها الإجراءات بمتغيرات أكثر، كان البرنامج لا يزال قادرًا على خداع العديد من المراقبين البشر لاختيار الصوت الذي تم إنشاؤه على الصوت الأصلي الذي رافق المقطع.

استأجر بروفوست وغوس 57 طالبًا جامعيًا وطلبوا منهم مشاهدة مقاطع فيديو مختلفة. تحتوي بعض المقاطع على الصوت الأصلي، وبعضها يحتوي على صوت تم إنشاؤه بواسطة AutoFoley. عندما تم اختبار النموذج الأول، اختار حوالي 73٪ من الطلاب الصوت الم合성 كصوت أصلي، متجاهلين الصوت الحقيقي الذي رافق المقطع. أدى النموذج الآخر بشكل أسوأ قليلاً، حيث اختار 66٪ فقط من المشاركين الصوت المُنشأ على الصوت الأصلي.

أوضح بروفوست أن AutoFoley يمكن أن يستخدم بشكل محتمل لتسريع عملية إنتاج الأفلام والتلفزيون ووسائل الإعلام الأخرى. يشير بروفوست إلى أن مسار Foley واقعي مهم لجعل الوسائط ممتعة ومصدقة، ولكن عملية Foley غالبًا ما تأخذ وقتًا طويلاً لإكمالها. يمكن أن يكون نظام آلي يمكنه التعامل مع إنشاء عناصر Foley الأساسية يجعل إنتاج الوسائط أكثر便اسة وسرعة.

目前، AutoFoley لديه بعض القيود الملحوظة. من بينها، بينما يبدو أن النموذج يعمل جيدًا عند ملاحظة الأحداث التي لها حركات مستقرة ومتنبئة، يتعثر عند محاولة إنشاء صوت للأحداث التي تتميز بالتغيرات في الوقت (مثل العواصف الرعدية). بالإضافة إلى ذلك، يتطلب أيضًا أن يكون موضوع التصنيف موجودًا في المقطع بأكمله ولا يغادر الإطار. يهدف فريق البحث إلى معالجة هذه القضايا في إصدارات مستقبلية من التطبيق.