الإيمان بالواقعية في مقاطع الفيديو المزيفة

ليس جميع ممارسي تقنيات الفيديو المزيفة يشاركون نفس الهدف: الدافع وراء قطاع أبحاث合성 الصور – المدعوم من مؤيدين مؤثرين مثل Adobe و NVIDIA و Facebook – هو تقدم حالة الفن حتى يتمكن تقنيات التعلم الآلي من إعادة创ية أو合성 النشاط البشري بدقة عالية وفي ظروف تحديات (الإيمان)).

على النقيض من ذلك، هدف الذين يرغبون في استخدام تقنيات الفيديو المزيفة لنشر معلومات خاطئة هو إنشاء محاكاة مقنعة للناس الحقيقية bằng طرق أخرى غير صحة الوجوه المزيفة. في هذا السيناريو، عوامل مثل السياق والمصداقية تقريبًا متساوية لتقنية محاكاة الوجوه (الواقعية)).

يتوسع هذا النهج “الخداع” إلى تدهور جودة الصورة النهائية لمقطع فيديو مزيف، بحيث يكون المقطع بأكمله (وليس فقط الجزء الخادع المتمثل في الوجه المزيف) له مظهر متسق دقيق لجودة المتوقع للوسيلة.

المصطلح “متسق” لا يعني بالضرورة “جيد” – يكفي أن تكون الجودة متسقة عبر المحتوى الأصلي والمحتوى المضاف والمحرف، وتتماشى مع التوقعات. فيما يتعلق بمخرجات بث VOIP على منصات مثل Skype و Zoom، يمكن أن يكون الحد منخفضًا جدًا، مع تقلبات فيديو متقطعة وآثار ضغط متعددة، بالإضافة إلى خوارزميات “تنعيم” مصممة لتقليل آثارها – والتي بدورها تشكل مجموعة إضافية من الآثار “غير حقيقية” التي قبلنا بها كمرافقة للقيود والغموض في البث المباشر.

DeepFaceLive في العمل: هذا الإصدار المتدفق من برنامج DeepFaceLab يمكن أن يوفر واقعية سياقية من خلال تقديم محاكاة في سياق جودة فيديو محدودة، مع مشاكل تشغيل وآثار اتصال متكررة أخرى. مصدر: https://www.youtube.com/watch?v=IL517EgYH8U

التدهور المدمج

في الواقع، تحتوي الحزمتان الأكثر شعبية لبرامج الفيديو المزيفة (كلاهما مشتق من الكود المصدري المثير للجدل في عام 2017) على مكونات تهدف إلى دمج الوجه المزيف في سياق فيديو “تاريخي” أو منخفض الجودة عن طريق تدهور الوجه المولَّد. في DeepFaceLab، ينجز معامل bicubic_degrade_power هذا، وفي FaceSwap، يُسهم إعداد “الحبوب” في تكوين Ffmpeg في دمج الوجه الكاذب عن طريق الحفاظ على الحبوب أثناء التشفير*.

إعداد “الحبوب” في FaceSwap يساعد في التكامل الحقيقي في محتوى الفيديو غير عالي الجودة، والمحتوى التراثي الذي قد يحتوي على آثار حبوب فيلم نادرة هذه الأيام.

في كثير من الأحيان، بدلاً من مقطع فيديو مزيف متكامل، سيخرج المزيفون سلسلة من ملفات PNG مع قنوات ألفا، حيث يظهر كل صورة الوجه المزيف فقط، بحيث يمكن تحويل تدفق الصور إلى فيديو على منصات ذات تأثيرات تدهور أكثر تطورًا، مثل Adobe After Effects، قبل دمج المحتوى المزيف والحقيقي في الفيديو النهائي.

إلى جانب هذه التدهورات المتعمدة، يتم إعادة ضغط محتوى أعمال الفيديو المزيفة بشكل متكرر، إما بشكل算يمي (حيث تسعى منصات وسائل التواصل الاجتماعي إلى توفير النطاق الترددي عن طريق إنتاج نسخ أخف من ملفات المستخدمين) على منصات مثل YouTube و Facebook، أو عن طريق إعادة معالجة العمل الأصلي إلى صور GIF متحركة أو أقسام تفصيلية أو سلاسل عمل متنوعة تحفزها دوافع مختلفة تعاملت مع الإصدار الأصلي كنقطة بداية، وأدخلت تدهورات ضغط إضافية.

سياقات الكشف عن الفيديو المزيف الواقعي

مع هذا في الاعتبار، اقترح بحث جديد من سويسرا إعادة صياغة منهجية الكشف عن الفيديو المزيف، عن طريق تعليم أنظمة الكشف على التعرف على سمات محتوى الفيديو المزيف عندما يتم تقديمه في سياقات متدهورة متعمدة.

تم تطبيق تعزيز البيانات العشوائية على واحدة من مجموعات البيانات المستخدمة في الورقة الجديدة، مع ضوضاء جاوسية وتصحيح جاما وتمويه جاوسي، بالإضافة إلى آثار من ضغط JPEG. مصدر: https://arxiv.org/pdf/2203.11807.pdf

في الورقة الجديدة، يجادل الباحثون بأن حزم الكشف عن الفيديو المزيف الرائدة تعتمد على ظروف اختبار غير واقعية لسياق المقاييس التي تطبقها، وأن محتوى الفيديو المزيف “المتدهور” يمكن أن يقع تحت الحد الأدنى لجودة الكشف، على الرغم من أن محتواه “المتدهور” واقعيًا قد يخدع المشاهدين بسبب الانتباه الصحيح للسياق.

قام الباحثون بإنشاء عملية تدهور بيانات جديدة تنجح في تحسين قابلية تعميم كاشفات الفيديو المزيف الرائدة، مع خسارة طفيفة في الدقة على معدلات الكشف الأصلية التي تم الحصول عليها من البيانات “النظيفة”. كما يقدمون إطار تقييم جديد يمكنه تقييم متانة كاشفات الفيديو المزيف في ظروف العالم الحقيقي، مدعومًا بدراسات إزالة شاملة.

الورقة بعنوان نهج جديد لتحسين الكشف عن الفيديو المزيف القائم على التعلم في ظروف واقعية، ويأتي من باحثين في مجموعة معالجة الإشارات المتعددة (MMSPG) و École polytechnique fédérale de Lausanne (EPFL)، كلاهما مقره في لوزان.

الارتباك المفيد

تشمل الجهود السابقة لدمج الإخراج المتدهور في نهج الكشف عن الفيديو المزيف شبكة Mixup العصبية، وهي عرض 2018 من MIT و FAIR، و AugMix، وهي تعاون 2020 بين DeepMind و Google ، وكلاهما طرق تعزيز البيانات تهدف إلى “تلوث” المواد التدريبية بطريقة تهدف إلى مساعدة التعميم.

يشير باحثو العمل الجديد أيضًا إلى دراسات سابقة تطبق ضوضاء جاوسية وآثار ضغط على بيانات التدريب لتحديد حدود العلاقة بين الميزة المشتقة والضوضاء التي يتم دمجها فيها.

يقدم الدراسة الجديدة трубة ت模ulates ظروف تدهور العالم الحقيقي لكل من عملية الاستحواذ والضغط والخوارزميات المتنوعة التي يمكن أن تدهور إخراج الصورة في عملية التوزيع. من خلال دمج سير العمل العالمي الحقيقي في إطار تقييم، من الممكن إنتاج بيانات تدريب لكاشفات الفيديو المزيف أكثر مقاومة للآثار.

المنطق المفاهيمي وسير العمل للنهج الجديد.

تم تطبيق عملية التدهور على مجموعتي بيانات شائعتين وموفقتين لتحديد الفيديو المزيف: FaceForensics++ و Celeb-DFv2. بالإضافة إلى ذلك، تم تدريب إطارات كاشف الفيديو المزيف الرائدة Capsule-Forensics و XceptionNet على الإصدارات الملوثة من المجموعتين.

تم تدريب الكاشفين باستخدام محسّن Adam لمدة 25 و 10 عصور على التوالي. بالنسبة لتحويل المجموعة البيانية، تم عينة 100 إطار بشكل عشوائي من كل فيديو تدريبي، مع استخراج 32 إطارًا للاختبار، قبل إضافة عمليات التدهور.

الأشكال المتدهورة التي تم النظر فيها لسير العمل كانت الضوضاء، حيث تم تطبيق ضوضاء جاوسية متوسطة الصفر عند ستة مستويات متغيرة؛ إعادة التحجيم، لمحاكاة الدقة المنخفضة للفيديو الخارجي النموذجي، والتي يمكن أن تؤثر بشكل عام على الكاشفات؛ الضغط، حيث تم تطبيق مستويات ضغط JPEG المختلفة على البيانات؛ التنعيم، حيث تم تقييم ثلاثة مرشحات تنعيم نموذجية تستخدم في “إزالة الضوضاء” للإطار؛ التحسين، حيث تم تعديل التباين والسطوع؛ و المجموعات، حيث تم تطبيق أي مزيج من ثلاثة من الطرق المذكورة أعلاه بشكل متزامن على صورة واحدة.

الاختبار والنتائج

في اختبار البيانات، اعتمد الباحثون ثلاثة مقاييس: الدقة (ACC)؛ المساحة تحت منحنى الاستقبال التابع للخصائص (AUC)؛ و نسبة F1.

‘بشكل عام، تكون معظم التدهورات الواقعية والمعالجة ضارة بشكل استثنائي لكاشفات الفيديو المزيف القائمة على التعلم التي تم تدريبها بشكل عادي. على سبيل المثال، يظهر أسلوب Capsule-Forensics درجات AUC عالية جدًا على كل من مجموعة اختبار FFpp غير المضغوطة ومجموعة اختبار Celeb-DFv2 بعد التدريب على مجموعات البيانات الخاصة بهما، لكنه يعاني من انخفاض أداء حاد على البيانات المعدلة من إطار التقييم الخاص بنا. تم ملاحظة اتجاهات مماثلة مع كاشف XceptionNet.’

على النقيض من ذلك، تم تحسين أداء الكاشفين بشكل ملحوظ من خلال تدريبهم على البيانات المعدلة، مع أن كل كاشف أصبح أكثر قدرة على الكشف عن وسائل إعلام خادعة غير موصوفة.

‘خطة تعزيز البيانات تحسن بشكل كبير من متانة الكاشفين، في حين لا يزالون يحافظون على أداء عالٍ على البيانات غير المعدلة الأصلية.’

مقارنات الأداء بين مجموعات البيانات الخام والمكبرة المستخدمة عبر كاشفي الفيديو المزيف الذين تم تقييمهم في الدراسة.

تختتم الورقة بالقول:

‘تم تصميم أساليب الكشف الحالية لتحقيق أداء عالٍ على بنچمارك محدد. هذا يؤدي غالبًا إلى التضحية بقدرة التعميم على سيناريوهات أكثر واقعية. في هذه الورقة، تم اقتراح مخطط تعزيز بيانات مدروس بعناية يعتمد على عملية تدهور الصور الطبيعية.’

‘أظهرت التجارب الشاملة أن التقنية البسيطة ولكنها فعالة تحسن بشكل كبير من متانة النموذج ضد تدهورات وعمليات معالجة واقعية ومتنوعة في سير العمل التصويري النموذجي.’

* تتماشى الحبوب في الوجه المولَّد مع نقل الأسلوب أثناء عملية التحويل.

نشر لأول مرة في 29 مارس 2022. تم تحديثه في الساعة 8:33 مساءً بتوقيت شرق الولايات المتحدة لتوضيح استخدام الحبوب في Ffmpeg.