كشف التعديلات الصغيرة ولكن المهمة للغاية في الفيديوهات الحقيقية باستخدام الذكاء الاصطناعي

في عام 2019، كانت نانسي بيلوسي، رئيسة مجلس النواب الأمريكي، هدفًا للهجوم على النمط العميق باستخدام فيديو حقيقي تم تعديله لجعلها تبدو مخمورة – وهو حدث غير حقيقي تم مشاركته عدة ملايين من المرات قبل أن يظهر الحقيقة (و، من المحتمل، بعد بعض الأضرار التي تسببت بها ل رأس المال السياسي من قبل أولئك الذين لم يبقوا على اتصال مع القصة).

على الرغم من أن هذا التضليل يتطلب فقط بعض التحرير البصري الصوتي البسيط، بدلاً من أي ذكاء اصطناعي، إلا أنه لا يزال مثالًا رئيسيًا على كيفية أن التغييرات الدقيقة في الإخراج الصوتي البصري الحقيقي يمكن أن يكون لها تأثير مدمر.

في ذلك الوقت، كانت مشهد الوجه العميق يهيمن عليه أنظمة استبدال الوجه القائمة على التشفير التلقائي التي ظهرت في أواخر عام 2017، والتي لم تتطور بشكل كبير في الجودة منذ ذلك الحين. كانت هذه الأنظمة المبكرة ستجد صعوبة في إنشاء هذا النوع من التعديلات الصغيرة ولكن الهامة، أو متابعة الخيوط البحثية الحديثة مثل تحرير العواطف.

الإطار الأخير من إطار ‘Neural Emotion Director’ يغير المزاج من وجه مشهور. مصدر: https://www.youtube.com/watch?v=Li6W8pRDMJQ

الآن، الأمور مختلفة تمامًا. صناعة السينما والتلفزيون مهتمة جديًا بالتعديل بعد الإنتاج للأداءات الحقيقية باستخدام نهج التعلم الآلي، وقد تعرض تسهيل الذكاء الاصطناعي للكمال بعد الحقيقة لانتقادات最近.

في انتظار (أو يمكن القول إنها خلقت) هذا الطلب، ألقى مشهد合成 الصور والفيديو البحثي مجموعة واسعة من المشاريع التي تقدم “التعديلات المحلية” للالتقاطات الوجهية، بدلاً من الاستبدال الصريح: تشمل هذه المشاريع Diffusion Video Autoencoders و Stitch it in Time و ChatFace و MagicFace و DISCO، من بين autres.

تحرير التعبير مع مشروع MagicFace في يناير 2025. مصدر: https://arxiv.org/pdf/2501.02260

وجوه جديدة، طيّات جديدة

然而، التكنولوجيا المتمكنة تتطور بسرعة أكبر بكثير من أساليب الكشف عنها. لم تتمكن معظم أساليب الكشف عن الوجه العميق التي تظهر في الأدبيات من مواكبة أساليب الوجه العميق القديمة مع مجموعات البيانات القديمة. حتى هذا الأسبوع، لم تتمكن أي من هذه الأساليب من معالجة الإمكانية المتزايدة لأنظمة الذكاء الاصطناعي لإنشاء تعديلات محلية صغيرة وذات صلة في الفيديو.

الآن، ورقة جديدة من الهند تقدم نظامًا يهدف إلى تحديد الوجوه التي تم تعديلها (بدلاً من استبدالها) من خلال تقنيات قائمة على الذكاء الاصطناعي:

كشف التعديلات المحلية الدقيقة في الوجه العميق: فيديو حقيقي تم تعديله لإنتاج مزيف مع تغييرات دقيقة مثل حواجب مرتفعة، سمات جنسية معدلة، وتغييرات في التعبير تجاه القبوع. مصدر: https://arxiv.org/pdf/2503.22121

نظام المؤلفين يهدف إلى تحديد مزيفات الوجه العميق التي تتضمن تعديلات محلية دقيقة – فئة من الزيوف التي تم إهمالها في السابق. بدلاً من التركيز على الانسجام العالمي أو عدم مطابقة الهوية، يركز النهج على التغييرات الدقيقة مثل تحولات التعبير الصغيرة أو تعديلات صغيرة على ميزات الوجه الخاصة.

تستخدم الطريقة وحدات الفعل (AUs) في نظام الترميز الوجهي (FACS)، الذي يحدد 64 منطقة متغيرة فردية محتملة في الوجه، والتي معًا تشكل التعبيرات.

بعض أجزاء التعبير ال64 في FACS. مصدر: https://www.cs.cmu.edu/~face/facs.htm

قيم المؤلفون نهجهم ضد مجموعة متنوعة من أساليب التحرير الحديثة وreported أداء مستمر، مع مجموعات البيانات القديمة ومع الهجمات الحديثة:

‘من خلال استخدام ميزات AU لتوجيه التمثيلات الفيديوية المكتسبة من خلال Masked Autoencoders (MAE)، يمكن أن يلتقط نهجنا التغييرات المحلية الحاسمة لاكتشاف تعديلات التعبير الصغيرة.

‘هذا النهج يسمح لنا ببناء تمثيل 潜 في متحد يرمز إلى التغييرات المحلية والتغييرات الأوسع في الفيديوهات المركزة على الوجه، مما يوفر حلًا شاملاً ومرنًا لاكتشاف مزيفات الوجه العميق.’

الورقة الجديدة بعنوان كشف التعديلات المحلية في مزيفات الوجه العميق باستخدام تمثيلات الفيديو الموجهة بواسطة وحدات الفعل، وهي من ثلاثة مؤلفين في المعهد الهندي للتقنية في مدراس.

الطريقة

وفقًا للنهج المتبع في VideoMAE، يبدأ النهج الجديد bằng تطبيق كشف الوجه على فيديو وتعدين إطارات متساوية المسافة مركزة على الوجوه المكتشفة. يتم بعد ذلك تقسيم هذه الإطارات إلى أقسام صغيرة ثلاثية الأبعاد (أي، أقسام تمكّنها زمنيًا)، كل منها يلتقط التفاصيل المكانية والزمنية المحلية.

مخطط للنهج الجديد.

كل قسم ثلاثي الأبعاد يحتوي على نافذة حجم ثابت من البكسل (أي 16×16) من عدد صغير من الإطارات المتتالية (أي 2). هذا يسمح للمodel بالتعلم من الحركة القصيرة الأجل وتغييرات التعبير – وليس فقط مظهر الوجه، ولكن كيف يتحرك.

تتم إضافة الترميز والمعالجة المكانية إلى الأقسام قبل تمريرها إلى مشفر مصمم لاستخراج الميزات التي يمكنها التمييز بين الفيديوهات الحقيقية والمزيفة.

يعترف المؤلفون بأن هذا صعب بشكل خاص عند التعامل مع التغييرات الدقيقة، ويتناولون هذه القضية من خلال بناء مشفر يدمج نوعين من التمثيلات المكتسبة بشكل منفصل، باستخدام آلية الانتباه المتقاطع لدمجها. هذا يهدف إلى إنتاج مساحة ميزة أكثر حساسية وعمومية لاكتشاف التعديلات المحلية.

المهام المسبقة

التعليم الأول هو مشفر تم تدريبه مع مهمة التشفير التلقائي المخفي. مع تقسيم الفيديو إلى أقسام ثلاثية الأبعاد (معظمها مخفي)، يتعلم المشفر بعد ذلك إعادة بناء الأجزاء المخفية، مما يضطره إلى التقاط الأنماط المكانية والزمنية المهمة، مثل حركة الوجه أو الاتساق عبر الوقت.

تدريب المهمة المسبقة يتضمن إخفاء أجزاء من إدخال الفيديو و استخدام إعداد مشفر-فك مشفر لإعادة بناء الإطارات الأصلية أو خرائط وحدات الفعل لكل إطار.

然而، يلاحظ المؤلفون أن هذا وحده لا يوفر الحساسية الكافية لاكتشاف التعديلات الدقيقة، وبالتالي يقدمون مشفرًا ثانيًا تم تدريبه لاكتشاف وحدات الفعل الوجهية (AUs). لهذه المهمة، يتعلم النموذج إعادة بناء خرائط وحدات الفعل الكثيفة لكل إطار، مرة أخرى من إدخالات مخفية جزئيًا. هذا يشجع النموذج على التركيز على النشاط العضلي المحلي، حيث يحدث العديد من التعديلات المزيفة الدقيقة.

أمثلة إضافية لوحدات الفعل الوجهية (FAUs أو AUs). مصدر: https://www.eiagroup.com/the-facial-action-coding-system/

مرة واحدة يتم تدريب كلا المشفرين مسبقًا، يتم دمج مخرجاتهما باستخدام الانتباه المتقاطع. بدلاً من دمج مجموعتي الميزات ببساطة، يستخدم النموذج ميزات وحدات الفعل كاستفسارات توجيه الانتباه عبر الميزات المكانية والزمنية المكتسبة من التشفير التلقائي المخفي. في الواقع، يخبر مشفر وحدة الفعل النموذج أين ينظر.

النتيجة هي تمثيل 潜 متحد يهدف إلى التقاط كل من السياق الواسع والتفاصيل المحلية لمستوى التعبير. يتم استخدام هذا الفضاء الميزة المشترك لتحديد التصنيف النهائي: توقع ما إذا كان الفيديو حقيقيًا أو تم تعديله.

البيانات والاختبارات

التطبيق

implemented المؤلفون النظام عن طريق معالجة الفيديوهات الإدخالية باستخدام إطار كشف الوجه FaceXZoo القائم على PyTorch، للحصول على 16 إطارًا مركزًا على الوجه من كل مقطع. تم تدريب المهام المسبقة المذكورة أعلاه على مجموعة بيانات CelebV-HQ، التي تتكون من 35,000 فيديو وجه عالي الجودة.

من الورقة الأصلية، أمثلة من مجموعة بيانات CelebV-HQ المستخدمة في المشروع الجديد. مصدر: https://arxiv.org/pdf/2207.12393

تم إخفاء نصف أمثلة البيانات، مما أضطر النظام إلى التعلم من المبادئ العامة بدلاً من التعلم الزائد على بيانات المصدر.

للمهمة الأولى، تم تدريب النموذج على التنبؤ بمناطق الفيديو المفقودة باستخدام خسارة L1، التي تقلل الفرق بين المحتوى الأصلي والمحتوى المُعاد بناؤه.

للمهمة الثانية، تم تدريب النموذج على توليد خرائط ل 16 وحدة فعل وجهية، كل منها يمثل حركة عضلية دقيقة في مناطق مثل الحواجب، الجفون، الأنف، والشفتين، مرة أخرى مع خسارة L1.

بعد التدريب المسبق، تم دمج المشفرين وضبطهما بدقة لاكتشاف مزيفات الوجه العميق باستخدام مجموعة بيانات FaceForensics++، التي تحتوي على فيديوهات حقيقية ومزيفة.

مجموعة بيانات FaceForensics++ هي الحجر الزاوي لاكتشاف مزيفات الوجه العميق منذ عام 2017. مصدر: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

为了 compte لتحديد عدم توازن الفئات، استخدم المؤلفون خسارة Focal Loss (مشتق من خسارة Cross-Entropy)، التي تؤكد الأمثلة الأكثر تحديًا أثناء التدريب.

تم إجراء جميع التدريبات على جهاز GPU واحد من نوع RTX 4090 مع 24Gb من VRAM، مع حجم.batch من 8 ل 600 epoch (مراجعة كاملة للبيانات)، باستخدام نقاط بدء مسبقة من VideoMAE لتهيئة الأوزان لكل مهمة مسبقة.

الاختبارات

تم إجراء التقييمات الكمية والنوعية ضد مجموعة متنوعة من أساليب اكتشاف مزيفات الوجه العميق: FTCN، RealForensics، Lip Forensics، EfficientNet+ViT، Face X-Ray، Alt-Freezing، CADMM، و LAANet.

تم اختبار الأداء على فيديوهات تم تعديلها محليًا، حيث تم تعديل جزء فقط من مقطع الفيديو الأصلي. تم استخدام هياكل مختلفة، بما في ذلك Diffusion Video Autoencoders (DVA) و Stitch It In Time (STIT) و Disentangled Face Editing (DFE) و Tokenflow و VideoP2P و Text2Live و FateZero.

يقول المؤلفون:

‘为了 đảm bảo تغطية شاملة لمختلف التلاعب الوجهي، قمنا بدمج مجموعة واسعة من الميزات الوجهية والسمات المعدلة. لتعديل الميزات الوجهية، قمنا بتعديل حجم العين، ومسافة العين-الحاجب، ونسبة الأنف، ومسافة الأنف-الفم، ونسبة الشفة، ومسافة الخد. لتعديل السمة الوجهية، قمنا بتغيير التعبيرات مثل الابتسامة، والغضب، والقبوع، والحزن. ‘

‘هذه التنوع ضروري لتأكيد متانة نموذجنا على مجموعة واسعة من التعديلات المحلية. قمنا بإنشاء 50 فيديو لكل طريقة تحرير مذكورة أعلاه وقمنا بتأكيد قوة نموذجنا في اكتشاف مزيفات الوجه العميق.’

تم أيضًا تضمين مجموعات بيانات قديمة في الجولة، وهي Celeb-DFv2 (CDF2) و DeepFake Detection (DFD) و DeepFake Detection Challenge (DFDC) و WildDeepfake (DFW).

كانت معايير التقييم هي المنحنى تحت المنحنى (AUC) ومتوسط الدقة ومتوسط درجة F1.

من الورقة: مقارنة على مزيفات الوجه العميق المحلية الحديثة تظهر أن النهج المقترح يتفوق على جميع الآخرين.

يقول المؤلفون:

‘[الأساليب الحالية لاكتشاف مزيفات الوجه العميق] تظهر انخفاضًا كبيرًا في الأداء على أحدث أساليب توليد مزيفات الوجه العميق. الأساليب الحالية تظهر AUC منخفضة تتراوح بين 48-71٪، مما يدل على قلة القدرة على التعميم على مزيفات الوجه العميق الحديثة. ‘

‘من ناحية أخرى، نموذجنا يظهر متانة، حيث يصل إلى AUC في النطاق 87-93٪. يمكن ملاحظة اتجاه مماثل في حالة متوسط الدقة. كما يظهر نموذجنا أداءً عاليًا على مجموعات البيانات التقليدية، حيث يصل إلى أكثر من 90٪ AUC ويتوافق مع نماذج اكتشاف مزيفات الوجه العميق الحديثة.’

الأداء على مجموعات البيانات التقليدية يظهر أن النهج المقترح يبقى التنافس مع الأساليب الرائدة.

يقول المؤلفون إن هذه الاختبارات تتضمن نماذج يمكن اعتبارها قديمة، والتي تم تقديمها قبل عام 2020.

للمزيد من التمثيل المرئي لأداء النموذج الجديد، يقدم المؤلفون جدولًا شاملاً في النهاية، والذي لا نملك مساحة لاستنساخه هنا:

في هذه الأمثلة، تم تعديل فيديو حقيقي باستخدام ثلاث تعديلات محلية لإنتاج مزيفات تظاهر بأنها مشابهة للأصل.

يقول المؤلفون إن نموذجهم يحقق درجات ثقة تزيد عن 90٪ لاكتشاف التعديلات المحلية، بينما تبقى الأساليب الحالية لاكتشاف مزيفات الوجه العميق أقل من 50٪ في نفس المهمة. يفسر المؤلفون هذا الفارق على أنه دليل على حساسية ومتانة نهجهم، ويدل على التحديات التي تواجهها التقنيات الحالية في التعامل مع هذه الأنواع من التلاعب الوجهي الدقيق.

为了 تقييم موثوقية النموذج في ظروف العالم الحقيقي، ووفقًا للطريقة التي حددتها CADMM، قام المؤلفون بتحديد أداء النموذج على فيديوهات معدلة بشيء من التشويه، بما في ذلك تعديلات على الإشباع وال대비، وتأثيرات التمويه الغاوسي، والتقسيم البكسل، وآثار الضغط الكتلي، بالإضافة إلى الضوضاء الإضافية.

أظهرت النتائج أن دقة الكشف ظلت إلى حد كبير مستقرة عبر هذه الاضطرابات. كان الانخفاض الملحوظ الوحيد هو انخفاض طفيف في الأداء عند إضافة الضوضاء الغاوسية. كان للتحويلات الأخرى تأثير ضئيل.

تظهر كيفية تغير دقة الكشف تحت تأثيرات فيديو مختلفة.

يقترح المؤلفون أن هذه النتائج تشير إلى أن قدرة النهج على اكتشاف التعديلات المحلية لا تتأثر بسهولة بالانخفاضات النموذجية في جودة الفيديو، مما يدعم متانته المحتملة في الإعدادات العملية.

الخلاصة

توجد التلاعبات بالذكاء الاصطناعي في الوعي العام بشكل رئيسي في مفهوم الوجه العميق التقليدي، حيث يتم وضع هوية شخص على جسم شخص آخر، وقد يؤدي هذا الشخص أعمالًا معارضة لمبادئ مالك الهوية. هذا المفهوم يتحول ببطء للاعتراف بقدرات أنظمة الفيديو التوليدية الجديدة (في نوع جديد من مزيفات الفيديو)، وقدرات نماذج الانتشار الكمومي (LDMs) بشكل عام.

من المعقول أن نتوقع أن هذا النوع من التحرير المحلي الذي تهتم به الورقة الجديدة قد لا يلفت الانتباه العام حتى يحدث حدث حاسم مثل حدث بيلوسي، لأن الناس منشغلون بهذا الاحتمال بسبب مواضيع أكثر جاذبية مثل احتيال مزيفات الفيديو.

على أي حال، يجب أن نشجع الوعي بهذا النوع من “التعديل الدقيق” للفيديو – لا سيما لأننا بحكم طبيعتنا حساسون بشكل لا يصدق للاختلافات الصغيرة في التعبير الوجهي، ويمكن للسياق أن يغير تأثير الحركات الوجهية الصغيرة بشكل كبير (فكر في التأثير المضطرب لابتسامة حتى في جنازة، على سبيل المثال).

نشر لأول مرة يوم الأربعاء، 2 أبريل 2025