باحثون يحددون سمة متينة للديب فايكس يمكن أن تساعد في الكشف عنها على المدى الطويل

منذ ظهور أول حلول الكشف عن الديب فايكس في عام 2018، سعى قطاع أبحاث الرؤية الحاسوبية والأمن إلى تعريف السمة الأساسية لأفلام الديب فايكس – الإشارات التي يمكن أن تثبت مقاومة للتحسينات في تقنيات الت合成 الوجه الشائعة (مثل حزم الديب فايكس القائمة على أوتوإنكودر مثل ديبفيسلاب و فايس سواپ، و استخدام الشبكات التوليدية المنافسة لإعادة إنشاء أو محاكاة أو تعديل الوجوه البشرية).

许多 من “التells”، مثل نقص الوميض، تم إهمالها بسبب التحسينات في الديب فايكس، في حين أن استخدام تقنيات الإثبات الرقمي (مثل مبادرة الإثبات المحتوى بقيادة أدوبي) – بما في ذلك نهج البلوكشين و العلامات المائية الرقمية للصور المصدر المحتملة – إما يتطلب تغييرات شاملة و مكلفة للجسم الحالي من الصور المصدر المتاحة على الإنترنت، أو يتطلب جهدًا تعاونيًا ملحوظًا بين الدول والحكومات لإنشاء أنظمة للمراقبة والتأكيد.

لذلك سيكون من المفيد جدًا إذا تم الكشف عن سمة أساسية ومتينة في المحتوى الصوري والفيديوي الذي يحتوي على وجوه بشرية معدلة أو مخترعة أو مبادلة الهوية؛ سمة يمكن استنتاجها مباشرة من الفيديوهات الكاذبة، دون التحقق الكبير أو التحليل التشفيري للعناصر، أو تقييم الإمكانية أو التقييم العيني، أو إجراءات الكشف المعتمدة على العيوب، أو غيرها من النهج المتعبة للكشف عن الديب فايكس.

الديب فايكس في الإطار

يعتقد تعاون بحثي جديد بين الصين وأستراليا أنه قد وجد “الحل المثالي”، على شكل إزعاج المنتظم.

لقد قام المؤلفون بتصميم طريقة لمقارنة السلامة المكانية والاستمرارية الزمنية للفيديوهات الحقيقية مقابل تلك التي تحتوي على محتوى ديب فايكس، ووجدوا أن أي نوع من تداخل الديب فايكس يزعج منتظمة الصورة، مهما كان ذلك غير ملحوظ.

هذا جزئيًا لأن عملية الديب فايكس تقسم الفيديو المستهدف إلى إطارات وتطبق تأثير نموذج الديب فايكس المدرب على كل إطار (مستبدل). تعمل توزيعات الديب فايكس الشائعة بنفس الطريقة التي يعمل بها الرسامون، في هذا الصدد، حيث يُمنح اهتمام أكبر لصحة كل إطار من الاستمرارية المكانية والزمنية للفيديو.

من الورقة: أ) الفرق بين أنواع البيانات. هنا نرى أن اضطرابات p-fake تغير جودة الصورة المكانية الزمنية بنفس الطريقة التي يفعلها الديب فايكس، دون استبدال الهوية. ب) تحليل الضوضاء للبيانات الثلاثة، مما يظهر كيفية محاكاة p-fake لاضطراب الديب فايكس. ج) تمثيل زمني للبيانات الثلاثة، حيث تظهر البيانات الحقيقية استمرارية أكبر في التقلبات. د) تمثيل T-SNE للميزات المستخرجة للفيديو الحقيقي والمزيف و p-fake. مصدر: https://arxiv.org/pdf/2207.10402.pdf

هذا ليس الطريقة التي يعامل بها ترميز الفيديو سلسلة من الإطارات عند تسجيل أو معالجة تسجيل أصلي. من أجل توفير المساحة أو جعل الفيديو مناسبًا للبث، يتم التخلص من كمية هائلة من المعلومات بواسطة ترميز الفيديو. حتى في إعدادات الجودة العالية، سيخصص الترميز إطارات رئيسية (متغير يمكن تعيينه بواسطة المستخدم) – صور كاملة، غير مضغوطة بشكل praktik، تحدث في فترة زمنية محددة في الفيديو.

الإطارات الفاصلة بين الإطارات الرئيسية، إلى حد ما، يتم تقديرها كمتغير من الإطارات، وستعيد استخدام أكبر قدر ممكن من المعلومات من الإطارات الرئيسية المجاورة، بدلاً من أن تكون إطارات كاملة في حد ذاتها.

على اليسار، يتم تخزين إطار رئيسي كامل، أو ‘i-frame’، في الفيديو المضغوط، على حساب حجم الملف؛ على اليمين، إطار فاصل ‘delta frame’ يعيد استخدام أي جزء قابل للتطبيق من الإطار الرئيسي الأكثر غنى بالبيانات. مصدر: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

بهذه الطريقة، الكتلة (تحتوي على x عدد من الإطارات، حسب إعدادات الإطار الرئيسي) يمكن القول إنها أصغر وحدة يُعتبرها ترميز الفيديو المضغوط، بدلاً من أي إطار فردي. حتى الإطار الرئيسي نفسه، المعروف باسم i-frame، يُشكل جزءًا من تلك الوحدة.

فيما يتعلق بالرسوم المتحركة التقليدية، يقوم الترميز بعمل نوع من التحريك بين الإطارات، حيث تعمل الإطارات الرئيسية كأعمدة خيام للإطارات الفاصلة المشتقة، المعروفة باسم إطارات دلتا.

على النقيض من ذلك، يهتم الديب فايكس بكل إطار فردي، دون مراعاة السياق الأوسع للإطار، ودون مراعاة الطريقة التي يؤثر بها الترميز والترميز القائم على الكتلة على سمات الفيديو “الأصلي”.

نظرة أقرب إلى الانقطاع بين الجودة الزمنية للفيديو الأصلي (على اليسار) والفيديو نفسه عندما يتم إزعاجه بواسطة الديب فايكس (على اليمين).

على الرغم من أن بعض أفضل أدوات الديب فايكس تستخدم المعالجة بعد الإنتاج على نطاق واسع، في حزم مثل أفتر إيفكتس، وعلى الرغم من أن توزيع ديبفيسلاب يحتوي على قابلية أصلية لتطبيق إجراءات مثل التمويه، إلا أن هذا النوع من الخداع لا يؤثر على عدم تطابق الجودة المكانية والزمنية بين الفيديوهات الأصلية والديب فايكس.

الورقة الجديدة بعنوان كشف الديب فايكس من خلال إنشاء اضطراب منتظم مكاني زمني، وهي من تأليف باحثين من جامعة تسينغهوا، قسم تكنولوجيا الرؤية الحاسوبية (VIS) في شركة بايدو، وجامعة ملبورن.

فيديوهات “كاذبة” كاذبة

قام الباحثون وراء الورقة بدمج وظيفة البحث في وحدة قابلة للتشغيل السهل تسمى مولد P-fake، والتي تحول الفيديوهات الحقيقية إلى فيديوهات ديب فايكس كاذبة، من خلال إزعاجها بنفس الطريقة التي يفعلها عملية الديب فايكس الحقيقية، دون أداء أي عمليات ديب فايكس حقيقية.

تشير الاختبارات إلى أن الوحدة يمكن إضافتها إلى جميع أنظمة الكشف عن الديب فايكس الحالية تقريبًا بدون تكاليف موارد، وأنها تحسن أداءها بشكل ملحوظ.

يمكن أن يساعد هذا الاكتشاف في معالجة واحدة من العقبات الأخرى في أبحاث الكشف عن الديب فايكس: نقص القواعد البيانية الحقيقية والمتاحة.

من خلال عزل اضطراب المنتظم كإشارة غير متعلقة بالديب فايكس لفيديوهات معدلة بعد الحدث، يجعل الأسلوب الجديد من الممكن توليد فيديوهات عينة وقواعد بيانات لا حصر لها تركز على هذا الجانب من الديب فايكس.

نظرة عامة على كتلة STE، حيث يتم استخدام التمويه الزمني القنوي كحافز لتوليد ترميزات محسنة مكانيًا وزمنيًا، مما يؤدي إلى نفس التوقيع الذي سوف ينتجه حتى ديب فايكس مقنع. من خلال هذه الطريقة، يمكن توليد فيديوهات “كاذبة” كاذبة تحمل نفس سمات التوقيع مثل أي فيديو معدل على غرار الديب فايكس، ولا تعتمد على توزيعات معينة أو جوانب متقلبة مثل سلوك الميزات أو العيوب الخوارزمية.

الاختبارات

أجرى الباحثون تجارب على ست مجموعات بيانات مشهورة تستخدم في أبحاث الكشف عن الديب فايكس: FaceForensics++ (FF++); WildDeepFake؛ تحدي الكشف عن الديب فايكس (DFDCP); Celeb-DF؛ الكشف عن الديب فايكس (DFD); و Face Shifter (FSh).

对于 FF++، قام الباحثون بتدريب نموذجهم على المجموعة البيانية الأصلية واختبار كل من المجموعات الفرعية الأربعة بشكل منفصل. بدون استخدام أي مواد ديب فايكس في التدريب، كان الأسلوب الجديد قادرًا على تجاوز نتائج الدولة الفنية.

كان الأسلوب أيضًا في المركز الأول عند المقارنة مع مجموعة FF++ C23 المضغوطة، التي توفر أمثلة تتميز بسمات الضغط التي تتماشى مع بيئات عرض الديب فايكس في العالم الحقيقي.

يقول المؤلفون:

‘تؤكد الأداء داخل FF++ على جدوى فكرتنا الرئيسية، في حين يبقى التعميم مشكلة كبيرة للأسلوب الحالي للكشف عن الديب فايكس، حيث لا يتم ضمان الأداء عند اختبارها على ديب فايكس تم إنشاؤها bằng تقنيات غير موضحة. ‘

‘نظرًا إلى واقع الحرب بين المكتشفين والمخادعين، يبقى التعميم معيارًا هامًا لتقييم فعالية طريقة الكشف في العالم الحقيقي.’

على الرغم من أن الباحثين أجرى عددًا من الاختبارات الفرعية (انظر الورقة للحصول على التفاصيل) حول “المتانة”، وتغيير أنواع الفيديوهات الإدخالية (أي حقيقية، كاذبة، p-fake، إلخ)، فإن النتائج الأكثر إثارة للاهتمام هي من اختبار الأداء عبر المجموعات البيانية.

لذلك، قام المؤلفون بتدريب نموذجهم على الإصدار “العالم الحقيقي” C23 من FF++، واختباره ضد أربع مجموعات بيانات، وحصلوا، كما يقولون، على أداء أفضل عبر جميعها.

نتائج من تحدي المجموعة البيانية. تشير الورقة إلى أن SBI يستخدم نهجًا مشابهًا لنهج المؤلفين، في حين يزعم الباحثون أن p-fake يظهر أداءً أفضل لاضطراب المنتظم المكاني الزمني.

تذكر الورقة:

‘في Deepwild الأكثر تحديًا، يتجاوز أسلوبنا طريقة SOTA بحوالي 10 نقاط مئوية من حيث نسبة المساحة تحت المنحنى. نعتقد أن هذا يعود إلى التنوع الكبير للديب فايكس في Deepwild، مما يجعل الأساليب الأخرى تفشل في التعميم جيدًا من الديب فايكس التي تم رؤيتها.’

المقاييس المستخدمة في الاختبارات هي درجة الدقة (ACC)، المساحة تحت المنحنى ROC (AUC)، ومعدل الخطأ المتساوي (EER).

الهجمات المضادة؟

على الرغم من وصف وسائل الإعلام التوتر بين مطوري الديب فايكس وباحثي الكشف عن الديب فايكس بصيغة حرب تكنولوجية، يمكن القول إن الأول يهدف إلى جعل الإخراج أكثر اقناعًا، وأن زيادة صعوبة الكشف عن الديب فايكس هو نتيجة عرضية لتلك الجهود.

ينتظر ما إذا كان المطورون سيحاولون معالجة هذا العيب الجديد المكتشف، ربما يعتمد على ما إذا كانوا يشعرون بأن اضطراب المنتظم يمكن أن يُلاحظ بالعين المجردة كعلامة على عدم الصحة في فيديو الديب فايكس، وبالتالي يعتبر هذا المقياس يستحق معالجته من وجهة نظر نوعية بحتة.

على الرغم من مرور خمس سنوات منذ ظهور أول الديب فايكس على الإنترنت، لا يزال الديب فايكس تكنولوجيا ناشئة نسبيًا، ويمكن القول إن المجتمع أكثر اهتمامًا بالتفاصيل والدقة من السياق الصحيح أو مطابقة توقيعات الفيديو المضغوط، والتي تتطلب نوعًا من “الانحطاط” للخرج – الشيء الذي يصارع المجتمع بأكمله ضده حاليًا.

إذا كان الإجماع العام يعتقد أن اضطراب المنتظم هو توقيع ناشئ لا يؤثر على الجودة، فقد لا يكون هناك أي جهد لتعويضه – حتى لو كان يمكن “إلغاء” بعض المعالجات بعد الإنتاج أو الإجراءات المعمارية، وهو أمر غير واضح.

نُشر لأول مرة في 22 يوليو 2022.