زاوية Anderson
طريقة جديدة وبسيطة لتقنية Deepfake تفوق الطرق السابقة
أضف Unite.AI إلى مصادرك المفضلة على Google
تعاون بين مجموعة بحثية صينية وباحثين أمريكيين قد أدى إلى تطوير ما قد يكون أول ابتكار حقيقي في تقنية Deepfake منذ ظهورها قبل أربع سنوات.
يمكن للطريقة الجديدة أداء عمليات تبادل الوجوه التي تفوق جميع الإطارات الحالية على الاختبارات الحسية القياسية، دون الحاجة إلى جمع وتنقية مجموعات بيانات كبيرة مخصصة وتدريبها لمدة تصل إلى أسبوع من أجل هوية واحدة فقط. بالنسبة للأمثلة المقدمة في الورقة الجديدة، تم تدريب النماذج على كامل مجموعتي بيانات المشاهير الشهيرتين، على جهاز NVIDIA Tesla P40 GPU لمدة ثلاثة أيام.
الفيديو الكامل متوفر في نهاية هذا المقال. في هذه العينة من فيديو في المواد الإضافية المقدمة من أحد مؤلفي الورقة الجديدة، يتم نقل وجه سكارليت جوهانسون إلى فيديو المصدر. تقوم CihaNet بإزالة مشكلة تعتيم الحواف عند أداء التبادل، من خلال تشكيل وتطبيق علاقات أعمق بين الهوية المصدر والهوية الهدف، مما يعني نهاية للحدود الواضحة وغيرها من عيوب التضمين التي تحدث في نهج Deepfake التقليدي. المصدر: https://mitchellx.github.io/#video
تُزيل الطريقة الجديدة الحاجة إلى “لصق” الهوية المزروعة بشكل غير لائق في فيديو الهدف، مما يؤدي في كثير من الأحيان إلى ظهور أثار تظهر حيث تنتهي الوجه الكاذب وتبدأ الوجه الحقيقي التحتية. بدلاً من ذلك، يتم استخدام “خرائط الهلوسة” لأداء مزج أعمق للجوانب البصرية، لأن النظام يفصل بين الهوية والسياق بشكل أكثر فعالية من الطرق الحالية، وبالتالي يمكن أن يمتزج الهوية الهدف على مستوى أكثر عمقا.
من الورقة. يتم تسهيل تحويلات CihaNet من خلال خرائط الهلوسة (الصف الأخير). يستخدم النظام معلومات السياق (أي اتجاه الوجه، الشعر، النظارات وغيرها من العوائق، إلخ.) بالكامل من الصورة التي سيتم وضع الهوية الجديدة فيها، ومعلومات الهوية الوجهية بالكامل من الشخص الذي سيتم إدراجه في الصورة. هذه القدرة على فصل الوجه من السياق حاسمة لنجاح النظام. المصدر: https://dl.acm.org/doi/pdf/10.1145/3474085.3475257
بفعالية، توفر خريطة الهلوسة الجديدة سياقاً أكثر اكتمالاً للتبادل، على عكس الأقنعة الصلبة التي غالباً ما تتطلب تحضيراً مكثفاً (وفي حالة DeepFaceLab، تدريباً منفصلاً) بينما توفر مرونة محدودة فيما يتعلق بدمج الهويات الحقيقية.
من العينات المقدمة في المواد الإضافية، باستخدام مجموعتي بيانات FFHQ وCeleb-A HQ، عبر VGGFace وForensics++. تظهر العمودان الأولان الصور الحقيقية المحددة عشوائياً التي سيتم تبادلها. تظهر الأعمدة الأربعة التالية نتائج التبادل باستخدام أربعة طرق فعالة حالياً، بينما يظهر العمود الأخير النتيجة من CihaNet. تم استخدام مستودع FaceSwap، بدلاً من DeepFaceLab الأكثر شعبية، منذ أن تكون كلا المشروعين فرعين من код Deepfakes الأصلي على GitHub. على الرغم من أن كل مشروع أضاف نماذج و تقنيات و واجهات مستخدم و أدوات إضافية، فإن الكود الأساسي الذي يجعل Deepfakes ممكنًا لم يتغير، و لا يزال مشتركًا بينهما. المصدر: https://dl.acm.org/action/downloadSupplement?doi=10.1145%2F3474085.3475257&file=mfp0519aux.zip
الورقة، بعنوان شبكة هلوسة الهوية والسياق، من تأليف باحثين تابعين لشركة JD AI Research و جامعة ماساتشوستس أمهرست، و تم دعمها من قبل برنامج البحث والتطوير الرئيسي في الصين تحت رقم المنحة 2020AAA0103800. تم تقديمها في المؤتمر الدولي التاسع والعشرين حول الوسائط المتعددة، في 20-24 أكتوبر، في مدينة Chengdu، الصين.
لا حاجة إلى التماثل “الوجه للمواجهة”
كلا البرنامجين الشهيرين الحاليين لتقنية Deepfake، DeepFaceLab و FaceSwap، يقومان بعمليات معقدة و شاقة لتحديد اتجاه الوجه و العوائق و غيرها من العوائق التي يجب مراعاتها، و يجب التعامل معها يدويًا.
في المقابل، لا تتطلب CihaNet أن تكون الصورتان مواجهتان بشكل مباشر لاستخراج المعلومات الهامة من صورة واحدة.
<img class="size-full wp-image-178605" src="https://www.unite.ai/wp-content/uploads/2021/11/cihanet-angles.jpg" alt="في هذه الأمثلة، يتم تحدي مجموعة من برامج Deepfake بال任务 المتمثل في تبادل الوجوه التي ليست فقط مختلفة في الهوية، ولكن ليست مواجهة لنفس الاتجاه. لا يمكن للبرامج التي تم استخراجها من مستودع Deepfakes الأصلي (مثل DeepFaceLab و FaceSwap الشهيرين، الموضحين أعلاه) التعامل مع اختلاف الزوايا بين الصورتين المتبادلتين (انظر العمود الثالث). في حين أن CihaNet يمكن أن يabstract الهوية بشكل صحيح، لأن "موقف" الوجه ليس جزءًا من المعلومات الهوية بشكل ذاتی.الهيكل
وفقًا للمؤلفين، تم إلهام مشروع CihaNet من خلال التعاون بين Microsoft Research و Peking University في عام 2019، والذي يُسمى FaceShifter، على الرغم من أنه يعدل بعض التغييرات المهمة على هيكل الطريقة القديمة.
يستخدم FaceShifter شبكتين من نوع AdaIN لتعامل مع المعلومات الهوية، والتي يتم نقلها إلى الصورة الهدف عبر قناع، بطريقة مشابهة لبرامج Deepfake الشهيرة الحالية (مع جميع القيود المرتبطة بها)، باستخدام شبكة HEAR-Net الإضافية (التي تتضمن شبكة فرعية منفصلة تم تدريبها على عوائق العوائق – طبقة إضافية من التعقيد).
بدلاً من ذلك، يستخدم الهيكل الجديد المعلومات “السياقية” مباشرةً لعملية التحويل، من خلال عملية C-AdaIN ثنائية الخطوة، التي توفر اتساق السياق (أي بشرة الوجه و العوائق) للمناطق ذات الصلة بالهوية.
الشبكة الفرعية الثانية الحاسمة للنظام هي Swapping Block (SwapBlk)، التي تنتج ميزة متكاملة من سياق الصورة المرجعية ومعلومات الهوية المضمنة من صورة المصدر، متجاوزة المراحل المتعددة اللازمة لإنجاز ذلك بالطرق التقليدية.
لمساعدة التمييز بين السياق والهوية، يتم إنشاء “خريطة هلوسة” لكل مستوى، والتي تُستخدم كبديل لقناع التجزئة الناعم، وتنفذ على مجموعة أوسع من الميزات لهذا الجزء الحاسم من عملية Deepfake.
كلما زاد قيمة خريطة الهلوسة (الموضحة في اليمين)، ظهر مسار أكثر وضوحًا بين الهويات.
بهذه الطريقة، يتم إنجاز عملية التبادل بأكملها في مرحلة واحدة وبدون معالجة لاحقة.
البيانات والاختبار
لجعل النظام يعمل، قام الباحثون بتدريب أربعة نماذج على مجموعتي بيانات صور مفتوحتين شائعتين ومتعددين – CelebA-HQ و FFHQ، كل منهما يحتوي على 30,000 و 70,000 صورة على التوالي.
لم يتم إجراء أي تقليم أو تصفية على هذه المجموعات الأساسية من البيانات. في كل حالة، قام الباحثون بتدريب كافة المجموعة على جهاز Tesla GPU واحد لمدة ثلاثة أيام، مع معدل تعلم 0.0002 على تحسين Adam.
ثم قاموا بتشغيل سلسلة من التبادل العشوائي بين الآلاف من الشخصيات الموجودة في المجموعات، دون اعتبار لما إذا كانت الوجوه متشابهة أو حتى متوافقة في الجنس، وقارنوا نتائج CihaNet بنتائج أربعة إطارات Deepfake الرائدة: FaceSwap (التي تُستخدم كبديل لبرنامج DeepFaceLab الأكثر شعبية، منذ أن يشاركا نفس قاعدة الكود في المستودع الأصلي عام 2017 الذي جلب Deepfakes إلى العالم); FaceShifter؛ FSGAN؛ و SimSwap.
عند مقارنة النتائج من خلال VGG-Face و FFHQ و CelebA-HQ و FaceForensics++، وجد المؤلفون أن نموذجهم الجديد يفوق جميع النماذج السابقة، كما هو موضح في الجدول أدناه.
تم استخدام ثلاثة مقاييس لتقييم النتائج: التشابه الهيكلي (SSIM)، وخطأ تقدير الموقف (pose estimation error)، ودقة استرجاع الهوية (ID retrieval accuracy)، التي يتم حسابها بناءً على نسبة الأزواج الناجحة المسترجعة.
يزعم الباحثون أن CihaNet يمثل نهجًا متفوقًا من حيث النتائج النوعية، ويتقدم بشكل ملحوظ على الحالة الحالية للتقنيات Deepfake، من خلال إزالة عبء الهياكل التخفيضية الشاقة وطويلة الأمد، وتحقيق فصل أكثر فائدة وفعاليًا للهوية عن السياق.
انظر أدناه لمشاهدة المزيد من الأمثلة على الفيديو لتقنية جديدة. يمكنك العثور على الفيديو الكامل هنا.
من المواد الإضافية للورقة الجديدة، تقوم CihaNet بتبادل الوجوه على هويات مختلفة. المصدر: https://mitchellx.github.io/#video
