زاوية Anderson
التحقق من الوجه الإبداعي مع الشبكات المعادية التوليدية

النقاط الرئيسيةطريقة GAN من ستانفورد تجاوزت التحقق الوجهي في تيندر وبامبل باستخدام صور مبدلة الجنس.
عرض المزيد
- طريقة GAN من ستانفورد تجاوزت التحقق الوجهي في تيندر وبامبل باستخدام صور مبدلة الجنس.
- قامت StarGAN V2 بتوليد وجوه متنوعة عالية الجودة اجتازت التحقق المحلي بشكل أفضل من StyleGAN.
- تقوم التقنية بحقن ميزات الهوية في الوجوه المعدلة مما يتيح هويات بديلة متسقة لأنظمة المصادقة.
قد اقترح بحث جديد من جامعة ستانفورد طريقة مبتكرة لخداع أنظمة التحقق من الوجه في منصات مثل تطبيقات المواعدة ، وذلك باستخدام شبكة معادية توليدية (GAN) لإنشاء صور بديلة للوجه تحتوي على نفس المعلومات الأساسية للتعريف مثل الوجه الحقيقي.
نجحت هذه الطريقة في تجاوز عمليات التحقق من الوجه على تطبيقات المواعدة تندر و بومبل ، وفي حالة واحدة ، حتى تمرير وجه من الجنس الآخر (ذكر) كصحيح للهوية الأصلية (أنثى).

هويات مختلفة تم إنشاؤها والتي تحتوي على التشفير الخاص بمؤلفة الورقة (الموضحة في الصورة الأولى). مصدر: https://arxiv.org/pdf/2203.15068.pdf
وفقًا للمؤلفة ، فإن هذا العمل يمثل أول محاولة لتجاوز التحقق من الوجه باستخدام صور تم إنشاؤها والتي تم إضفاء سمات هوية معينة عليها ، ولكنها تحاول تمثيل هوية بديلة أو معدلة بشكل كبير.
تم اختبار هذه التقنية على نظام تحقق من الوجه المخصص المحلي ، وأدت إلى نتائج جيدة في اختبارات الصندوق الأسود ضد تطبيقات المواعدة التي تقوم بالتحقق من الوجه على الصور المرفوعة من قبل المستخدمين.
الورقة الجديدة الورقة بعنوان تجاوز التحقق من الوجه ، وهي من تأليف سانجانا ساردا ، باحثة في قسم الهندسة الكهربائية بجامعة ستانفورد.
تحكم في مساحة الوجه
على الرغم من أن “الحقن” سمات محددة بالهوية (أي من الوجوه ، إشارات الطريق ، إلخ) في الصور المصنعة هي عنصر أساسي في الهجمات العدائية ، فإن الدراسة الجديدة تشير إلى شيء مختلف: أن القدرة المتزايدة في قطاع البحث على التحكم في الفضاء الكامن للشبكات المعادية التوليدية ستمكن في النهاية من تطوير هياكل قادرة على إنشاء هويات بديلة متسقة لهوية المستخدم ، وبالتالي تمكين استخراج سمات الهوية من الصور المتاحة على الويب لمستخدم لا يدرك ما يجري لدمجها في هوية “ظل” مصنعة.
كانت الاتساق والتنقلية التحديات الأساسية المتعلقة بالفضاء الكامن للشبكة المعادية التوليدية منذ بداية الشبكات المعادية التوليدية. الشبكة المعادية التوليدية التي استوعبت بنجاح مجموعة من الصور التدريبية في فضاءها الكامن لا توفر خريطة سهلة لتحويل السمات من فئة إلى أخرى.
في حين أن التقنيات والأدوات مثل خريطة التنشيط المرجح بالتدرج (Grad-CAM) يمكن أن تساعد في إنشاء اتجاهات كامنة بين الفئات المحددة ، وتمكين التحويلات (انظر الصورة أدناه) ، فإن التحدي الإضافي المتمثل في تشابك السمات عادة ما يجعل من الرحلة “تقريبية” ، مع سيطرة دقيقة محدودة على الانتقال.

رحلة قاسية بين المتجهات المشفرة في فضاء الشبكة المعادية التوليدية ، حيث يتم دفع هوية ذكرية مشتقة من البيانات إلى تشفير “الأنثى” على الجانب الآخر من أحد العديد من المستويات الخطية في الفضاء الكامن المعقد والغامض. الصورة مشتقة من المواد المتاحة على https://www.youtube.com/watch?v=dCKbRCUyop8
القدرة على “تجميد” سمات الهوية وحمايتها أثناء تحريكها إلى تشفيرات تحويلية في مكان آخر في الفضاء الكامن قد تتيح إنشاء فرد متسق (بل ويمكن تحريكه أيضًا) يقرأه أنظمة الآلة على أنه شخص آخر.
الطريقة
استخدمت المؤلفة مجموعتي بيانات كأساس للتجارب: قاعدة بيانات المستخدم البشري التي تتكون من 310 صورة لوجهها خلال فترة أربع سنوات ، مع تباين في الإضاءة والعمر وزوايا المشاهدة) ، مع استخراج الوجوه المقطوعة عبر كافيه؛ وقاعدة بيانات فيرفيس المتوازنة عرقياً التي تضم 108,501 صورة ، تم استخراجها وتقليمها بشكل مماثل.
تم اشتقاق نموذج التحقق من الوجه المحلي من تنفيذ قاعدة ل فيس نت و ديب فيس ، تم تدريبه على كونفيت إنسيشن ، مع تمثيل كل صورة بواسطة متجه بعدي 128.
تستخدم هذه الطريقة صور الوجه من جزء مدرب من قاعدة فيرفيس. من أجل تمرير التحقق من الوجه ، تُقارَن المسافة المحسوبة باستخدام معيار فروبينيوس للصورة بالمستخدم المستهدف في قاعدة البيانات. أي صورة تحت عتبة 0.7 تعادل نفس الهوية ، وإلا يُعتبر التحقق من الهوية قد فشل.
تم ضبط نموذج ستايل جان على قاعدة بيانات المؤلفة الشخصية ، مما أدى إلى نموذج يمكنه توليد صور متعددة للهوية ، على الرغم من أن الصور المولدة لم تكن متطابقة مع بيانات التدريب. تم تحقيق ذلك من خلال تجميد الطبقات الأربع الأولى في المميّز ، لتجنب التكيف المفرط مع البيانات وإنتاج مخرجات متنوعة.
على الرغم من الحصول على صور متنوعة مع نموذج ستايل جان الأساسي ، إلا أن الدقة والوضوح المنخفضين دفعت إلى محاولة ثانية مع ستار جان 2 ، الذي يسمح بتدريب صور البذرة نحو وجه مستهدف.
تم تدريب نموذج ستار جان 2 مسبقًا لمدة تقارب 10 ساعات باستخدام مجموعة التحقق من قاعدة فيرفيس ، بحجم دفعة يساوي 4 وحجم التحقق من 8. في النهج الأكثر نجاحًا ، تم استخدام قاعدة بيانات المؤلفة الشخصية كمصدر وبيانات التدريب كمرجع.
تجارب التحقق
تم بناء نموذج تحقق من الوجه بناءً على جزء من 1000 صورة ، مع هدف التحقق من صورة عشوائية من المجموعة. الصور التي نجحت في التحقق بنجاح تم اختبارها لاحقًا ضد هوية المؤلفة الخاصة.

على اليسار ، مؤلفة الورقة ، صورة حقيقية ؛ في منتصف ، صورة عشوائية فشلت في التحقق ؛ على اليمين ، صورة غير متعلقة من قاعدة البيانات التي نجحت في التحقق كلهوية المؤلفة.
كان الهدف من التجارب هو إنشاء فجوة واسعة كما هو ممكن بين الهوية المرئية المتصورة مع الحفاظ على السمات التعريفية للهوية المستهدفة. تم تقييم ذلك باستخدام مسافة ماهالانوبيس ، وهو مقياس يستخدم في معالجة الصور للبحث عن الأنماط والقوالب.
بالنسبة إلى نموذج التوليد الأساسي ، فإن النتائج منخفضة الدقة تظهر تنوعًا محدودًا ، على الرغم من تمرير التحقق من الوجه المحلي. أثبت نموذج ستار جان 2 قدرة أكبر في إنشاء صور متنوعة قادرة على التحقق.

جميع الصور الموضحة تم تمرير التحقق من الوجه المحلي. في الأعلى ، توليدات ستايل جان الأساسية منخفضة الدقة ، في الأسفل ، توليدات ستار جان 2 عالية الدقة والجودة.
استخدمت الصور الثلاث الأخيرة الموضحة أعلاه مجموعة بيانات وجه المؤلفة نفسها كمصدر ومرجع معًا، بينما استخدمت الصور السابقة بيانات التدريب كمرجع ومجموعة بيانات المؤلفة كمصدر.
تم اختبار الصور المولدة الناتجة ضد أنظمة التحقق من الوجه لتطبيقات المواعدة بومبل وتندر ، مع هوية المؤلفة كقاعدة ، وتمرير التحقق. تم تمرير “نسخة ذكر” لوجه المؤلفة (أنثى) عملية التحقق من بومبل ، على الرغم من أن الإضاءة يجب تعديلها في الصورة المولدة قبل قبولها. لم تقبل تندر النسخة الذكرية.

نسخ “ذكر” للهوية المؤلفة (أنثى).
الاستنتاج
هذه هي تجارب رائدة في إسقاط الهوية ، في سياق تحكم الفضاء الكامن للشبكات المعادية التوليدية ، التي لا تزال تحديًا غير عادي في تركيب الصور والبحث عن deepfakes. ومع ذلك ، فإن هذا العمل يفتح مفهوم دمج سمات محددة للغاية بشكل متسق عبر هويات متنوعة ، وإنشاء “هويات بديلة” التي “تقرأ” كشخص آخر.
نشر لأول مرة في 30 مارس 2022.












