التحقق من الوجه الإبداعي مع الشبكات المعادية التوليدية

قد اقترح بحث جديد من جامعة ستانفورد طريقة مبتكرة لخداع أنظمة التحقق من الوجه في منصات مثل تطبيقات المواعدة ، وذلك باستخدام شبكة معادية توليدية (GAN) لإنشاء صور بديلة للوجه تحتوي على نفس المعلومات الأساسية للتعريف مثل الوجه الحقيقي.

نجحت هذه الطريقة في تجاوز عمليات التحقق من الوجه على تطبيقات المواعدة تندر و بومبل ، وفي حالة واحدة ، حتى تمرير وجه من الجنس الآخر (ذكر) كصحيح للهوية الأصلية (أنثى).

هويات مختلفة تم إنشاؤها والتي تحتوي على التشفير الخاص بمؤلف الورقة (الموضح في الصورة الأولى). مصدر: https://arxiv.org/pdf/2203.15068.pdf

وفقًا للمؤلف ، فإن هذا العمل يمثل أول محاولة لتجاوز التحقق من الوجه باستخدام صور تم إنشاؤها والتي تم إضفاء سمات هوية معينة عليها ، ولكنها تحاول تمثيل هوية بديلة أو معدلة بشكل كبير.

تم اختبار هذه التقنية على نظام تحقق من الوجه المخصص المحلي ، وأدت إلى نتائج جيدة في اختبارات الصندوق الأسود ضد تطبيقات المواعدة التي تقوم بالتحقق من الوجه على الصور المرفوعة من قبل المستخدمين.

الورقة الجديدة الورقة بعنوان تجاوز التحقق من الوجه ، وهي من تأليف سانجانا ساردا ، باحثة في قسم الهندسة الكهربائية بجامعة ستانفورد.

تحكم في مساحة الوجه

على الرغم من أن “الحقن” سمات محددة بالهوية (أي من الوجوه ، إشارات الطريق ، إلخ) في الصور المصنعة هي سمة من سمات الهجمات المعادية ، فإن الدراسة الجديدة تشير إلى شيء مختلف: أن القدرة المتزايدة في قطاع البحث على تحكم في الفضاء الكامن للشبكات المعادية التوليدية ستمكن في النهاية من تطوير هياكل قادرة على إنشاء هويات بديلة متسقة للهوية المستخدم ، وبالتالي تمكين استخراج سمات الهوية من الصور المتاحة على الويب لشخص غير متوقع لدمجها في هوية “ظل” مصنعة.

كانت الاتساق والتنقلية التحديات الأساسية المتعلقة بالفضاء الكامن للشبكة المعادية التوليدية منذ بداية الشبكات المعادية التوليدية. الشبكة المعادية التوليدية التي استوعبت بنجاح مجموعة من الصور التدريبية في فضاءها الكامن لا توفر خريطة سهلة لتحويل السمات من فئة إلى أخرى.

في حين أن التقنيات والأدوات مثل خريطة التنشيط المرجح بالتدرج (Grad-CAM) يمكن أن تساعد في إنشاء اتجاهات كامنة بين الفئات المحددة ، وتمكين التحويلات (انظر الصورة أدناه) ، فإن التحدي الإضافي لل التنسيق عادة ما يجعل من الرحلة “تقريبية” ، مع سيطرة دقيقة محدودة على الانتقال.

رحلة قاسية بين المتجهات المشفرة في فضاء الشبكة المعادية التوليدية ، حيث يتم دفع هوية ذكرية مشتقة من البيانات إلى تشفير “الأنثى” على الجانب الآخر من أحد العديد من المستويات الخطية في الفضاء الكامن المعقد والغامض. الصورة مشتقة من المواد المتاحة على https://www.youtube.com/watch?v=dCKbRCUyop8

القدرة على “تجميد” سمات الهوية و保护ها أثناء تحريكها إلى تشفيرات تحويلية في مكان آخر في الفضاء الكامن قد تتيح إنشاء فرد متسق (ويمكن تمثيله حتى) يقرأه أنظمة الآلة على أنه شخص آخر.

الطريقة

استخدم المؤلف قاعدتي بيانات كقاعدة لل experements: قاعدة بيانات المستخدم البشري التي تتكون من 310 صورة لوجهها خلال فترة أربع سنوات ، مع تباين في الإضاءة والعمر وزوايا المشاهدة) ، مع استخراج الوجوه المقطوعة عبر كافيه؛ وقاعدة بيانات فيرفيس المتوازنة عرقياً التي تضم 108,501 صورة ، تم استخراجها وتقليمها بشكل مماثل.

تم اشتقاق نموذج التحقق من الوجه المحلي من تنفيذ قاعدة ل فيس نت و ديب فيس ، تم تدريبه على كونفيت إنسيشن ، مع تمثيل كل صورة بواسطة متجه بعدي 128.

تستخدم هذه الطريقة صور الوجه من جزء مدرب من قاعدة فيرفيس. من أجل تمرير التحقق من الوجه ، يتم تعويض المسافة المحسوبة بواسطة معيار فروبينيوس للصورة ضد المستخدم المستهدف في قاعدة البيانات. أي صورة تحت عتبة 0.7 تعادل نفس الهوية ، وإلا يُعتبر التحقق من الهوية قد فشل.

تم ضبط نموذج ستايل جان على قاعدة بيانات المؤلف الشخصية ، مما أدى إلى نموذج يمكنه توليد صور متعددة للهوية ، على الرغم من أن الصور المولدة لم تكن متطابقة مع بيانات التدريب. تم تحقيق ذلك من خلال تجميد الطبقات الأربع الأولى في المناهج ، لتجنب التكيف المفرط مع البيانات وإنتاج مخرجات متنوعة.

على الرغم من الحصول على صور متنوعة مع نموذج ستايل جان الأساسي ، إلا أن الدقة والوضوح المنخفضين دفعت إلى محاولة ثانية مع ستار جان 2 ، الذي يسمح بتدريب صور البذرة نحو وجه مستهدف.

تم تدريب نموذج ستار جان 2 مسبقًا لمدة تقارب 10 ساعات باستخدام مجموعة التحقق من قاعدة فيرفيس ، مع حجم.batch من 4 وحجم التحقق من 8. في النهج الأكثر نجاحًا ، تم استخدام قاعدة بيانات المؤلف الشخصية كمرجع مع بيانات التدريب كمرجع.

تجارب التحقق

تم بناء نموذج تحقق من الوجه بناءً على جزء من 1000 صورة ، مع هدف التحقق من صورة عشوائية من المجموعة. الصور التي نجحت في التحقق بنجاح تم اختبارها لاحقًا ضد هوية المؤلف الخاصة.

على اليسار ، مؤلف الورقة ، صورة حقيقية ؛ في منتصف ، صورة عشوائية فشلت في التحقق ؛ على اليمين ، صورة غير متعلقة من قاعدة البيانات التي نجحت في التحقق كلهوية المؤلف.

كان الهدف من التجارب هو إنشاء فجوة واسعة كما هو ممكن بين الهوية المرئية المتصورة مع الحفاظ على السمات التعريفية للهوية المستهدفة. تم تقييم ذلك باستخدام مسافة ماهالانوبيس ، وهو مقياس يستخدم في معالجة الصور للبحث عن الأنماط والقوالب.

对于 نموذج التوليد الأساسي ، فإن النتائج منخفضة الدقة تظهر تنوعًا محدودًا ، على الرغم من تمرير التحقق من الوجه المحلي. أثبت نموذج ستار جان 2 khả năng أكبر في إنشاء صور متنوعة قادرة على التحقق.

جميع الصور الموضحة تم تمرير التحقق من الوجه المحلي. في الأعلى ، توليدات ستايل جان الأساسية منخفضة الدقة ، في الأسفل ، توليدات ستار جان 2 عالية الدقة والجودة.

تم اختبار الصور المولدة الناتجة ضد أنظمة التحقق من الوجه لتطبيقات المواعدة بومبل وتندر ، مع هوية المؤلف كقاعدة ، وتمرير التحقق. تم تمرير “نسخة ذكر” لوجه المؤلف (أنثى) عملية التحقق من بومبل ، على الرغم من أن الإضاءة يجب تعديلها في الصورة المولدة قبل قبولها. لم تقبل تندر النسخة الذكرية.

نسخ “ذكر” للهوية المؤلف (أنثى).

الاستنتاج

هذه هي تجارب رائدة في مشروع الهوية ، في سياق تحكم الفضاء الكامن للشبكات المعادية التوليدية ، التي لا تزال تحديًا غير عادي في 합성 الصور والبحث عن deepfakes. ومع ذلك ، فإن هذا العمل يفتح مفهوم دمج سمات محددة للغاية بشكل متسق عبر هويات متنوعة ، وإنشاء “هويات بديلة” التي “تقرأ” كشخص آخر.

نشر لأول مرة في 30 مارس 2022.