الذكاء الاصطناعي
التحقق من الوجه "الإبداعي" مع شبكات الخصومة التوليدية
اقترحت ورقة بحثية جديدة من جامعة ستانفورد طريقة ناشئة لخداع أنظمة مصادقة الوجه في منصات مثل تطبيقات المواعدة ، باستخدام شبكة الخصومة التوليدية (GAN) لإنشاء صور وجه بديلة تحتوي على نفس معلومات الهوية الأساسية للوجه الحقيقي.
نجحت الطريقة في تجاوز عمليات التحقق من الوجه في تطبيقات المواعدة Tinder و Bumble ، وفي إحدى الحالات تم تمرير وجه (ذكر) مبادل الجنس باعتباره أصيلًا لهوية المصدر (الأنثوية).
هويات مختلفة تم إنشاؤها والتي تتميز بالترميز المحدد لمؤلف الورقة (الموضح في الصورة الأولى أعلاه). المصدر: https://arxiv.org/pdf/2203.15068.pdf
وفقًا للمؤلف ، يمثل العمل المحاولة الأولى لتجاوز التحقق من الوجه باستخدام الصور التي تم إنشاؤها والتي تم تشبعها بسمات هوية محددة ، ولكنها تحاول تمثيل هوية بديلة أو تم تغييرها بشكل كبير.
تم اختبار هذه التقنية على نظام محلي مخصص للتحقق من الوجه ، ثم أداؤها جيدًا في اختبارات الصندوق الأسود مقابل تطبيقين للتعارف يقومان بالتحقق من الوجه على الصور التي يحمّلها المستخدم.
الجديد ورقة بعنوان تجاوز التحقق من الوجه، وتأتي من سانجانا ساردا ، الباحثة في قسم الهندسة الكهربائية بجامعة ستانفورد.
التحكم في مساحة الوجه
على الرغم من "حقن" ميزات خاصة بالهوية (أي من الوجوه، إشارات الطريق، وما إلى ذلك) في الصور المصممة هو عنصر أساسي في هجمات الخصومةوتشير الدراسة الجديدة إلى شيء مختلف: وهو أن قطاع البحث القدرة المتزايدة إلى مراقبة ستمكن المساحة الكامنة لشبكات GAN في النهاية من تطوير البنى التي يمكن أن تخلق ثابتة إن توفير هويات بديلة عن هوية المستخدم - وتمكين استخراج سمات الهوية من الصور المتاحة على شبكة الإنترنت لمستخدم غير متوقع للانضمام إلى هوية تم إنشاؤها "ظلًا".
لطالما كان الاتساق وسهولة التنقل التحديين الرئيسيين فيما يتعلق بالمساحة الكامنة لشبكة GAN منذ ظهور الشبكات التوليدية التنافسية. فالشبكة GAN التي نجحت في استيعاب مجموعة من صور التدريب في مساحتها الكامنة لا توفر طريقة سهلة لنقل الميزات من فئة إلى أخرى.
في حين أن التقنيات والأدوات مثل تعيين التنشيط بالفئة المرجحة بالتدرج (جراد كام) يمكن أن تساعد في إنشاء الاتجاهات الكامنة بين الفئات المنشأة ، وتمكين التحولات (انظر الصورة أدناه) ، التحدي الإضافي تشابك عادة ما تكون الرحلة "تقريبية"، مع سيطرة محدودة على عملية الانتقال.
رحلة صعبة بين المتجهات المشفرة في الفضاء الكامن لشبكة GAN، مما يدفع هوية ذكورية مشتقة من البيانات إلى ترميزات "أنثوية" على الجانب الآخر من أحد المستويات الفائقة الخطية العديدة في الفضاء الكامن المعقد والغامض. الصورة مشتقة من مادة موجودة على https://www.youtube.com/watch؟v=dCKbRCUyop8
إن القدرة على "تجميد" وحماية الميزات الخاصة بالهوية أثناء نقلها إلى ترميزات تحويلية في مكان آخر في الفضاء الكامن تجعل من الممكن إنشاء فرد متسق (وحتى قابل للتحريك) تتم قراءة هويته بواسطة أنظمة الآلة كشخص آخر.
الأسلوب
استخدم المؤلف مجموعتي بيانات كأساس للتجارب: مجموعة بيانات مستخدم بشري تتكون من 310 صورة لوجهها تمتد على مدى أربع سنوات ، مع اختلاف الإضاءة والعمر وزوايا الرؤية) ، مع الوجوه المقصوصة المستخرجة عبر قهوة؛ و 108,501 صورة متوازنة عرقيا في وجه عادل مجموعة البيانات ، المستخرجة والمقصوصة بالمثل.
تم اشتقاق نموذج التحقق من الوجه المحلي من تطبيق أساسي لـ فيس نت و ديب فيس، مدربة مسبقًا على بداية ConvNet، مع تمثيل كل صورة بواسطة متجه 128 بعدًا.
يستخدم هذا النهج صورًا للوجوه من مجموعة فرعية مُدرَّبة من FairFace. ولاجتياز عملية التحقق من الوجه، تُحسب المسافة المحسوبة الناتجة عن الصورة. قاعدة فروبينيوس مقابل المستخدم الهدف في قاعدة البيانات. أي صورة تحت عتبة 0.7 تعادل نفس الهوية ، وإلا يعتبر التحقق قد فشل.
تم ضبط نموذج StyleGAN بدقة على مجموعة البيانات الشخصية للمؤلفة، مما أدى إلى إنتاج نموذج يُولّد اختلافات واضحة لهويتها، مع العلم أن أيًا من هذه الصور المُولّدة لم تكن مطابقة لبيانات التدريب. وقد تحقق ذلك من خلال تجمد أول أربع طبقات في أداة التمييز ، لتجنب فرط تجهيز البيانات وإنتاج مخرجات متنوعة.
على الرغم من الحصول على صور متنوعة باستخدام نموذج StyleGAN الأساسي ، إلا أن الدقة المنخفضة والإخلاص دفعتا إلى محاولة ثانية باستخدام ستارغان V2، مما يسمح بتدريب صور البذور على وجه مستهدف.
تم تدريب نموذج StarGAN V2 مسبقًا على مدار ما يقرب من 10 ساعات باستخدام مجموعة التحقق من صحة FairFace، على حجم دفعة يبلغ أربعة وحجم تحقق يبلغ 8. وفي النهج الأكثر نجاحًا، تم استخدام مجموعة البيانات الشخصية للمؤلف كمصدر مع بيانات التدريب كمرجع.
تجارب التحقق
تم بناء نموذج للتحقق من الوجه بناءً على مجموعة فرعية من 1000 صورة، بهدف التحقق من أي صورة عشوائية منها. ثم تم اختبار الصور التي اجتازت عملية التحقق بنجاح باستخدام هوية المؤلف.
على اليسار، مؤلف الورقة البحثية، وهي صورة حقيقية؛ في المنتصف، صورة عشوائية فشلت في التحقق؛ على اليمين، صورة غير ذات صلة من مجموعة البيانات التي اجتازت التحقق باعتبارها المؤلف.
كان الهدف من التجارب هو خلق فجوة واسعة قدر الإمكان بين الهوية المرئية المدركة مع الاحتفاظ بالسمات المحددة للهوية المستهدفة. تم تقييم هذا مع مسافة ماهالانوبيس، وهو مقياس يستخدم في معالجة الصور للبحث عن الأنماط والقوالب.
بالنسبة للنموذج التوليدي الأساسي ، تعرض النتائج منخفضة الدقة التي تم الحصول عليها تنوعًا محدودًا ، على الرغم من اجتياز التحقق المحلي من الوجه. أثبت StarGAN V2 أنه أكثر قدرة على إنشاء صور متنوعة قادرة على المصادقة.
اجتازت جميع الصور المصورة التحقق من الوجه المحلي. أعلاه هي أجيال StyleGAN الأساسية منخفضة الدقة ، أدناه ، أجيال StarGAN V2 عالية الدقة وذات جودة أعلى.
استخدمت الصور الثلاث الأخيرة الموضحة أعلاه مجموعة بيانات وجه المؤلف الخاصة كمصدر ومرجع، بينما استخدمت الصور السابقة بيانات التدريب كمرجع ومجموعة بيانات المؤلف كمصدر.
تم اختبار الصور الناتجة باستخدام أنظمة التحقق من الوجوه في تطبيقي المواعدة "بامبل" و"تيندر"، مع اعتماد هوية المؤلف كأساس، واجتازت عملية التحقق. كما اجتازت نسخة "ذكورية" من وجه المؤلف عملية التحقق في "بامبل"، مع ضرورة تعديل الإضاءة في الصورة المُولّدة قبل قبولها. لم يقبل "تيندر" النسخة الذكورية.
إصدارات "ذكورية" من هوية المؤلفة (الأنثوية).
خاتمة
هذه تجارب رائدة في مجال إسقاط الهوية، في سياق التلاعب بالفضاء الكامن في الشبكات التوليدية التنافسية، والذي لا يزال يُمثل تحديًا استثنائيًا في أبحاث تركيب الصور والتزييف العميق. مع ذلك، يُتيح هذا العمل فهمًا أعمق لمفهوم تضمين سمات محددة للغاية باستمرار عبر هويات متنوعة، ولخلق هويات "بديلة" تُفهم على أنها شخص آخر.
نُشر لأول مرة في 30 مارس 2022.
