Anderson का एंगल

‘रचनात्मक’ चेहरा सत्यापन जेनरेटिव एडवर्सेरियल नेटवर्क के साथ

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुस्टैनफोर्ड की GAN विधि ने लिंग-परिवर्तित छवियों के साथ Tinder और Bumble के चेहरे की…
और देखें
  • स्टैनफोर्ड की GAN विधि ने लिंग-परिवर्तित छवियों के साथ Tinder और Bumble के चेहरे की पुष्टि को दरकिनार कर दिया।
  • StarGAN V2 ने उच्च गुणवत्ता वाले विविध चेहरे उत्पन्न किए जो StyleGAN की तुलना में स्थानीय पुष्टि को बेहतर ढंग से पार कर गए।
  • यह तकनीक बदले हुए चेहरों में पहचान सुविधाओं को शामिल करती है, जिससे प्रमाणीकरण प्रणालियों के लिए सुसंगत वैकल्पिक पहचान संभव होती है।

स्टैनफोर्ड विश्वविद्यालय के एक नए शोध पत्र में डेटिंग ऐप जैसे प्लेटफॉर्म में चेहरा प्रमाणीकरण प्रणालियों को धोखा देने के लिए एक नवजात तरीका प्रस्तावित किया गया है, जो एक जेनरेटिव एडवर्सेरियल नेटवर्क (GAN) का उपयोग करके वास्तविक चेहरे के समान ही आवश्यक आईडी जानकारी वाले वैकल्पिक चेहरे की तस्वीरें बनाता है।

यह तरीका डेटिंग एप्लिकेशन टिंडर और बम्बल पर चेहरा सत्यापन प्रक्रियाओं को सफलतापूर्वक बायपास करने में सक्षम था, जिसमें एक मामले में एक लिंग-विनिमय (पुरुष) चेहरे को स्रोत (महिला) पहचान के रूप में वास्तविक के रूप में पारित किया गया था।

विभिन्न उत्पन्न पहचान जो लेखिका के विशिष्ट एन्कोडिंग की विशेषता रखते हैं (पहली तस्वीर में दिखाई दे रहे हैं)। स्रोत: https://arxiv.org/pdf/2203.15068.pdf

विभिन्न उत्पन्न पहचान जो लेखिका के विशिष्ट एन्कोडिंग की विशेषता रखते हैं (पहली तस्वीर में दिखाई दे रहे हैं)। स्रोत: https://arxiv.org/pdf/2203.15068.pdf

लेखिका के अनुसार, यह काम विशिष्ट पहचान विशेषताओं वाले उत्पन्न छवियों का उपयोग करके चेहरा सत्यापन को बायपास करने का पहला प्रयास है, जो एक वैकल्पिक या पर्याप्त रूप से परिवर्तित पहचान का प्रतिनिधित्व करने का प्रयास करता है।

यह तकनीक एक कस्टम स्थानीय चेहरा सत्यापन प्रणाली पर परीक्षण की गई थी, और फिर दो डेटिंग अनुप्रयोगों के खिलाफ ब्लैक बॉक्स परीक्षण में अच्छा प्रदर्शन किया जो उपयोगकर्ता-अपलोड की गई छवियों पर चेहरा सत्यापन करते हैं।

नई रिसर्च पेपर का शीर्षक चेहरा सत्यापन बायपास है, और यह स्टैनफोर्ड विश्वविद्यालय के इलेक्ट्रिकल इंजीनियरिंग विभाग में शोधकर्ता संजना सरदा से आया है।

चेहरा स्थान को नियंत्रित करना

चेहरों, सड़क संकेतों आदि से पहचान-विशिष्ट विशेषताओं को तैयार की गई छवियों में ‘इंजेक्ट’ करना प्रतिकूल हमलों का एक प्रमुख तरीका है। लेकिन नया अध्ययन एक अलग संभावना सुझाता है: शोध क्षेत्र की GAN के लेटेंट स्पेस को अधिक कुशलता से नियंत्रित करने की क्षमता अंततः ऐसे आर्किटेक्चर विकसित करने दे सकती है जो उपयोगकर्ता से अलग सुसंगत वैकल्पिक पहचान बनाएं। इससे किसी अनजान उपयोगकर्ता की वेब पर उपलब्ध छवियों से पहचान की विशेषताएं निकालकर उन्हें तैयार की गई ‘छाया’ पहचान में शामिल करना भी संभव हो सकता है।

सुसंगतता और नेविगेबिलिटी जेनरेटिव एडवर्सेरियल नेटवर्क के लेटेंट स्पेस के संबंध में प्राथमिक चुनौतियां रही हैं, जब से जेनरेटिव एडवर्सेरियल नेटवर्क की शुरुआत हुई थी। एक जेनरेटिव एडवर्सेरियल नेटवर्क जिसने सफलतापूर्वक प्रशिक्षण छवियों के एक संग्रह को अपने लेटेंट स्पेस में समाहित किया है, वह एक आसान मानचित्र प्रदान नहीं करता है जिससे एक वर्ग से दूसरे वर्ग में विशेषताओं को ‘पुश’ किया जा सके।

हालांकि तकनीकों और उपकरणों जैसे कि ग्रेडिएंट-वेटेड क्लास एक्टिवेशन मैपिंग (ग्रेड-कैम) लेटेंट दिशाओं को स्थापित करने में मदद कर सकते हैं और स्थापित वर्गों के बीच परिवर्तनों को सक्षम बना सकते हैं (नीचे दी गई छवि देखें), आगे की चुनौती जुड़ाव आमतौर पर एक ‘अनुमानित’ यात्रा बनाती है, संक्रमण के दौरान सीमित महीन नियंत्रण के साथ।

जेनरेटिव एडवर्सेरियल नेटवर्क के लेटेंट स्पेस में एन्कोडेड वेक्टर्स के बीच एक खुरदरा यात्रा, जो डेटा-व्युत्पन्न पुरुष पहचान को दूसरी ओर कई रेखीय हाइपरप्लेन में से एक में 'महिला' एन्कोडिंग में धकेलता है। छवि https://www.youtube.com/watch?v=dCKbRCUyop8 पर सामग्री से व्युत्पन्न है।

जेनरेटिव एडवर्सेरियल नेटवर्क के लेटेंट स्पेस में एन्कोडेड वेक्टर्स के बीच एक खुरदरा यात्रा, जो डेटा-व्युत्पन्न पुरुष पहचान को दूसरी ओर कई रेखीय हाइपरप्लेन में से एक में ‘महिला’ एन्कोडिंग में धकेलता है। छवि https://www.youtube.com/watch?v=dCKbRCUyop8 पर सामग्री से व्युत्पन्न है।

आईडी-विशिष्ट विशेषताओं को ‘फ्रीज’ करने और उन्हें लेटेंट स्पेस में कहीं और परिवर्तनशील एन्कोडिंग में ले जाने की क्षमता संभावित रूप से एक सुसंगत (और यहां तक कि एनिमेटेड) व्यक्ति बनाने की अनुमति देती है जिसकी पहचान मशीन प्रणाली द्वारा किसी और के रूप में पढ़ी जाती है।

विधि

लेखिका ने प्रयोगों के लिए दो डेटासेट का उपयोग किया: एक मानव उपयोगकर्ता डेटासेट, जिसमें चार वर्षों में लिए गए लेखिका के अपने चेहरे के 310 चित्र शामिल थे, जिसमें विभिन्न प्रकाश, आयु और दृश्य कोण थे), जिसमें क्रॉप्ड चेहरे कैफे के माध्यम से निकाले गए थे; और 108,501 छवियों का नस्लीय रूप से संतुलित फेयरफेस डेटासेट, जो समान रूप से निकाले गए और क्रॉप्ड थे।

स्थानीय चेहरा सत्यापन मॉडल फेसनेट और डीपफेस के आधार पर किया गया था, जो कॉन्वनेट इन्सेप्शन पर पूर्व-प्रशिक्षित था, जिसमें प्रत्येक छवि 128-आयामी वेक्टर द्वारा प्रतिनिधित्व किया गया था।

दृष्टिकोण फेयरफेस से प्रशिक्षित उपसेट से चेहरे की छवियों का उपयोग करता है। चेहरा सत्यापन पास करने के लिए, छवि के फ्रोबेनियस नॉर्म द्वारा उत्पन्न दूरी को डेटाबेस में लक्ष्य उपयोगकर्ता से तुलना की जाती है। कोई भी छवि 0.7 के थ्रेशोल्ड से कम समान पहचान के बराबर है, अन्यथा सत्यापन विफल माना जाता है।

एक स्टाइलजीएन मॉडल को लेखिका के व्यक्तिगत डेटासेट पर फाइन-ट्यून किया गया था, जो उनकी पहचान के पहचानने योग्य भिन्नताओं का उत्पादन करने वाला मॉडल बनाता था, हालांकि इनमें से कोई भी उत्पन्न छवियां प्रशिक्षण डेटा की समान नहीं थीं। यह विभेदक की पहली चार परतों को फ्रीज करके प्राप्त किया गया था, ताकि डेटा के ओवरफिटिंग से बचा जा सके और विविध आउटपुट उत्पन्न किया जा सके।

हालांकि विभिन्न छवियां बेस स्टाइलजीएन मॉडल के साथ प्राप्त की गईं, कम रिजॉल्यूशन और सीमित छवि-निष्ठा ने स्टारजीएन वी2 के साथ दूसरे प्रयास को प्रेरित किया, जो एक लक्ष्य चेहरे की ओर सीड छवियों को प्रशिक्षित करने की अनुमति देता है।

स्टारजीएन वी2 मॉडल को फेयरफेस वैलिडेशन सेट पर लगभग 10 घंटे तक प्री-ट्रेन किया गया था, जिसमें बैच का आकार चार और वैलिडेशन का आकार आठ था। सबसे सफल दृष्टिकोण में, लेखिका के व्यक्तिगत डेटासेट का उपयोग स्रोत के रूप में किया गया था, जिसमें प्रशिक्षण डेटा संदर्भ के रूप में था।

सत्यापन प्रयोग

एक चेहरा सत्यापन मॉडल का निर्माण 1000 छवियों के एक उपसेट पर किया गया था, जिसमें एक मनमानी छवि को सत्यापित करने का उद्देश्य था। जिन छवियों ने सफलतापूर्वक सत्यापन पास किया, उन्हें बाद में लेखिका के अपने आईडी के खिलाफ परीक्षण किया गया।

बाएं, लेखिका, एक वास्तविक फोटो; मध्य, एक मनमानी छवि जो सत्यापन में विफल रही; दाएं, डेटासेट से एक असंबंधित छवि जो लेखिका के रूप में सत्यापन पास की।

बाएं, लेखिका, एक वास्तविक फोटो; मध्य, एक मनमानी छवि जो सत्यापन में विफल रही; दाएं, डेटासेट से एक असंबंधित छवि जो लेखिका के रूप में सत्यापन पास की।

प्रयोगों का उद्देश्य दृश्य पहचान के बीच एक व्यापक अंतर बनाना था, जबकि लक्ष्य पहचान की परिभाषित विशेषताओं को बनाए रखना था। यह महालनोबिस दूरी के साथ मूल्यांकन किया गया था, जो छवि प्रसंस्करण में पैटर्न और टेम्पलेट खोज के लिए एक मीट्रिक है।

बेसलाइन जेनरेटिव मॉडल के लिए, कम-रिजॉल्यूशन परिणाम सीमित विविधता प्रदर्शित करते हैं,हालांकि स्थानीय चेहरा सत्यापन पास किया गया है। स्टारजीएन वी2 विविध छवियों को बनाने में अधिक सक्षम साबित हुआ जो प्रमाणीकरण कर सकता था।

सभी छवियां स्थानीय चेहरा सत्यापन पास करती हैं। ऊपर कम रिजॉल्यूशन वाली StyleGAN की आधारभूत उत्पन्न छवियां हैं; नीचे अधिक रिजॉल्यूशन और बेहतर गुणवत्ता वाली StarGAN V2 की उत्पन्न छवियां हैं।

सभी छवियां स्थानीय चेहरा सत्यापन पास करती हैं। ऊपर कम रिजॉल्यूशन वाली StyleGAN की आधारभूत उत्पन्न छवियां हैं; नीचे अधिक रिजॉल्यूशन और बेहतर गुणवत्ता वाली StarGAN V2 की उत्पन्न छवियां हैं।

उपरोक्त छवियों में से अंतिम तीन छवियों ने लेखिका के अपने चेहरे डेटासेट का उपयोग स्रोत और संदर्भ दोनों के रूप में किया, जबकि पूर्ववर्ती छवियों ने प्रशिक्षण डेटा को संदर्भ के रूप में और लेखिका के डेटासेट को स्रोत के रूप में उपयोग किया।

परिणामी उत्पन्न छवियों का डेटिंग ऐप बम्बल और टिंडर के चेहरा सत्यापन प्रणालियों के खिलाफ परीक्षण किया गया, जिसमें लेखिका की पहचान को आधार के रूप में उपयोग किया गया और सत्यापन पास किया गया। लेखिका के चेहरे का एक ‘पुरुष’ संस्करण भी बम्बल की सत्यापन प्रक्रिया पास कर गया, हालांकि स्वीकृति मिलने से पहले उत्पन्न छवि की रोशनी को समायोजित करना पड़ा। टिंडर ने पुरुष संस्करण को स्वीकार नहीं किया।

लेखिका (महिला) की पहचान के 'पुरुष' संस्करण।

लेखिका (महिला) की पहचान के ‘पुरुष’ संस्करण।

निष्कर्ष

यह पहचान प्रक्षेपण के संदर्भ में जेनरेटिव एडवर्सेरियल नेटवर्क के लेटेंट स्पेस में हेरफेर की अग्रणी प्रयोग हैं, जो छवि सिंथेसिस और डीपफेक अनुसंधान में एक असाधारण चुनौती बनी हुई है। फिर भी, यह काम विविध पहचानों में विशिष्ट विशेषताओं को सुसंगत रूप से एम्बेड करने और किसी और के रूप में ‘पढ़ी जाने वाली’ ‘वैकल्पिक’ पहचान बनाने की अवधारणा को खोलता है।

 

पहली बार 30 मार्च 2022 को प्रकाशित।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai