‘रचनात्मक’ चेहरा सत्यापन जेनरेटिव एडवर्सेरियल नेटवर्क के साथ

स्टैनफोर्ड विश्वविद्यालय के एक नए शोध पत्र में डेटिंग ऐप जैसे प्लेटफॉर्म में चेहरा प्रमाणीकरण प्रणालियों को धोखा देने के लिए एक नवजात तरीका प्रस्तावित किया गया है, जो एक जेनरेटिव एडवर्सेरियल नेटवर्क (GAN) का उपयोग करके वास्तविक चेहरे के समान ही आवश्यक आईडी जानकारी वाले वैकल्पिक चेहरे की तस्वीरें बनाता है।

यह तरीका डेटिंग एप्लिकेशन टिंडर और बम्बल पर चेहरा सत्यापन प्रक्रियाओं को सफलतापूर्वक बायपास करने में सक्षम था, जिसमें एक मामले में एक लिंग-विनिमय (पुरुष) चेहरे को स्रोत (महिला) पहचान के रूप में वास्तविक के रूप में पारित किया गया था।

विभिन्न उत्पन्न पहचान जो लेखक के विशिष्ट एन्कोडिंग की विशेषता रखते हैं (पहली तस्वीर में दिखाई दे रहे हैं)। स्रोत: https://arxiv.org/pdf/2203.15068.pdf

लेखक के अनुसार, यह काम विशिष्ट पहचान विशेषताओं वाले उत्पन्न छवियों का उपयोग करके चेहरा सत्यापन को बायपास करने का पहला प्रयास है, जो एक वैकल्पिक या पर्याप्त रूप से परिवर्तित पहचान का प्रतिनिधित्व करने का प्रयास करता है।

यह तकनीक एक कस्टम स्थानीय चेहरा सत्यापन प्रणाली पर परीक्षण की गई थी, और फिर दो डेटिंग अनुप्रयोगों के खिलाफ ब्लैक बॉक्स परीक्षण में अच्छा प्रदर्शन किया जो उपयोगकर्ता-अपलोड की गई छवियों पर चेहरा सत्यापन करते हैं।

नई रिसर्च पेपर का शीर्षक चेहरा सत्यापन बायपास है, और यह स्टैनफोर्ड विश्वविद्यालय के इलेक्ट्रिकल इंजीनियरिंग विभाग में शोधकर्ता संजना सरदा से आया है।

चेहरा स्थान को नियंत्रित करना

हालांकि आईडी-विशिष्ट विशेषताओं (यानी, चेहरे, सड़क संकेतों आदि से) को क्राफ्टेड छवियों में ‘इंजेक्ट’ करना एक प्रतिकूल हमलों का एक मानक है, यह नया अध्ययन कुछ और सुझाव देता है: यह शोध क्षेत्र की जेनरेटिव एडवर्सेरियल नेटवर्क के लेटेंट स्पेस को नियंत्रित करने की बढ़ती क्षमता के कारण, अंततः उन स्थापत्यों के विकास को सक्षम करेगा जो एक उपयोगकर्ता की विशिष्ट पहचान के लिए सुसंगत वैकल्पिक पहचान बना सकते हैं – और, प्रभावी रूप से, एक अनजान उपयोगकर्ता की वेब-उपलब्ध छवियों से पहचान विशेषताओं को निकालकर एक ‘छाया’ क्राफ्टेड पहचान में शामिल करने में सक्षम होंगे।

सुसंगतता और नेविगेबिलिटी जेनरेटिव एडवर्सेरियल नेटवर्क के लेटेंट स्पेस के संबंध में प्राथमिक चुनौतियां रही हैं, जब से जेनरेटिव एडवर्सेरियल नेटवर्क की शुरुआत हुई थी। एक जेनरेटिव एडवर्सेरियल नेटवर्क जिसने सफलतापूर्वक प्रशिक्षण छवियों के एक संग्रह को अपने लेटेंट स्पेस में समाहित किया है, वह एक आसान मानचित्र प्रदान नहीं करता है जिससे एक वर्ग से दूसरे वर्ग में विशेषताओं को ‘पुश’ किया जा सके।

हालांकि तकनीकों और उपकरणों जैसे कि ग्रेडिएंट-वेटेड क्लास एक्टिवेशन मैपिंग (ग्रेड-कैम) लेटेंट दिशाओं को स्थापित करने में मदद कर सकते हैं और स्थापित वर्गों के बीच परिवर्तनों को सक्षम बना सकते हैं (नीचे दी गई छवि देखें), आगे की चुनौती जुड़ाव आमतौर पर एक ‘अनुमानित’ यात्रा बनाती है, संक्रमण के दौरान सीमित महीन नियंत्रण के साथ।

जेनरेटिव एडवर्सेरियल नेटवर्क के लेटेंट स्पेस में एन्कोडेड वेक्टर्स के बीच एक खुरदरा यात्रा, जो डेटा-व्युत्पन्न पुरुष पहचान को दूसरी ओर कई रेखीय हाइपरप्लेन में से एक में ‘महिला’ एन्कोडिंग में धकेलता है। छवि https://www.youtube.com/watch?v=dCKbRCUyop8 पर सामग्री से व्युत्पन्न है।

आईडी-विशिष्ट विशेषताओं को ‘फ्रीज’ करने और उन्हें लेटेंट स्पेस में कहीं और परिवर्तनशील एन्कोडिंग में ले जाने की क्षमता संभावित रूप से एक सुसंगत (और यहां तक कि एनिमेटेड) व्यक्ति बनाने की अनुमति देती है जिसकी पहचान मशीन प्रणाली द्वारा किसी और के रूप में पढ़ी जाती है।

विधि

लेखक ने प्रयोगों के लिए दो डेटासेट का उपयोग किया: एक मानव उपयोगकर्ता डेटासेट, जिसमें चार वर्षों में 310 छवियां शामिल थीं, जिसमें विभिन्न प्रकाश, आयु और दृश्य कोण थे), जिसमें क्रॉप्ड चेहरे कैफे के माध्यम से निकाले गए थे; और 108,501 छवियों का नस्लीय रूप से संतुलित फेयरफेस डेटासेट, जो समान रूप से निकाले गए और क्रॉप्ड थे।

स्थानीय चेहरा सत्यापन मॉडल फेसनेट और डीपफेस के आधार पर किया गया था, जो कॉन्वनेट इन्सेप्शन पर पूर्व-प्रशिक्षित था, जिसमें प्रत्येक छवि 128-आयामी वेक्टर द्वारा प्रतिनिधित्व किया गया था।

दृष्टिकोण फेयरफेस से प्रशिक्षित उपसेट से चेहरे की छवियों का उपयोग करता है। चेहरा सत्यापन पास करने के लिए, छवि के फ्रोबेनियस नॉर्म द्वारा उत्पन्न दूरी को डेटाबेस में लक्ष्य उपयोगकर्ता के खिलाफ ऑफसेट किया जाता है। कोई भी छवि 0.7 के थ्रेशोल्ड से कम समान पहचान के बराबर है, अन्यथा सत्यापन विफल माना जाता है।

एक स्टाइलजीएन मॉडल को लेखक के व्यक्तिगत डेटासेट पर फाइन-ट्यून किया गया था, जो उनकी पहचान के पहचानने योग्य भिन्नताओं का उत्पादन करने वाला मॉडल बनाता था, हालांकि इनमें से कोई भी उत्पन्न छवियां प्रशिक्षण डेटा की समान नहीं थीं। यह पहले चार परतों को फ्रीज करके प्राप्त किया गया था, ताकि डेटा के ओवरफिटिंग से बचा जा सके और विविध आउटपुट उत्पन्न किया जा सके।

हालांकि विभिन्न छवियां बेस स्टाइलजीएन मॉडल के साथ प्राप्त की गईं, कम रिजॉल्यूशन और विश्वासयोग्यता ने स्टारजीएन वी2 के साथ दूसरे प्रयास को प्रेरित किया, जो एक लक्ष्य चेहरे की ओर सीड छवियों को प्रशिक्षित करने की अनुमति देता है।

स्टारजीएन वी2 मॉडल को फेयरफेस वैलिडेशन सेट पर लगभग 10 घंटे तक प्री-ट्रेन किया गया था, जिसमें बैच का आकार चार और वैलिडेशन का आकार आठ था। सबसे सफल दृष्टिकोण में, लेखक के व्यक्तिगत डेटासेट का उपयोग स्रोत के रूप में किया गया था, जिसमें प्रशिक्षण डेटा संदर्भ के रूप में था।

सत्यापन प्रयोग

एक चेहरा सत्यापन मॉडल का निर्माण 1000 छवियों के एक उपसेट पर किया गया था, जिसमें एक मनमानी छवि को सत्यापित करने का उद्देश्य था। जिन छवियों ने सफलतापूर्वक सत्यापन पास किया, उन्हें बाद में लेखक के अपने आईडी के खिलाफ परीक्षण किया गया।

बाएं, लेखक, एक वास्तविक फोटो; मध्य, एक मनमानी छवि जो सत्यापन में विफल रही; दाएं, डेटासेट से एक असंबंधित छवि जो लेखक के रूप में सत्यापन पास की।

प्रयोगों का उद्देश्य दृश्य पहचान के बीच एक व्यापक अंतर बनाना था, जबकि लक्ष्य पहचान की परिभाषित विशेषताओं को बनाए रखना था। यह महालनोबिस दूरी के साथ मूल्यांकन किया गया था, जो छवि प्रसंस्करण में पैटर्न और टेम्पलेट खोज के लिए एक मीट्रिक है।

बेसलाइन जेनरेटिव मॉडल के लिए, कम-रिजॉल्यूशन परिणाम सीमित विविधता प्रदर्शित करते हैं,尽管 स्थानीय चेहरा सत्यापन पास किया गया है। स्टारजीएन वी2 विविध छवियों को बनाने में अधिक सक्षम साबित हुआ जो प्रमाणीकरण कर सकता था।

सभी छवियां स्थानीय चेहरा सत्यापन पास करती हैं। ऊपर स्टाइलजीएन बेसलाइन पीढ़ियां हैं, नीचे स्टारजीएन वी2 पीढ़ियां हैं।

उपरोक्त छवियों में से अंतिम तीन छवियों ने लेखक के अपने चेहरे डेटासेट का उपयोग स्रोत और संदर्भ दोनों के रूप में किया, जबकि पूर्ववर्ती छवियों ने प्रशिक्षण डेटा को संदर्भ के रूप में और लेखक के डेटासेट को स्रोत के रूप में उपयोग किया।

परिणामी उत्पन्न छवियों का डेटिंग ऐप बम्बल और टिंडर के चेहरा सत्यापन प्रणालियों के खिलाफ परीक्षण किया गया, जिसमें लेखक की पहचान को आधार के रूप में उपयोग किया गया और सत्यापन पास किया गया। लेखक के चेहरे का एक ‘पुरुष’ संस्करण भी बम्बल की सत्यापन प्रक्रिया पास कर गया, हालांकि उत्पन्न छवि में प्रकाश को समायोजित करने से पहले स्वीकृति मिली। टिंडर ने पुरुष संस्करण को स्वीकार नहीं किया।

लेखक (महिला) की पहचान के ‘पुरुष’ संस्करण।

निष्कर्ष

यह पहचान प्रक्षेपण के संदर्भ में जेनरेटिव एडवर्सेरियल नेटवर्क के लेटेंट स्पेस में हेरफेर की सेमिनल प्रयोग हैं, जो छवि सिंथेसिस और डीपफेक अनुसंधान में एक असाधारण चुनौती बनी हुई है। फिर भी, यह काम विविध पहचानों में विशिष्ट विशेषताओं को सुसंगत रूप से एम्बेड करने और किसी और के रूप में ‘पढ़ी जाने वाली’ ‘वैकल्पिक’ पहचान बनाने की अवधारणा को खोलता है।

पहली बार 30 मार्च 2022 को प्रकाशित।