जनरेटिव एडवरसैरियल नेटवर्क के साथ 'रचनात्मक' चेहरे का सत्यापन

स्टैनफोर्ड यूनिवर्सिटी के एक नए पेपर में डेटिंग ऐप्स जैसे प्लेटफार्मों में चेहरे के प्रमाणीकरण सिस्टम को मूर्ख बनाने के लिए एक नई विधि का प्रस्ताव दिया गया है। जनरेटिव एडवरसरी नेटवर्क (जीएएन) वैकल्पिक चेहरे की छवियां बनाने के लिए जिनमें वास्तविक चेहरे के समान आवश्यक आईडी जानकारी होती है।

इस पद्धति ने डेटिंग एप्लिकेशन टिंडर और बम्बल पर चेहरे की सत्यापन प्रक्रियाओं को सफलतापूर्वक बायपास कर दिया, एक मामले में यहां तक ​​कि स्रोत (महिला) की पहचान के लिए लिंग-स्वैप किए गए (पुरुष) चेहरे को भी प्रामाणिक मान लिया गया।

विभिन्न उत्पन्न पहचानें जो पेपर के लेखक की विशिष्ट एनकोडिंग को दर्शाती हैं (ऊपर पहली छवि में दिखाया गया है)। स्रोत: https://arxiv.org/pdf/2203.15068.pdf

लेखक के अनुसार, यह कार्य विशिष्ट पहचान लक्षणों से युक्त उत्पन्न छवियों के उपयोग के साथ चेहरे के सत्यापन को बायपास करने के पहले प्रयास का प्रतिनिधित्व करता है, लेकिन जो एक वैकल्पिक या काफी हद तक परिवर्तित पहचान का प्रतिनिधित्व करने का प्रयास करता है।

तकनीक का परीक्षण एक कस्टम स्थानीय चेहरा सत्यापन प्रणाली पर किया गया था, और फिर दो डेटिंग अनुप्रयोगों के खिलाफ ब्लैक बॉक्स परीक्षणों में अच्छा प्रदर्शन किया, जो उपयोगकर्ता द्वारा अपलोड की गई छवियों पर चेहरे का सत्यापन करते हैं।

नई काग़ज़ शीर्षक है चेहरा सत्यापन बाईपास, और स्टैनफोर्ड विश्वविद्यालय में इलेक्ट्रिकल इंजीनियरिंग विभाग की एक शोधकर्ता संजना सारदा से आती है।

फेस स्पेस को नियंत्रित करना

हालांकि आईडी-विशिष्ट विशेषताओं (अर्थात चेहरों से) को 'इंजेक्ट' करना सड़क के संकेत, आदि) तैयार की गई छवियों का एक प्रमुख हिस्सा है प्रतिकूल हमलेनया अध्ययन कुछ अलग सुझाव देता है: कि अनुसंधान क्षेत्र का बढ़ती क्षमता सेवा मेरे नियंत्रण GANs का अव्यक्त स्थान अंततः आर्किटेक्चर के विकास को सक्षम करेगा जो निर्माण कर सकता है संगत उपयोगकर्ता की पहचान के लिए वैकल्पिक पहचान - और, प्रभावी रूप से, एक अनजान उपयोगकर्ता की वेब-उपलब्ध छवियों से पहचान विशेषताओं को निकालने में सक्षम बनाता है, ताकि एक 'छाया' तैयार की गई पहचान में शामिल किया जा सके।

जनरेटिव एडवर्सेरियल नेटवर्क्स की शुरुआत से ही GAN के लेटेंट स्पेस के संबंध में संगति और नौगम्यता प्रमुख चुनौतियाँ रही हैं। एक GAN जिसने प्रशिक्षण छवियों के संग्रह को अपने लेटेंट स्पेस में सफलतापूर्वक समाहित कर लिया है, वह एक वर्ग से दूसरे वर्ग में सुविधाओं को 'पुश' करने के लिए कोई आसान मानचित्र प्रदान नहीं करता है।

जबकि तकनीक और उपकरण जैसे ग्रेडिएंट-वेटेड क्लास एक्टिवेशन मैपिंग (ग्रैड-सीएएम) स्थापित करने में मदद कर सकता है अव्यक्त दिशाएँ स्थापित वर्गों के बीच, और परिवर्तनों को सक्षम करना (नीचे छवि देखें), आगे की चुनौती नाज़ुक हालत यह आमतौर पर एक 'अनुमानित' यात्रा होती है, जिसमें संक्रमण पर सीमित नियंत्रण होता है।

GAN के अव्यक्त स्थान में एनकोडेड वेक्टरों के बीच एक कठिन यात्रा, जो एक डेटा-व्युत्पन्न पुरुष पहचान को जटिल और रहस्यमय अव्यक्त स्थान में कई रैखिक हाइपरप्लेन में से एक के दूसरी ओर 'महिला' एनकोडिंग में धकेलती है। छवि https://www.youtube.com/watch?v=dCKbRCUyop8 पर सामग्री से ली गई है

पहचान-विशिष्ट विशेषताओं को 'स्थिर' करने और संरक्षित करने की क्षमता, तथा उन्हें अव्यक्त स्थान में कहीं और परिवर्तनकारी एनकोडिंग में स्थानांतरित करने की क्षमता, संभावित रूप से एक सुसंगत (और यहां तक ​​कि एनिमेटेबल) व्यक्ति का निर्माण करना संभव बनाती है, जिसकी पहचान मशीन प्रणालियों द्वारा किसी अन्य व्यक्ति के रूप में पढ़ी जाती है।

विधि

लेखक ने प्रयोगों के आधार के रूप में दो डेटासेट का उपयोग किया: एक मानव उपयोगकर्ता डेटासेट जिसमें चार साल की अवधि में उसके चेहरे की 310 छवियां शामिल थीं, अलग-अलग रोशनी, उम्र और देखने के कोण के साथ), जिसमें से कटे हुए चेहरे निकाले गए थे Caffe; और नस्लीय रूप से संतुलित 108,501 छवियां निष्पक्ष चेहरा डेटासेट, समान रूप से निकाला और काटा गया।

स्थानीय चेहरे का सत्यापन मॉडल आधार कार्यान्वयन से प्राप्त किया गया था फेसनेट और गहरा चेहरा, पर पूर्व-प्रशिक्षित कन्वनेट इंसेप्शन, प्रत्येक छवि को 128-आयामी वेक्टर द्वारा दर्शाया गया है।

यह तरीका फेयरफेस के प्रशिक्षित उपसमूह से चेहरे की छवियों का उपयोग करता है। चेहरे के सत्यापन को पास करने के लिए, किसी छवि के कारण होने वाली दूरी की गणना की जाती है। फ्रोबेनियस मानदंड डेटाबेस में लक्ष्य उपयोगकर्ता के विरुद्ध ऑफसेट है। 0.7 की सीमा से कम की कोई भी छवि समान पहचान के बराबर होती है, अन्यथा सत्यापन विफल माना जाता है।

लेखिका के व्यक्तिगत डेटासेट पर एक स्टाइलगैन मॉडल को परिष्कृत किया गया, जिससे एक ऐसा मॉडल तैयार हुआ जो उसकी पहचान के पहचानने योग्य रूपांतर उत्पन्न कर सकता था, हालाँकि इनमें से कोई भी उत्पन्न छवि प्रशिक्षण डेटा के समान नहीं थी। यह इस प्रकार प्राप्त किया गया: ठंड विवेचक में पहली चार परतें, डेटा की ओवरफिटिंग से बचने और विविध आउटपुट उत्पन्न करने के लिए।

हालाँकि बेस स्टाइलगैन मॉडल के साथ विविध छवियां प्राप्त की गईं, कम रिज़ॉल्यूशन और निष्ठा ने दूसरे प्रयास के लिए प्रेरित किया स्टारगैन V2, जो लक्ष्य चेहरे की ओर बीज छवियों के प्रशिक्षण की अनुमति देता है।

स्टारगैन वी2 मॉडल को फेयरफेस वैलिडेशन सेट का उपयोग करते हुए लगभग 10 घंटों तक पूर्व-प्रशिक्षित किया गया, जिसमें चार बैच आकार और 8 वैलिडेशन आकार शामिल थे। सबसे सफल दृष्टिकोण में, लेखक के व्यक्तिगत डेटासेट को स्रोत के रूप में और प्रशिक्षण डेटा को संदर्भ के रूप में उपयोग किया गया।

सत्यापन प्रयोग

1000 छवियों के एक उपसमूह के आधार पर एक चेहरे का सत्यापन मॉडल तैयार किया गया था, जिसका उद्देश्य उस समूह से एक मनमाना चित्र सत्यापित करना था। सत्यापन में सफल छवियों का बाद में लेखक की अपनी पहचान के आधार पर परीक्षण किया गया।

बायीं ओर, पेपर के लेखक की वास्तविक तस्वीर; बीच में, एक मनमाना चित्र जो सत्यापन में असफल रहा; दायीं ओर, डेटासेट से एक असंबंधित चित्र जो लेखक के रूप में सत्यापन में सफल रहा।

प्रयोगों का उद्देश्य लक्ष्य पहचान के परिभाषित लक्षणों को बनाए रखते हुए कथित दृश्य पहचान के बीच यथासंभव व्यापक अंतर पैदा करना था। इसके साथ इसका मूल्यांकन किया गया महालनोबिस दूरी, पैटर्न और टेम्पलेट खोज के लिए छवि प्रसंस्करण में उपयोग किया जाने वाला एक मीट्रिक।

बेसलाइन जेनरेटिव मॉडल के लिए, स्थानीय चेहरे के सत्यापन से गुजरने के बावजूद, प्राप्त कम-रिज़ॉल्यूशन परिणाम सीमित विविधता प्रदर्शित करते हैं। StarGAN V2 विविध छवियां बनाने में अधिक सक्षम साबित हुआ जो प्रमाणित करने में सक्षम थीं।

चित्रित सभी छवियां स्थानीय चेहरे के सत्यापन से उत्तीर्ण हुईं। ऊपर निम्न-रिज़ॉल्यूशन वाली StyleGAN बेसलाइन पीढ़ियाँ हैं, नीचे, उच्च-रिज़ॉल्यूशन और उच्च गुणवत्ता वाली StarGAN V2 पीढ़ियाँ हैं।

ऊपर दर्शाई गई अंतिम तीन छवियों में लेखक के अपने चेहरे के डेटासेट को स्रोत और संदर्भ दोनों के रूप में उपयोग किया गया है, जबकि पूर्ववर्ती छवियों में प्रशिक्षण डेटा को संदर्भ के रूप में और लेखक के डेटासेट को स्रोत के रूप में उपयोग किया गया है।

परिणामी छवियों का परीक्षण डेटिंग ऐप्स बम्बल और टिंडर के चेहरे के सत्यापन प्रणालियों पर किया गया, जिसमें लेखक की पहचान को आधार माना गया, और वे सत्यापन में सफल रहीं। लेखक के चेहरे की एक 'पुरुष' पीढ़ी भी बम्बल की सत्यापन प्रक्रिया में सफल रही, हालाँकि इसे स्वीकार करने से पहले उत्पन्न छवि में प्रकाश व्यवस्था को समायोजित करना पड़ा। टिंडर ने पुरुष संस्करण को स्वीकार नहीं किया।

लेखिका की (महिला) पहचान के 'पुरुष' संस्करण।

निष्कर्ष

ये पहचान प्रक्षेपण में मौलिक प्रयोग हैं, GAN लेटेंट स्पेस मैनिपुलेशन के संदर्भ में, जो छवि संश्लेषण और डीपफेक अनुसंधान में एक असाधारण चुनौती बनी हुई है। फिर भी, यह कार्य विविध पहचानों में अत्यधिक विशिष्ट विशेषताओं को लगातार समाहित करने और 'वैकल्पिक' पहचान बनाने की अवधारणा को सामने लाता है जो किसी और के रूप में 'पढ़ें'।

पहली बार 30 मार्च 2022 को प्रकाशित।