टिक्टॉक डेवलपर्स ऑगमेंटेड रियलिटी एप्लिकेशन के लिए चेहरे मिटा रहे हैं

बाइटडांस, टिक्टॉक के पीछे की चीनी बहुराष्ट्रीय इंटरनेट कंपनी, ने वीडियो में चेहरे मिटाने के लिए एक नई विधि विकसित की है ताकि पहचान विकृति और अन्य अजीब प्रभावों को ऑगमेंटेड रियलिटी अनुप्रयोगों में लोगों पर थोपा जा सके। कंपनी का दावा है कि तकनीक को पहले से ही व्यावसायिक मोबाइल उत्पादों में एकीकृत किया जा चुका है, हालांकि यह यह नहीं बताती है कि कौन से उत्पाद हैं।

एक बार वीडियो में चेहरे ‘शून्य’ हो जाने के बाद, पर्याप्त ‘चेहरा कैनवास’ होता है जो आंखों को चकाचौंध करने वाले विकृतियों का उत्पादन कर सकता है, साथ ही साथ अन्य पहचानों को भी ओवरले कर सकता है। बाइटडांस शोधकर्ताओं द्वारा प्रदान किए गए उदाहरण, जिसमें विभिन्न हास्यमय (और निश्चित रूप से कुछ भयानक) कॉन्फ़िगरेशन में ‘मिटाए गए’ विशेषताओं को पुनर्स्थापित करना शामिल है:

बाइटडांस पेपर में चेहरे के पुनर्संयोजन की संभावनाएं। स्रोत: https://arxiv.org/pdf/2109.10760.pdf

अगस्त के अंत में, यह पता चला था कि टिक्टॉक, पहला नॉन-फेसबुक ऐप जिसने तीन अरब इंस्टॉल तक पहुंचा है, ने टिक्टॉक प्रभाव स्टूडियो (वर्तमान में बंद बीटा में) लॉन्च किया था, जो टिक्टॉक सामग्री धाराओं के लिए ऑगमेंटेड रियलिटी (एआर) प्रभाव बनाने के लिए एक मंच है।

वास्तव में, कंपनी फेसबुक के एआर स्टूडियो और स्नैप एआर जैसे समान डेवलपर समुदायों के साथ पकड़ बना रही है, जिसमें एप्पल का वेनरेबल एआर आरएंडडी समुदाय भी शामिल है, जो अगले वर्ष में नए हार्डवेयर द्वारा जल्द ही सक्रिय होने वाला है।

खाली अभिव्यक्तियाँ

पेपर, जिसका शीर्षक फेसएरेज़र: ऑगमेंटेड रियलिटी के लिए चेहरे के हिस्सों को हटाना है, यह बताता है कि मौजूदा इन-पेंटिंग/इनफिल एल्गोरिदम, जैसे कि एनवीडिया का एसपीएडीई, विकृत या आंशिक रूप से अवरुद्ध छवियों को पूरा करने के लिए अधिक उन्मुख हैं, और यह असामान्य ‘खाली’ प्रक्रिया नहीं है, और इसलिए मौजूदा डेटासेट सामग्री स्वाभाविक रूप से दुर्लभ है।

चूंकि चेहरे के साथ ठोस मांस की ठोस विस्तार वाले लोगों के लिए कोई उपलब्ध ग्राउंड ट्रुथ डेटासेट नहीं है, शोधकर्ताओं ने एक नई नेटवर्क आर्किटेक्चर बनाई है जिसे पिक्सेल-क्लोन कहा जाता है, जिसे मौजूदा तंत्रिका इनपेंटिंग मॉडल में ओवरले किया जा सकता है, और जो पुराने तरीकों जैसे स्ट्रक्चरफ्लो और एज कनेक्ट द्वारा प्रदर्शित टेक्सचर और रंग असंगतता से संबंधित मुद्दों को हल करता है।

नई पाइपलाइन में पिक्सेल-क्लोन का सामान्य कार्यप्रवाह।

चेहरे को ‘खाली’ करने के लिए एक मॉडल को प्रशिक्षित करने के लिए, शोधकर्ताओं ने चश्मे या जहां बाल माथे को अवरुद्ध करते हैं, जैसी छवियों को छोड़ दिया, क्योंकि हेयरलाइन और भौहों के बीच का क्षेत्र आमतौर पर सबसे बड़ा एकल पिक्सेल समूह होता है जो चेहरे की केंद्रीय विशेषताओं के लिए ‘पेस्ट-ओवर’ सामग्री प्रदान कर सकता है।

प्रशिक्षण छवियों की तैयारी। माथे का क्षेत्र चेहरे की संरेखण पहचान में कुंजी बिंदुओं के आधार पर फसल, ऊर्ध्वाधर रूप से फ्लिप और सिल दिया जाता है।

256×256 पिक्सेल की छवि प्राप्त की जाती है, जो तंत्रिका नेटवर्क के लेटेंट स्पेस में बड़े बैचों में फीड करने के लिए पर्याप्त छोटा आकार है। बाद के एल्गोरिदमिक अपस्केलिंग आवश्यक रिज़ॉल्यूशन को आर स्पेस में काम करने के लिए बहाल करेगा।

वास्तुकला

नेटवर्क तीन आंतरिक नेटवर्क से बना है, जिसमें एज कम्प्लीशन, पिक्सेल-क्लोन और एक रिफाइनमेंट नेटवर्क शामिल हैं। एज कम्प्लीशन नेटवर्क एज कनेक्ट (ऊपर देखें) में उपयोग किए जाने वाले同 एक प्रकार के एन्कोडर-डिकोडर आर्किटेक्चर का उपयोग करता है, साथ ही दो सबसे लोकप्रिय डीपफ़ेक अनुप्रयोगों में भी। एन्कोडर छवि सामग्री को दो बार नीचे की ओर नमूना लेते हैं, और डिकोडर मूल छवि आयामों को बहाल करते हैं।

पिक्सेल-क्लोन एक संशोधित एन्कोडर-डिकोडर पद्धति का उपयोग करता है, जबकि रिफाइनमेंट परत यू-नेट आर्किटेक्चर का उपयोग करता है, जो मूल रूप से जैव चिकित्सा इमेजिंग के लिए विकसित किया गया था, जो अक्सर छवि संश्लेषण अनुसंधान परियोजनाओं में दिखाई देता है।

प्रशिक्षण कार्यप्रवाह के दौरान, परिवर्तनों की सटीकता का मूल्यांकन करना आवश्यक है, और यदि आवश्यक हो तो पुनरावृत्ति तक संघनन तक प्रयासों को दोहराना। इस उद्देश्य के लिए, दो पैचजीएन पर आधारित भेदभावपूर्ण होते हैं, जिनमें से प्रत्येक 70×70 पिक्सेल पैच की स्थानीय यथार्थता का मूल्यांकन करता है, पूरी छवि की यथार्थता मूल्य को छूट देता है।

प्रशिक्षण और डेटा

एज कम्प्लीशन नेटवर्क को स्वतंत्र रूप से प्रशिक्षित किया जाता है, जबकि अन्य दो नेटवर्क एज कम्प्लीशन प्रशिक्षण से परिणामी वजनों पर आधारित एक साथ प्रशिक्षित होते हैं, जो इस प्रक्रिया के दौरान जमे हुए और तय किए जाते हैं।

हालांकि पेपर यह स्पष्ट रूप से नहीं कहता है कि इसके अंतिम विशेषता विकृति के उदाहरण इसके मॉडल का केंद्रीय उद्देश्य हैं, यह व्यवस्था की लचीलेपन का परीक्षण करने के लिए विभिन्न कॉमिक प्रभावों को लागू करता है, जिसमें भौहें हटाना, मुंह का विस्तार, उप-चेहरे को सिकोड़ना और ‘टूनाइज्ड’ प्रभाव (ऊपर दिखाए गए छवि में दिखाया गया है) शामिल हैं।

पेपर यह khẳngान करता है कि ‘मिटाए गए चेहरे विभिन्न ऑगमेंटेड-रियलिटी अनुप्रयोगों को सक्षम करते हैं जिनमें किसी भी उपयोगकर्ता-निर्दिष्ट तत्वों को रखने की आवश्यकता होती है’, जो चेहरों को तीसरे पक्ष के उपयोगकर्ता-योगदान वाले तत्वों के साथ अनुकूलित करने की संभावना को इंगित करता है।

मॉडल को एनवीडिया द्वारा बनाए गए एफएफएचक्यू डेटासेट से मास्क पर प्रशिक्षित किया जाता है, जिसमें उम्र, जातीयता, प्रकाश और चेहरे की मुद्रा और शैलियों की पर्याप्त विविधता होती है ताकि एक उपयोगी सामान्यीकरण प्राप्त किया जा सके। डेटासेट में 35,000 छवियां और 10,000 प्रशिक्षण मास्क शामिल हैं जो परिवर्तन के क्षेत्रों को परिभाषित करने के लिए हैं, और 4000 छवियां और 1000 मास्क सत्यापन उद्देश्यों के लिए अलग रखे जाते हैं।

प्रशिक्षण डेटा नमूने।

प्रशिक्षित मॉडल 2017 के सेलेबा-एचक्यू और वॉक्ससेलेब से डेटा पर अनुमान लगा सकता है, एफएफएचक्यू से अनदेखे चेहरे, और किसी भी अन्य अनियंत्रित, अनदेखे चेहरे जो इसे प्रस्तुत किए जाते हैं। 256×256 छवियों को पाइरटॉर्च में एडम ऑप्टिमाइज़र पर 8 के बैचों में नेटवर्क पर प्रशिक्षित किया गया था, और टेस्ला वी100 जीपीयू पर ‘2000,000 युग’ के लिए चलाया गया था।

एक वास्तविक चेहरे पर प्राप्त अनुमान परिणाम।

चेहरे आधारित छवि संश्लेषण अनुसंधान में आम है, प्रणाली को अक्सर व्यवधान या ओक्लूजन जैसे बाल, परिधीय, चश्मे और चेहरे के बाल द्वारा उत्पन्न असफलताओं से निपटना पड़ता है।

रिपोर्ट निष्कर्ष निकालती है:

‘हमारा दृष्टिकोण व्यावसायिक रूप से विकसित किया गया है और यह अनियंत्रित उपयोगकर्ता इनपुट वाले उत्पादों में अच्छी तरह से काम करता है।’