डीपफेस एडवांस्ड फेशियल रिकॉग्निशन के लिए

फेशियल रिकॉग्निशन एआई और एमएल में कई वर्षों से एक प्रवृत्ति वाला क्षेत्र रहा है, और फेशियल रिकॉग्निशन के सांस्कृतिक और सामाजिक परिणाम व्यापक हैं। हालांकि, मानव दृश्य प्रणाली और मशीनों के बीच एक प्रदर्शन अंतर है जो फेशियल रिकॉग्निशन के अनुप्रयोगों को सीमित करता है।

प्रदर्शन अंतर द्वारा बनाए गए बफर को पार करने और मानव स्तर की सटीकता प्रदान करने के लिए, मेटा ने डीपफेस पेश किया, एक फेशियल रिकॉग्निशन फ्रेमवर्क। डीपफेस मॉडल एक बड़े फेशियल डेटासेट पर प्रशिक्षित किया गया है जो मूल्यांकन बेंचमार्क बनाने के लिए उपयोग किए जाने वाले डेटासेट से काफी अलग है, और यह मौजूदा फ्रेमवर्क को न्यूनतम अनुकूलन के साथ पार करने की क्षमता रखता है। इसके अलावा, डीपफेस फ्रेमवर्क अन्य प्रणालियों की तुलना में कompact चेहरे के प्रतिनिधित्व उत्पन्न करता है जो हजारों चेहरे की उपस्थिति विशेषताओं का उत्पादन करते हैं।

प्रस्तावित डीपफेस फ्रेमवर्क डीप लर्निंग का उपयोग एक बड़े डेटासेट पर प्रशिक्षण देने के लिए करता है जिसमें विभिन्न प्रकार के डेटा शामिल हैं, जिनमें छवियां, वीडियो और ग्राफिक्स शामिल हैं। डीपफेस नेटवर्क आर्किटेक्चर यह मानता है कि एक बार संरेखण पूरा हो जाने के बाद, प्रत्येक चेहरे क्षेत्र का स्थान पिक्सेल स्तर पर तय हो जाता है। इसलिए, यह संभव है कि बिना कई convolutional परतों का उपयोग किए, जैसा कि अन्य फ्रेमवर्क में किया जाता है, कच्चे पिक्सेल आरजीबी मानों का उपयोग किया जा सकता है।

आधुनिक फेशियल रिकॉग्निशन फ्रेमवर्क की पारंपरिक पाइपलाइन में चार चरण शामिल हैं: डिटेक्शन, संरेखण, प्रतिनिधित्व और वर्गीकरण। डीपफेस फ्रेमवर्क विस्तृत 3D चेहरे मॉडलिंग का उपयोग करके एक टुकड़े-टुकड़े परिवर्तन लागू करता है, और एक नौ-परत गहरे तंत्रिका नेटवर्क का उपयोग करके एक चेहरे का प्रतिनिधित्व प्राप्त करता है। डीपफेस फ्रेमवर्क निम्नलिखित योगदान करने का प्रयास करता है

1. एक प्रभावी डीएनएन या गहरे तंत्रिका नेटवर्क आर्किटेक्चर विकसित करें जो एक बड़े डेटासेट का उपयोग करके एक चेहरे का प्रतिनिधित्व बना सकता है जो अन्य डेटासेट में सामान्यीकृत किया जा सकता है।
2. स्पष्ट 3D मॉडलिंग का उपयोग करके एक प्रभावी चेहरे के संरेखण प्रणाली विकसित करें।

डीपफेस मॉडल के कार्य को समझना

चेहरे का संरेखण

चेहरे का संरेखण एक तकनीक है जो एक व्यक्ति की छवि को आंखों के कोण के अनुसार घुमाती है। चेहरे का संरेखण फेशियल रिकॉग्निशन के लिए डेटा को पूर्व-प्रसंस्करण करने के लिए एक लोकप्रिय अभ्यास है, और चेहरे के संरेखित डेटासेट फेशियल रिकॉग्निशन एल्गोरिदम की सटीकता में सुधार करने में मदद करते हैं क्योंकि वे सामान्यीकृत इनपुट प्रदान करते हैं। हालांकि, एक अनियंत्रित तरीके से चेहरों को संरेखित करना एक चुनौतीपूर्ण कार्य हो सकता है क्योंकि कई कारक शामिल हैं, जैसे कि गैर-रिगिड अभिव्यक्तियां, शरीर की मुद्राएं और अधिक। जटिल संरेखण तकनीकों जैसे कि चेहरे के एक विश्लेषणात्मक 3D मॉडल का उपयोग करना या बाहरी डेटासेट से फिड्यूसियल-बिंदुओं की खोज करना डेवलपर्स को चुनौतियों को पार करने में मदद कर सकता है।

हालांकि संरेखण फेशियल रिकॉग्निशन और सत्यापन के लिए सबसे लोकप्रिय तरीका है, वर्तमान में कोई सही समाधान नहीं है। 3D मॉडल भी उपयोग किए जाते हैं, लेकिन उनकी लोकप्रियता पिछले कुछ वर्षों में विशेष रूप से एक अनियंत्रित वातावरण में काम करते समय काफी कम हो गई है। हालांकि, चूंकि मानव चेहरे 3D वस्तुएं हैं, यह सही दृष्टिकोण हो सकता है यदि इसका सही तरीके से उपयोग किया जाए। डीपफेस मॉडल एक प्रणाली का उपयोग करता है जो फिड्यूसियल बिंदुओं का उपयोग करके चेहरे का विश्लेषणात्मक 3D मॉडलिंग बनाता है। यह 3D मॉडलिंग तब एक चेहरे के फसल को 3D फ्रंटल मोड में मोड़ने के लिए उपयोग किया जाता है।

इसके अलावा, जैसा कि अधिकांश संरेखण प्रथाओं में, डीपफेस संरेखण भी संरेखण प्रक्रिया को निर्देशित करने के लिए फिड्यूसियल बिंदु डिटेक्टरों का उपयोग करता है। हालांकि डीपफेस मॉडल एक सरल बिंदु डिटेक्टर का उपयोग करता है, यह प्रत्येक पुनरावृत्ति में आउटपुट को परिष्कृत करने के लिए इसका उपयोग करता है। एक समर्थन वेक्टर रिग्रेसर या एसवीआर जो बिंदु कॉन्फ़िगरेशन को पूर्वाग्रह देने के लिए प्रशिक्षित किया जाता है, प्रत्येक पुनरावृत्ति में एक छवि विवरणक से फिड्यूसियल बिंदुओं को निकालता है। डीपफेस का छवि विवरणक एलबीपी हिस्टोग्राम पर आधारित है, हालांकि यह अन्य विशेषताओं पर भी विचार करता है।

2D संरेखण

डीपफेस मॉडल डीपफेस संरेखण प्रक्रिया को डिटेक्शन फसल के भीतर छह फिड्यूसियल बिंदुओं का पता लगाकर शुरू करता है, जो आंखों, मुंह स्थानों और नाक की नोक के बीच के केंद्र में केंद्रित होते हैं। वे छवि को घुमाने, स्केल करने और छह एंकर स्थानों में अनुवाद करने के लिए उपयोग किए जाते हैं, और तब तक पुनरावृत्ति की जाती है जब तक कि कोई दृश्य परिवर्तन न हो। परिवर्तित परिवर्तन तब एक 2D संरेखित कॉर्प उत्पन्न करता है। संरेखण विधि एलडब्ल्यूएफ-ए में उपयोग की जाने वाली विधि के समान है, और यह वर्षों से मॉडल की सटीकता में सुधार करने के प्रयास में उपयोग की जाती रही है।

3D संरेखण

बाहरी रोटेशन वाले चेहरों को संरेखित करने के लिए, डीपफेस फ्रेमवर्क एक सामान्य 3D आकार मॉडल का उपयोग करता है, और एक 3D कैमरा पंजीकृत करता है जो 2D संरेखित कॉर्प को इसकी छवि विमान में 3D आकार में लपेटने के लिए उपयोग किया जा सकता है। परिणामस्वरूप, मॉडल 2D संरेखित कॉर्प के 3D-संरेखित संस्करण का उत्पादन करता है, और यह 2D संरेखित कॉर्प में 67 अतिरिक्त फिड्यूसियल बिंदुओं का स्थानीयकरण करके एक दूसरे एसवीआर या समर्थन वेक्टर रिग्रेसर का उपयोग करके प्राप्त किया जाता है।

मॉडल तब 3D आकार पर 67 एंकर बिंदुओं को मैन्युअल रूप से रखता है और 3D संदर्भ और उनके संबंधित फिड्यूसियल बिंदुओं के बीच पूर्ण संबंध बनाने में सक्षम है। अगले चरण में, एक 3D से 2D समान रूप से कैमरा जोड़ा जाता है जो एक ज्ञात कोवेरियन मैट्रिक्स के साथ रैखिक प्रणालियों के लिए सामान्यीकृत सबसे कम वर्ग समाधान का उपयोग करके निश्चित नुकसान को कम करता है।

फ्रंटलाइजेशन

चूंकि गैर-रिगिड विकृतियां और पूर्ण दृष्टिकोण परियोजनाएं मॉडल नहीं की जाती हैं, 3D से 2D कैमरा केवल एक अनुमान के रूप में कार्य करता है। महत्वपूर्ण पहचान-वाहक कारकों को अंतिम मोड़ में भ्रष्ट करने से बचने के प्रयास में, डीपफेस मॉडल प्रत्येक संदर्भ फिड्यूसियल बिंदु के x-y घटकों में संबंधित अवशेष जोड़ता है। ऐसा आराम देना पहचान के लिए वार्पिंग 2D छवि के साथ कम विकृति के उद्देश्य से व्यावहारिक है, और इसके बिना, चेहरे एक ही आकार में 3D में मोड़ दिए जाते हैं, और प्रक्रिया में महत्वपूर्ण विभेदक कारकों को खो देते हैं।

अंत में, मॉडल 67 फिड्यूसियल बिंदुओं से व्युत्पन्न डेलाउने ट्रायांगुलेशन के निर्देशन में एक टुकड़े-टुकड़े परिवर्तन का उपयोग करके फ्रंटलाइजेशन प्राप्त करता है।

1. 6 फिड्यूसियल बिंदुओं के साथ पता लगाया गया चेहरा।
2. प्रेरित 2D-संरेखित कॉर्प।
3. 2D संरेखित कॉर्प पर 67 फिड्यूसियल बिंदु।
4. संदर्भ 3D आकार 2D-संरेखित कॉर्प छवि में परिवर्तित।
5. 3D-2D कैमरा के संबंध में त्रिभुज दृश्यता।
6. 3D मॉडल द्वारा प्रेरित 67 फिड्यूसियल बिंदु।
7. कॉर्प का 3D-संरेखित संस्करण।
8. 3D मॉडल द्वारा उत्पन्न नई दृश्य।

प्रतिनिधित्व

प्रशिक्षण डेटा की मात्रा में वृद्धि के साथ, सीखने आधारित तरीकों ने इंजीनियर्ड विशेषताओं की तुलना में अधिक कुशल और सटीक साबित किया है, मुख्य रूप से क्योंकि सीखने आधारित तरीके एक विशिष्ट कार्य के लिए विशेषताओं की खोज और अनुकूलन कर सकते हैं।

डीएनएन आर्किटेक्चर और प्रशिक्षण

डीपफेस डीएनएन एक मल्टी-क्लास फेशियल रिकॉग्निशन कार्य पर प्रशिक्षित किया जाता है जो एक चेहरे की छवि की पहचान वर्गीकृत करता है।

उपरोक्त आंकड़ा डीपफेस मॉडल की समग्र वास्तुकला का प्रतिनिधित्व करता है। मॉडल में 32 फिल्टर के साथ 11x11x3 का एक कनवोल्यूशनल लेयर (C1) होता है, जो 152×152 पिक्सेल के 3-चैनल आरजीबी छवि को खिलाता है, और यह 32 फीचर मैप का परिणाम देता है। ये फीचर मैप फिर एक मैक्स पूलिंग लेयर (M2) में खिलाए जाते हैं जो प्रत्येक चैनल के लिए 3×3 स्थानिक पड़ोस में अधिकतम लेता है, और इसका स्ट्राइड 2 होता है। इसके बाद एक और कनवोल्यूशनल लेयर (C3) होता है जिसमें 16 फिल्टर होते हैं, प्रत्येक 9x9x16 के आकार का। इन परतों का मुख्य उद्देश्य निम्न-स्तरीय विशेषताओं जैसे कि टेक्सचर और सरल किनारों को निकालना है। मैक्स पूलिंग परतों का उपयोग करने का लाभ यह है कि यह कनवोल्यूशनल परतों द्वारा उत्पन्न आउटपुट को स्थानीय अनुवादों के प्रति अधिक मजबूत बनाता है, और जब इसे संरेखित चेहरे की छवियों पर लागू किया जाता है, तो यह नेटवर्क को छोटे पैमाने पर पंजीकरण त्रुटियों के प्रति अधिक मजबूत बनाता है।

कई स्तरों के पूलिंग का उपयोग करना नेटवर्क को कुछ स्थितियों के प्रति अधिक मजबूत बना सकता है, लेकिन यह नेटवर्क को सूक्ष्म बनावट और विस्तृत चेहरे की संरचनाओं के बारे में जानकारी खोने का कारण भी बनता है। नेटवर्क को जानकारी खोने से रोकने के लिए, डीपफेस मॉडल केवल पहली कनवोल्यूशनल परत के साथ एक मैक्स पूलिंग परत का उपयोग करता है। ये परतें फ्रंट-एंड एडाप्टिव प्री-प्रोसेसिंग चरण के रूप में व्याख्या की जाती हैं। हालांकि वे अधिकांश गणना करते हैं, उनके पास स्वयं सीमित पैरामीटर होते हैं, और वे केवल इनपुट को स्थानीय विशेषताओं के एक सेट में विस्तारित करते हैं।

इसके बाद की परतें L4, L5, और L6 स्थानीय रूप से जुड़ी हुई हैं, और एक कनवोल्यूशनल परत की तरह, वे एक फिल्टर बैंक लागू करती हैं जहां प्रत्येक स्थान पर फीचर मैप में एक अद्वितीय सेट के फिल्टर सीखे जाते हैं। जैसा कि एक संरेखित छवि में विभिन्न क्षेत्रों में विभिन्न स्थानीय सांख्यिकी होती है, यह स्थानिक स्टेशनरिटी की धारणा को बनाए नहीं रख सकता है। उदाहरण के लिए, भौहों और आंखों के बीच का क्षेत्र नाक और मुंह के बीच के क्षेत्र की तुलना में अधिक भेदभावपूर्ण क्षमता रखता है। स्थानीय परतों का उपयोग करने से प्रशिक्षण के लिए पैरामीटर की संख्या प्रभावित होती है, लेकिन यह सुविधा निष्कर्षण के दौरान गणना बोझ को प्रभावित नहीं करता है।

डीपफेस मॉडल तीन परतों का उपयोग केवल इसलिए करता है क्योंकि इसके पास एक बड़ा अच्छी तरह से लेबल वाला प्रशिक्षण डेटासेट है। स्थानीय परतों का उपयोग करने को आगे इस तथ्य से सही ठहराया जा सकता है कि प्रत्येक आउटपुट इकाई एक स्थानीय परत के एक बड़े पैच से प्रभावित हो सकती है।

अंत में, शीर्ष परतें पूरी तरह से जुड़ी हुई हैं, जहां प्रत्येक आउटपुट इकाई सभी इनपुट से जुड़ी हुई है। दो परतें विभिन्न चेहरे की छवियों के विभिन्न भागों में कब्जे वाले विशेषताओं के बीच संबंधों को पकड़ सकती हैं, जैसे कि मुंह और आंखों की स्थिति और आकार। पहली पूरी तरह से जुड़ी हुई परत (F7) का आउटपुट नेटवर्क द्वारा इसके रॉ फेस प्रतिनिधित्व विशेषता वेक्टर के रूप में उपयोग किया जाएगा। मॉडल फिर अंतिम पूरी तरह से जुड़ी हुई परत (F8) के आउटपुट को एक K-वे सॉफ्टमैक्स में खिलाता है जो वर्ग लेबल पर एक वितरण उत्पन्न करता है।

डेटासेट

डीपफेस मॉडल एक संयोजन डेटासेट का उपयोग करता है, जिसमें सोशल फेस क्लासिफिकेशन या एसएफसी डेटासेट प्राथमिक है। इसके अलावा, डीपफेस मॉडल एलएफडब्ल्यू डेटासेट और वाईटीएफ डेटासेट का भी उपयोग करता है।

एसएफसी डेटासेट

एसएफसी डेटासेट फेसबुक से चित्रों के संग्रह से सीखा जाता है, और इसमें 4.4 मिलियन लेबल वाली छवियां होती हैं जो 4,030 लोगों की होती हैं, जिनमें से प्रत्येक के पास 800 से 1200 चेहरे होते हैं। एसएफसी डेटासेट की सबसे हाल की 5% चेहरे की छवियां प्रत्येक पहचान के लिए परीक्षण उद्देश्यों के लिए छोड़ दी जाती हैं।

एलएफडब्ल्यू डेटासेट

एलएफडब्ल्यू डेटासेट में 13,323 फोटो होती हैं जो 5,000 से अधिक हस्तियों की होती हैं, जो 10 विभाजन में 6,000 चेहरे के जोड़े में विभाजित होती हैं।

वाईटीएफ डेटासेट

वाईटीएफ डेटासेट में 3,425 वीडियो होते हैं जो 1,595 विषयों के होते हैं, और यह एलएफडब्ल्यू डेटासेट में हस्तियों का एक उपसेट है।

परिणाम

फ्रंटलाइजेशन के बिना और केवल 2D संरेखण का उपयोग करते हुए, मॉडल केवल 94.3% का सटीकता स्कोर प्राप्त करता है। जब मॉडल चेहरे की खोज के केंद्र कॉर्प का उपयोग करता है, तो यह कोई संरेखण का उपयोग नहीं करता है, और इस मामले में, मॉडल 87.9% का सटीकता स्कोर लौटाता है क्योंकि चेहरे के क्षेत्र के कुछ हिस्से केंद्र कॉर्प से बाहर हो सकते हैं। मॉडल फेस प्रतिनिधित्व की भेदभावपूर्ण क्षमता का मूल्यांकन करने के लिए असुपरवाइज्ड लर्निंग सेटिंग का पालन करता है ताकि सामान्यीकृत विशेषताओं के आंतरिक उत्पाद की तुलना की जा सके। यह मॉडल की माध्य सटीकता को 95.92% तक बढ़ाता है।

उपरोक्त मॉडल डीपफेस मॉडल के प्रदर्शन की तुलना अन्य राज्य-ऑफ-द-आर्ट फेशियल रिकॉग्निशन मॉडल के साथ करता है।

उपरोक्त चित्र डेटासेट पर आरओसी कर्व दिखाता है।

निष्कर्ष

आदर्श रूप से, एक चेहरे का वर्गीकरण मानव की सटीकता के साथ चेहरों को पहचान सकता है और यह छवि की गुणवत्ता, मुद्रा, अभिव्यक्ति या प्रकाश व्यवस्था की परवाह किए बिना उच्च सटीकता लौटा सकता है। इसके अलावा, एक आदर्श फेशियल रिकॉग्निशन फ्रेमवर्क को विभिन्न अनुप्रयोगों में थोड़े से या बिना किसी संशोधन के लागू किया जा सकता है। हालांकि डीपफेस वर्तमान में सबसे उन्नत और कुशल फेशियल रिकॉग्निशन फ्रेमवर्क में से एक है, यह आदर्श नहीं है, और यह कुछ स्थितियों में सटीक परिणाम प्रदान नहीं कर सकता है। लेकिन डीपफेस फ्रेमवर्क फेशियल रिकॉग्निशन उद्योग में एक महत्वपूर्ण मील का पत्थर है, और यह एक शक्तिशाली मीट्रिक लर्निंग तकनीक का उपयोग करके प्रदर्शन अंतर को बंद करता है, और यह समय के साथ अधिक कुशल होता जाएगा।