दृश्य को समझने वाली एआई इमेज मैटिंग

2003 में डीवीडी रिलीज़ के साथ आने वाले एक्स्ट्रा डॉक्यूमेंट्री में एलियन³ (1992) के विज़ुअल इफेक्ट्स लेजेंड रिचर्ड एडलंड ने फोटोकेमिकल मैट एक्सट्रैक्शन के ‘सुमो रेसलिंग’ को याद किया, जो 1930 के दशक के अंत और 1980 के दशक के बीच विज़ुअल इफेक्ट्स कार्य को प्रभावित करता था। एडलंड ने इस प्रक्रिया को ‘सुमो रेसलिंग’ के रूप में वर्णित किया, जो 1990 के दशक की शुरुआत में डिजिटल ब्लू/ग्रीन-स्क्रीन तकनीकों की तुलना में थी।

एक फोरग्राउंड एलिमेंट (जैसे कि एक व्यक्ति या एक स्पेसशिप मॉडल) को एक बैकग्राउंड से निकालना, ताकि कट-आउट इमेज को एक बैकग्राउंड प्लेट में कंपोजिट किया जा सके, मूल रूप से एक फोरग्राउंड ऑब्जेक्ट को एक समान ब्लू या ग्रीन बैकग्राउंड के खिलाफ फिल्माने से प्राप्त किया गया था।

वीएफएक्स शॉट के लिए आईएलएम द्वारा श्रमसाध्य फोटोकेमिकल निष्कर्षण प्रक्रियाएं ‘रिटर्न ऑफ द जेडी’ (1983)। स्रोत: https://www.youtube.com/watch?v=qwMLOjqPmbQ

परिणामी फुटेज में, बैकग्राउंड रंग को बाद में रासायनिक रूप से अलग किया जाएगा और एक ऑप्टिकल प्रिंटर में फोरग्राउंड ऑब्जेक्ट (या व्यक्ति) को एक ‘फ्लोटिंग’ ऑब्जेक्ट के रूप में पुनः मुद्रित किया जाएगा।

इस प्रक्रिया को रंग पृथक्करण ओवरले (सीएसओ) के रूप में जाना जाता था – हालांकि यह शब्द बाद में कम बजट वाले टेलीविजन आउटपुट में क्रूड ‘क्रोमाकी’ वीडियो इफेक्ट्स से जुड़ा हो गया, जो एनालॉग रूप से रासायनिक या डिजिटल माध्यमों से प्राप्त किया गया था।

1970 में ब्रिटिश बच्चों के शो ‘ब्लू पीटर’ के लिए रंग पृथक्करण ओवरले का प्रदर्शन। स्रोत: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx

किसी भी मामले में, चाहे फिल्म या वीडियो तत्वों के लिए, बाद में निकाले गए फुटेज को किसी भी अन्य फुटेज में डाला जा सकता था।

हालांकि, डिज़नी की उल्लेखनीय रूप से अधिक महंगी और प्रोप्राइटरी सोडियम-वेपर प्रक्रिया (जो पीले रंग पर कुंजी देती थी और अल्फ्रेड हिचकॉक की 1963 की हॉरर फिल्म ‘द बर्ड्स’ के लिए भी उपयोग की जाती थी) ने बेहतर परिभाषा और क्रिस्प मैट्स दिए, फोटोकेमिकल निष्कर्षण अभी भी दर्दनाक और अविश्वसनीय था।

डिज़नी की प्रोप्राइटरी सोडियम वेपर निष्कर्षण प्रक्रिया में पीले रंग के अंत में स्पेक्ट्रम के निकट बैकग्राउंड की आवश्यकता थी। यहां, एंजेला लैंसबरी ‘बेडनॉब्स एंड ब्रूमस्टिक्स’ (1971) के लिए एक वीएफएक्स-लेस सीक्वेंस के उत्पादन के दौरान तारों पर लटकी हुई है। स्रोत

डिजिटल मैटिंग से परे

1990 के दशक में, डिजिटल क्रांति ने रसायनों को समाप्त कर दिया, लेकिन हरे रंग की स्क्रीन की आवश्यकता नहीं थी। यह अब संभव था कि केवल पिक्सेल-एडिटिंग सॉफ्टवेयर जैसे फोटोशॉप में रंग के एक टोलरेंस रेंज के भीतर पिक्सेल की खोज करके हरे रंग (या किसी अन्य रंग) को हटा दिया जाए, और एक नई पीढ़ी के वीडियो-कंपोजिटिंग सुइट्स जो स्वचालित रूप से रंगीन पृष्ठभूमि को हटा सकते थे। लगभग रातोंरात, ऑप्टिकल प्रिंटिंग उद्योग के छह दशक समाप्त हो गए थे।

पिछले दस वर्षों में जीपीयू-त्वरित कंप्यूटर विजन अनुसंधान ने मैट निष्कर्षण को तीसरे युग में पहुंचा दिया है, जिसमें शोधकर्ताओं को हरे रंग की स्क्रीन की आवश्यकता के बिना उच्च-गुणवत्ता वाले मैट्स निकालने वाले सिस्टम विकसित करने का काम सौंपा गया है। अर्क्सिव में, मशीन लर्निंग-आधारित फोरग्राउंड निष्कर्षण में नवाचारों से संबंधित पत्र एक साप्ताहिक विशेषता हैं।

हमें तस्वीर में रखना

एआई निष्कर्षण में अकादमिक और उद्योग हित का यह केंद्र बिंदु पहले से ही उपभोक्ता स्थान को प्रभावित कर चुका है: हमें जो अस्थायी लेकिन कार्यात्मक कार्यान्वयन मिले हैं, वे ज़ूम और स्काइप फिल्टर के रूप में हैं, जो हमें अपने लिविंग रूम की पृष्ठभूमि को उष्णकटिबंधीय द्वीपों के साथ बदलने की अनुमति देते हैं।

हालांकि, सबसे अच्छे मैट्स अभी भी एक हरे रंग की स्क्रीन की आवश्यकता है, जैसा कि ज़ूम ने पिछले बुधवार को उल्लेख किया था।

बाएं, एक हरे रंग की स्क्रीन के सामने एक आदमी, ज़ूम की वर्चुअल बैकग्राउंड सुविधा के माध्यम से अच्छी तरह से निकाले गए बाल के साथ। दाएं, एक सामान्य घरेलू दृश्य के सामने एक महिला, एल्गोरिदम द्वारा कम सटीकता और उच्च कम्प्यूटिंग आवश्यकताओं के साथ बाल निकाले गए। स्रोत: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image

एक ज़ूम सपोर्ट प्लेटफ़ॉर्म से आगे का एक पोस्ट यह भी चेतावनी देता है कि गैर-हरे रंग की स्क्रीन निष्कर्षण में भी अधिक कम्प्यूटिंग शक्ति की आवश्यकता होती है।

इसे काटने की आवश्यकता

गुणवत्ता, पोर्टेबिलिटी और संसाधन अर्थव्यवस्था में सुधार ‘जंगली’ मैट निष्कर्षण प्रणालियों के लिए (अर्थात, हरे रंग की स्क्रीन की आवश्यकता के बिना लोगों को अलग करना) कई क्षेत्रों और पीछा से अधिक प्रासंगिक हैं।

डेटासेट विकास के लिए, चेहरे, पूरे सिर और पूरे शरीर की पहचान में सुधार सुनिश्चित करने की संभावना है कि पृष्ठभूमि के तत्वों को कंप्यूटर विजन मॉडल में प्रशिक्षित नहीं किया जाएगा; अधिक सटीक अलगाव सेमांटिक सेगमेंटेशन तकनीकों को बहुत बढ़ा देगा जो डोमेन (अर्थात, ‘बिल्ली’, ‘व्यक्ति’, ‘नाव’) को अलग करने और आत्मसात करने के लिए डिज़ाइन किए गए हैं; और बेहतर निष्कर्षण एल्गोरिदम वीएई और ट्रांसफॉर्मर-आधारित छवि सिंथेसिस सिस्टम को कम कर देगा, जैसे कि ओपनएआई का नया डीएलए-2; और बेहतर निष्कर्षण एल्गोरिदम महंगी मैनुअल रोटोस्कोपिंग की आवश्यकता को कम कर देगा महंगे वीएफएक्स पाइपलाइनों में।

वास्तव में, मल्टीमॉडल (आमतौर पर पाठ/छवि) विधियों का उदय, जहां एक डोमेन जैसे ‘बिल्ली’ को एक छवि और संबंधित पाठ संदर्भों के साथ एन्कोड किया जाता है, पहले से ही छवि प्रसंस्करण में प्रवेश कर चुका है। एक हालिया उदाहरण टेक्स्ट2लाइव आर्किटेक्चर है, जो वीडियो बनाने के लिए बहुस्तरीय (पाठ/छवि) प्रशिक्षण का उपयोग करता है, जिनमें से क्रिस्टल स्वान और ग्लास गिरगिट जैसे विभिन्न संभावनाएं शामिल हैं।

दृश्य-जागरूक एआई मैटिंग

एआई-आधारित स्वचालित मैटिंग में अनुसंधान का एक बड़ा हिस्सा सीमा की मान्यता और छवि या वीडियो फ्रेम के भीतर पिक्सेल-आधारित समूहों के मूल्यांकन पर केंद्रित है। हालांकि, चीन से नए शोध में एक निष्कर्षण पाइपलाइन है जो सीमा की रूपरेखा और मैट गुणवत्ता में सुधार करती है दृश्य के पाठ-आधारित विवरण (जो कंप्यूटर विजन अनुसंधान क्षेत्र में पिछले 3-4 वर्षों में एक बहुमोडल दृष्टिकोण है) का लाभ उठाकर, दावा करते हैं कि उन्होंने कई मायनों में先े के तरीकों में सुधार किया है।

पिछले तरीकों की तुलना में एसपीजी-आईएम निष्कर्षण (नीचे दाईं ओर अंतिम छवि) का एक उदाहरण। स्रोत: https://arxiv.org/pdf/2204.09276.pdf

निष्कर्षण अनुसंधान उप-क्षेत्र के लिए यह चुनौती है कि न्यूनतम मैनुअल एनोटेशन और मानव हस्तक्षेप के साथ काम करने वाले कार्यप्रवाह का उत्पादन किया जाए – आदर्श रूप से, कोई नहीं। इसके अलावा लागत के निहितार्थ, शोधकर्ताओं ने नए पत्र में देखा है कि विभिन्न संस्कृतियों में आउटसोर्स किए गए भीड़ कार्यकर्ताओं द्वारा की गई एनोटेशन और मैनुअल सेगमेंटेशन छवियों को अलग तरह से लेबल या यहां तक कि सेगमेंट किया जा सकता है, जिससे असंगत और असंतोषजनक एल्गोरिदम हो सकते हैं।

एक उदाहरण यह है कि ‘फोरग्राउंड ऑब्जेक्ट’ की परिभाषा की विषयगत व्याख्या:

नए पत्र से: पिछले तरीके एलएफएम और एमओडनेट (‘जीटी’ ग्राउंड ट्रुथ, एक ‘आदर्श’ परिणाम को दर्शाता है जो अक्सर मैनुअल रूप से या गैर-एल्गोरिदमिक तरीकों से प्राप्त किया जाता है), फोरग्राउंड सामग्री की परिभाषा पर अलग और विभिन्न रूप से प्रभावी ले जाते हैं, जबकि नए एसपीजी-आईएम तरीके दृश्य संदर्भ के माध्यम से ‘नियर सामग्री’ को अधिक प्रभावी ढंग से रेखांकित करते हैं।

इसे संबोधित करने के लिए, शोधकर्ताओं ने एक दो-चरण पाइपलाइन विकसित की है जिसे सिचुएशनल परसेप्शन गाइडेड इमेज मैटिंग (एसपीजी-आईएम) कहा जाता है। दो-चरण एन्कोडर/डिकोडर आर्किटेक्चर में सिचुएशनल परसेप्शन डिस्टिलेशन (एसपीडी) और सिचुएशनल परसेप्शन गाइडेड मैटिंग (एसपीजीएम) शामिल हैं।

एसपीजी-आईएम आर्किटेक्चर।

पहले, एसपीडी दृश्य-से-पाठ विशेषता परिवर्तनों को प्रीट्रेन करता है, जो अपने संबंधित छवियों के लिए उपयुक्त कैप्शन उत्पन्न करता है। इसके बाद, फोरग्राउंड मास्क की भविष्यवाणी एक नए सaliency पूर्वानुमान तकनीक से जुड़े पाइपलाइन से संभव है।

फिर एसपीजीएम रॉ आरजीबी इमेज इनपुट और पहले मॉड्यूल में प्राप्त मास्क के आधार पर एक अनुमानित अल्फा मैट उत्पन्न करता है।

उद्देश्य स्थिति की धारणा मार्गदर्शन है, जिसमें प्रणाली को यह समझने की क्षमता है कि छवि क्या है, जो – उदाहरण के लिए – जटिल बाल को पृष्ठभूमि से निकालने की चुनौती को फ्रेम करने की अनुमति देता है।

नीचे दिए गए उदाहरण में, एसपीजी-आईएम समझता है कि तार एक ‘पैराशूट’ के लिए आंतरिक हैं, जहां एमओडनेट विवरण और परिभाषा को बनाए रखने में विफल रहता है।

नया पत्र सिचुएशनल परसेप्शन गाइडेड इमेज मैटिंग शीर्षक से है, और ओप्पो रिसर्च इंस्टीट्यूट, पिकअप.एआई, और एक्समोटर्स के शोधकर्ताओं से है।

बुद्धिमान स्वचालित मैट्स

एसपीजी-आईएम एक अनुकूली फोकल परिवर्तन (एएफटी) रिफाइनमेंट नेटवर्क भी प्रदान करता है जो स्थानीय विवरण और वैश्विक संदर्भ को अलग-अलग संसाधित कर सकता है, ‘बुद्धिमान मैट्स’ को सुविधाजनक बनाता है।

दृश्य संदर्भ को समझना, इस मामले में ‘लड़की के साथ घोड़ा’, फोरग्राउंड निष्कर्षण को पहले के तरीकों की तुलना में आसान बना सकता है।

पत्र में कहा गया है:

‘हम मानते हैं कि दृश्य-से-पाठ कार्य से, उदाहरण के लिए, छवि कैप्शनिंग, अधिक सेमांटिक रूप से व्यापक संकेतों पर ध्यान केंद्रित करता है जो a) वस्तु से वस्तु और b) वस्तु से पर्यावरण को जन्म देता है, जो वैश्विक जानकारी और स्थानीय विवरण दोनों को कवर करने वाले विवरण उत्पन्न कर सकता है। इसके अलावा, छवि मैटिंग के पिक्सेल एनोटेशन की तुलना में पाठ लेबल को बहुत कम लागत पर बड़े पैमाने पर एकत्र किया जा सकता है।’

एसपीडी शाखा विश्वविद्यालय के विर्टेक्स ट्रांसफॉर्मर-आधारित पाठ डिकोडर के साथ संयुक्त रूप से प्रीट्रेन की जाती है, जो सेमांटिक रूप से घने कैप्शन से दृश्य प्रतिनिधित्व सीखता है।

अन्य परीक्षणों और ablation अध्ययनों के बीच, शोधकर्ताओं ने एसपीजी-आईएम को राज्य-ऑफ-द-आर्ट ट्रिमैप-आधारित तरीकों डीप इमेज मैटिंग (डीआईएम), इंडेक्सनेट, कॉन्टेक्स्ट-एवेयर इमेज मैटिंग (सीएएम), गाइडेड कॉन्टेक्स्चुअल अटेंशन (जीसीए), एफबीए, और सेमांटिक इमेज मैपिंग (एसआईएम) के खिलाफ परीक्षण किया।

अन्य पिछले फ्रेमवर्क में ट्रिमैप-मुक्त दृष्टिकोण एलएफएम, एचएटीटी मैटिंग, और एमओडनेट शामिल थे। निष्पक्ष तुलना के लिए, परीक्षण विधियों को विभिन्न विधियों के आधार पर अनुकूलित किया गया था; जहां कोड उपलब्ध नहीं था, पत्र की तकनीकों को वर्णित वास्तुकला से पुनः उत्पन्न किया गया था।

नया पत्र कहता है:

‘हमारा एसपीजी-आईएम सभी प्रतिस्पर्धी ट्रिमैप-मुक्त तरीकों ([एलएफएम], [एचएटीटी मैटिंग], और [एमओडनेट]) को एक बड़े मार्जिन से पार करता है। इसके अलावा, हमारा मॉडल सार्वजनिक डेटासेट (अर्थात, कॉम्पोज़िशन-1के, डिस्टिंक्शन-646, और ह्यूमन-2के) में सभी चार मीट्रिक में ट्रिमैप-आधारित और मास्क-निर्देशित तरीकों की तुलना में उत्कृष्टता दिखाता है, और हमारे मल्टी-ऑब्जेक्ट-1के बेंचमार्क।’

और जारी है:

‘यह स्पष्ट रूप से देखा जा सकता है कि हमारी विधि ट्रिमैप के मार्गदर्शन के बिना विस्तृत विवरण (जैसे बाल के स्थल, पारदर्शी बनावट, और सीमाएं) को बनाए रखती है। इसके अलावा, अन्य प्रतिस्पर्धी ट्रिमैप-मुक्त मॉडलों की तुलना में हमारा एसपीजी-आईएम बेहतर वैश्विक सेमांटिक पूर्णता बनाए रखने में सक्षम है।’

पहली बार 24 अप्रैल 2022 को प्रकाशित।