मानवों को कंप्यूटर विजन में ‘फ्यूज़’ करने के लिए अलग करना

सिंगापुर में ह्युंडई मोटर ग्रुप इनोवेशन सेंटर से एक नए शोध पत्र में कंप्यूटर विजन में ‘फ्यूज़’ मानवों को अलग करने के लिए एक विधि प्रदान की गई है – उन मामलों में जहां वस्तु पहचान फ्रेमवर्क ने एक मानव को पाया है जो किसी अन्य मानव के बहुत करीब है (जैसे ‘गले लगाने’ की क्रियाएं, या ‘पीछे खड़े’ मुद्राएं), और दो लोगों को अलग करने में असमर्थ है, उन्हें एक ही व्यक्ति या इकाई के लिए भ्रमित करता है।

दो एक हो जाते हैं, लेकिन यह सेमेंटिक सेगमेंटेशन में एक अच्छी बात नहीं है। यहां हम देखते हैं कि इस पत्र की नई प्रणाली जटिल और चुनौतीपूर्ण छवियों में उलझे हुए लोगों के व्यक्तिगतकरण पर राज्य के शीर्ष परिणाम प्राप्त करती है। स्रोत: https://arxiv.org/pdf/2210.03686.pdf

यह एक उल्लेखनीय समस्या है जिसने हाल के वर्षों में शोध समुदाय में बहुत ध्यान आकर्षित किया है। इसे हल करने से बिना स्पष्ट लेकिन आमतौर पर महंगे हाइपरस्केल, मानव-नेतृत्व वाले कस्टम लेबलिंग के खर्च के बिना, अंततः टेक्स्ट-टू-इमेज सिस्टम जैसे स्टेबल डिफ्यूजन में मानव व्यक्तिगतकरण में सुधार हो सकता है, जो अक्सर एक प्रोम्प्टेड मुद्रा में एक से अधिक व्यक्तियों को एक दूसरे के करीब लाने पर लोगों को ‘पिघला’ देता है।

इसे अपनाएं – टेक्स्ट-टू-इमेज मॉडल जैसे डीएलएल-ई 2 और स्टेबल डिफ्यूजन (दोनों ऊपर दिखाए गए) एक दूसरे के बहुत करीब लोगों का प्रतिनिधित्व करने में संघर्ष करते हैं।

हालांकि जेनरेटिव मॉडल जैसे डीएलएल-ई 2 और स्टेबल डिफ्यूजन (बंद-स्रोत डीएलएल-ई 2 के मामले में किसी के ज्ञान के अनुसार) वर्तमान में सेमेंटिक सेगमेंटेशन या वस्तु पहचान का उपयोग नहीं करते हैं, ये भयानक मानव पोर्टमेंटौस वर्तमान में इन अपस्ट्रीम तरीकों को लागू करके ठीक नहीं किए जा सकते हैं – क्योंकि वस्तु पहचान पुस्तकालयों और संसाधनों की वर्तमान स्थिति लोगों को अलग करने में उतनी ही खराब है जितनी कि सीएलआईपी -आधारित कार्यप्रवाह लेटेंट डिफ्यूजन मॉडल हैं।

इस मुद्दे को संबोधित करने के लिए, नया पत्र – शीर्षक मानवों को और अधिक लेबल करने की आवश्यकता नहीं है: ऑक्लूडेड मानव इंस्टेंस सेगमेंटेशन के लिए ऑक्लूजन कॉपी और पेस्ट – एक हालिया ‘कट और पेस्ट’ दृष्टिकोण को अनुकूलित और सुधारता है अर्ध-सynthetic डेटा के लिए, कार्य में एक नया एसओटीए लीड प्राप्त करने के लिए, यहां तक कि सबसे चुनौतीपूर्ण स्रोत सामग्री के खिलाफ भी।

नया ऑक्लूजन कॉपी और पेस्ट तरीका वर्तमान में क्षेत्र में अग्रणी है, यहां तक कि उन फ्रेमवर्क और दृष्टिकोणों के खिलाफ भी जो इस चुनौती को संबोधित करने के लिए अधिक विस्तृत और समर्पित तरीके से संबोधित करते हैं, जैसे कि विशेष रूप से ऑक्लूजन के लिए मॉडलिंग करना।

काट दें!

इस संशोधित विधि – ऑक्लूजन कॉपी और पेस्ट – 2021 के सिम्पल कॉपी-पेस्ट पत्र से व्युत्पन्न है, जिसे गूगल रिसर्च द्वारा नेतृत्व किया गया था, जिसने सुझाव दिया था कि विविध स्रोत प्रशिक्षण छवियों के बीच वस्तुओं और लोगों को ओवरले करने से छवि पहचान प्रणाली की क्षमता में सुधार हो सकता है प्रत्येक छवि में प्रत्येक उदाहरण को विभेदित करने के लिए।

2021 के गूगल रिसर्च के नेतृत्व वाले पत्र ‘सिम्पल कॉपी-पेस्ट इज़ ए स्ट्रांग डेटा ऑगमेंटेशन मेथड फॉर इंस्टेंस सेगमेंटेशन’ से, हम एक फोटो से तत्वों को दूसरी फोटो में ‘माइग्रेट’ होते हुए देखते हैं, जिसका उद्देश्य एक बेहतर और अधिक सटीक छवि पहचान मॉडल को प्रशिक्षित करना है। स्रोत: https://arxiv.org/pdf/2012.07177.pdf

नई संस्करण में इस स्वचालित और एल्गोरिदमिक ‘पेस्टिंग’ में सीमाएं और पैरामीटर जोड़े गए हैं, जिसे एक ‘बास्केट’ की तरह कल्पना की जा सकती है जिसमें छवियों के संभावित उम्मीदवार होते हैं जिन्हें दूसरी छवियों में ‘स्थानांतरित’ किया जा सकता है, कई कुंजी कारकों पर आधारित होता है।

ओसी और पी के लिए概念कारी कार्यप्रवाह।

तत्वों को नियंत्रित करना

वे सीमित करने वाले कारकों में संभावना शामिल हैं कि एक कट और पेस्ट होने की संभावना है, जो सुनिश्चित करता है कि प्रक्रिया हर समय नहीं होती है, जो डेटा वृद्धि को कमजोर कर देगी; छवियों की संख्या जो एक ‘बास्केट’ में एक समय में होगी, जहां सेगमेंट की एक बड़ी संख्या में विविधता में सुधार हो सकता है, लेकिन प्री-प्रोसेसिंग समय बढ़ सकता है; और सीमा, जो निर्धारित करती है कि कितनी छवियां एक ‘होस्ट’ छवि में पेस्ट की जाएंगी।

बाद के संबंध में, पत्र में उल्लेख किया गया है ‘हमें पर्याप्त ऑक्लूजन की आवश्यकता है, लेकिन बहुत अधिक नहीं क्योंकि वे छवि को अधिक भीड़भाड़ वाला बना सकते हैं, जो सीखने के लिए हानिकारक हो सकता है।’

ओसी और पी के लिए दो अन्य नवाचार लक्षित पेस्टिंग और अग्रिम इंस्टेंस पेस्टिंग हैं।

लक्षित पेस्टिंग सुनिश्चित करती है कि एक उपयुक्त छवि मौजूदा उदाहरण के पास एक लक्ष्य छवि में उतरे। पिछले दृष्टिकोण में, नए तत्व को केवल छवि की सीमाओं के भीतर सीमित किया गया था, बिना किसी संदर्भ के।

हालांकि यह ‘पेस्ट इन’, लक्षित पेस्टिंग के साथ, मानव आंख के लिए स्पष्ट है, ओसी और पी और इसके पूर्ववर्ती दोनों ने पाया है कि विज़ुअल प्रामाणिकता में वृद्धि आवश्यक नहीं है, और यहां तक कि एक दोष हो सकती है (नीचे ‘रियलिटी बाइट्स’ देखें).

अग्रिम इंस्टेंस पेस्टिंग सुनिश्चित करती है कि पेस्ट किए गए उदाहरण एक ‘विशिष्ट देखो’ प्रदर्शित नहीं करते हैं जो प्रणाली द्वारा वर्गीकृत किए जा सकते हैं, जो सामान्यीकरण और लागू होने में बाधा उत्पन्न कर सकते हैं। अग्रिम पेस्टिंग दृश्य कारकों जैसे चमक, तीक्ष्णता, स्केलिंग और घुमाव, और संतृप्ति को संशोधित करती है – अन्य कारकों के बीच।

नया पत्र की पूरक सामग्री से: मौजूदा पहचान फ्रेमवर्क में ओसी और पी जोड़ना khá सरल है, और बहुत करीब लोगों के व्यक्तिगतकरण में श्रेष्ठ परिणाम देता है। स्रोत: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

इसके अलावा, ओसी और पी पेस्ट किए गए किसी भी उदाहरण के लिए एक न्यूनतम आकार को नियंत्रित करता है। उदाहरण के लिए, यह संभव हो सकता है कि एक विशाल भीड़ दृश्य से एक व्यक्ति की छवि निकाली जाए, जिसे दूसरी छवि में पेस्ट किया जा सकता है – लेकिन ऐसे मामले में, शामिल पिक्सेल की छोटी संख्या संभवतः पहचान में मदद नहीं करेगी। इसलिए, प्रणाली लक्ष्य छवि के लिए समान पक्ष लंबाई के अनुपात के आधार पर एक न्यूनतम स्केल लागू करती है।

इसके अलावा, ओसी और पी स्केल-जागरूक पेस्टिंग को लागू करता है, जहां यह न केवल पेस्ट विषय के समान विषयों की तलाश करता है, बल्कि लक्ष्य छवि में बाउंडिंग बॉक्स के आकार को भी ध्यान में रखता है। हालांकि, यह मानव द्वारा विश्वसनीय या वास्तविक छवियों का निर्माण नहीं करता है, बल्कि प्रशिक्षण के दौरान सहायक तरीके से एक दूसरे के पास सेमेंटिक रूप से उपयुक्त तत्वों को इकट्ठा करता है।

वास्तविकता का काट

ओसी और पी के पूर्ववर्ती और वर्तमान कार्यान्वयन दोनों ही प्रामाणिकता या किसी भी अंतिम ‘मोंटेज’ छवि की ‘फोटोरियलिटी’ पर कम प्रीमियम रखते हैं। हालांकि यह महत्वपूर्ण है कि अंतिम असेंबल पूरी तरह से डाडाиз्म में न गिर जाए (अन्यथा वास्तविक दुनिया में तैनात प्रणालियों को कभी भी उम्मीद नहीं होगी कि वे प्रशिक्षित दृश्यों में तत्वों का सामना करेंगी), दोनों पहलों ने पाया है कि दृश्य प्रामाणिकता में एक उल्लेखनीय वृद्धि न केवल प्री-प्रोसेसिंग समय जोड़ सकती है, बल्कि वास्तव में प्रतिकूल हो सकती है।

नया पत्र की पूरक सामग्री से: यादृच्छिक मिश्रण के साथ बढ़ाई गई छवियों के उदाहरण। हालांकि ये दृश्य मानव आंख के लिए हॉलुसिनोजेनिक लगते हैं, वे फिर भी एक दूसरे के साथ समान विषयों को एक साथ लाते हैं; हालांकि ऑक्लूजन मानव आंख के लिए कल्पनात्मक है, संभावित ऑक्लूजन की प्रकृति को पहले से जानना असंभव है, और इसके लिए प्रशिक्षित करना असंभव है – इसलिए, ऐसे विचित्र ‘कट ऑफ’ फॉर्म पर्याप्त हैं ताकि प्रशिक्षित प्रणाली आंशिक लक्ष्य विषयों को पहचाने और पहचाने बिना जटिल फोटोशॉप-शैली की विधियों को विकसित किए बिना।

डेटा और परीक्षण

परीक्षण चरण के लिए, प्रणाली को व्यक्ति वर्ग के एमएस सीओसीओ डेटासेट पर प्रशिक्षित किया गया था, जिसमें 262,465 मानव उदाहरण शामिल थे 64,115 छवियों में। हालांकि, एमएस सीओसीओ में बेहतर गुणवत्ता वाले मास्क प्राप्त करने के लिए, छवियों को एलवीआईएस मास्क एनोटेशन भी मिले।

2019 में जारी, एलवीआईएस, फेसबुक रिसर्च से, एक विशाल डेटासेट है बड़े शब्दकोश इंस्टेंस सेगमेंटेशन के लिए। स्रोत: https://arxiv.org/pdf/1908.03195.pdf

ओसी और पी की प्रभावशीलता का मूल्यांकन करने के लिए कि यह कितनी अच्छी तरह बड़ी संख्या में ऑक्लूडेड मानव छवियों का सामना कर सकता है, शोधकर्ताओं ने इसे ओसीह्यूमन (ऑक्लूडेड ह्यूमन) बेंचमार्क के खिलाफ खड़ा किया।

2018 में पोज़2सेग द्वारा शुरू की गई ओसीह्यूमन डेटासेट के उदाहरण, जिसने लोगों के स्टैंस और पोज़ का उपयोग करके बेहतर सेमेंटिक सेगमेंटेशन प्राप्त करने का प्रयास किया। स्रोत: https://github.com/liruilong940607/OCHumanApi

चूंकि ओसीह्यूमन बेंचमार्क पूरी तरह से एनोटेट नहीं है, इसलिए नए पत्र के शोधकर्ताओं ने केवल उन उदाहरणों का एक उपसेट बनाया जो पूरी तरह से लेबल किए गए थे, जिसे ओसीह्यूमन^एफएल नाम दिया गया। इससे सत्यापन के लिए 1,113 छवियों में 2,240 व्यक्ति उदाहरणों और 951 वास्तविक छवियों में 1,923 उदाहरणों के लिए संख्या कम हो गई। दोनों मूल और नए उपसेट का परीक्षण किया गया, मीन एवरेज प्रेसिजन (मएपी) का उपयोग मुख्य मेट्रिक के रूप में किया गया।

स्थिरता के लिए, वास्तुकला मास्क आर-सीएनएन के साथ एक रेसनेट-50 बैकबोन और एक फीचर पिरामिड नेटवर्क से बनी थी, जो सटीकता और प्रशिक्षण गति के बीच एक स्वीकार्य समझौता प्रदान करता है।

शोधकर्ताओं ने इस बात पर ध्यान दिया कि समान स्थितियों में अपस्ट्रीम इमेजनेट प्रभाव का दुर्भाग्यपूर्ण प्रभाव हो सकता है, पूरी प्रणाली को 4 एनवीडिया वी100 जीपीयू पर स्क्रैच से प्रशिक्षित किया गया, 75 युगों के लिए, फेसबुक की 2021 रिलीज डिटेक्ट्रॉन 2 के प्रारंभिक पैरामीटर का पालन किया।

परिणाम

उपरोक्त परिणामों के अलावा, एमएमडिटेक्शन (और इसके तीन संबद्ध मॉडल) के खिलाफ बेसलाइन परिणाम ओसी और पी की क्षमता में एक स्पष्ट बढ़त का संकेत देते हैं जो जटिल मुद्राओं से मानवों को चुनने में सक्षम हैं।

इसके अलावा पोसेग और पोज़2सेग को पीछे छोड़ने के अलावा, शायद पत्र की सबसे उल्लेखनीय उपलब्धि यह है कि प्रणाली मौजूदा फ्रेमवर्क में बहुत आसानी से लागू की जा सकती है, जिनमें से कुछ परीक्षणों में इसका मुकाबला किया गया था (पहले परिणाम बॉक्स में देखें)।

पत्र निष्कर्ष निकालता है:

‘हमारे दृष्टिकोण का एक मुख्य लाभ यह है कि यह किसी भी मॉडल या अन्य मॉडल-केंद्रित सुधारों के साथ आसानी से लागू किया जा सकता है। गहरे शिक्षण क्षेत्र की गति को देखते हुए, यह सभी के लिए फायदेमंद है कि हमारे पास ऐसे दृष्टिकोण हों जो प्रशिक्षण के हर पहलू के साथ अत्यधिक अंतरपरिवर्तनशील हों। हम इसे भविष्य के काम के रूप में छोड़ देते हैं कि इसे मॉडल-केंद्रित सुधारों के साथ एकीकृत करें ताकि ऑक्लूडेड व्यक्ति इंस्टेंस सेगमेंटेशन को प्रभावी ढंग से हल किया जा सके।’

टेक्स्ट-टू-इमेज सिंथेसिस में सुधार की संभावना

लीड लेखक इवान लिंग ने हमें एक ईमेल में बताया कि ओसी और पी का मुख्य लाभ यह है कि यह मूल मास्क लेबल को बनाए रख सकता है और उनसे एक नए संदर्भ में ‘निशुल्क’ मूल्य प्राप्त कर सकता है – अर्थात, वे छवियां जिनमें वे पेस्ट किए गए हैं।

हालांकि मानवों का सेमेंटिक सेगमेंटेशन स्टेबल डिफ्यूजन जैसे मॉडलों द्वारा लोगों को व्यक्तिगत करने में कठिनाई से जुड़ा प्रतीत होता है (इसके बजाय उन्हें ‘मिला’ देता है), कोई भी प्रभाव जो सेमेंटिक लेबलिंग संस्कृति डीएलएल-ई 2 और स्टेबल डिफ्यूजन द्वारा उत्पादित भयानक मानव प्रतिपादन पर हो सकता है, बहुत दूर है।

स्टेबल डिफ्यूजन की जेनरेटिव शक्ति को आबादित करने वाली लाखों लायोन 5बी सबसेट छवियों में वस्तु-स्तरीय लेबल जैसे कि बाउंडिंग बॉक्स और इंस्टेंस मास्क शामिल नहीं हैं, भले ही सीएलआईपी आर्किटेक्चर जो रेंडर की संरचना करता है छवियों और डेटाबेस सामग्री से लाभान्वित हो सकता है; बल्कि, लायोन छवियों को ‘निशुल्क’ लेबल किया गया है, क्योंकि उनके लेबल वेब से स्क्रैप की गई छवियों के साथ जुड़े मेटाडेटा और कैप्शन से व्युत्पन्न हुए थे।

‘लेकिन इसके अलावा,’ लिंग ने हमें बताया, ‘कुछ प्रकार के ओसी और पी का उपयोग टेक्स्ट-टू-इमेज जेनरेटिव मॉडल प्रशिक्षण के दौरान किया जा सकता है। लेकिन मुझे लगता है कि प्रशिक्षण छवि की वास्तविकता एक मुद्दा हो सकती है।

‘हमारे काम में, हम दिखाते हैं कि ‘पूर्ण’ वास्तविकता की आवश्यकता नहीं है पर्यवेक्षित इंस्टेंस सेगमेंटेशन के लिए, लेकिन मुझे नहीं पता कि क्या टेक्स्ट-टू-इमेज जेनरेटिव मॉडल प्रशिक्षण (विशेष रूप से जब उनके आउटपुट उच्च वास्तविकता होने की उम्मीद है) के लिए भी यही निष्कर्ष निकाला जा सकता है। इस मामले में, अधिक काम करने की आवश्यकता हो सकती है प्रशिक्षण छवियों की वास्तविकता को ‘पूर्ण’ करने के लिए।’

सीएलआईपी already का उपयोग सेमेंटिक सेगमेंटेशन के लिए एक बहुमोडल उपकरण के रूप में किया जा रहा है, जो सुझाव देता है कि मानव पहचान और व्यक्तिगतकरण में सुधार के लिए ओसी और पी जैसी प्रणालियों को अंततः इन-सिस्टम फिल्टर या वर्गीकारी के रूप में विकसित किया जा सकता है जो ‘फ्यूज्ड’ और विकृत मानव प्रतिनिधित्वों को स्वेच्छा से अस्वीकार कर सकते हैं – एक कार्य जो वर्तमान में स्टेबल डिफ्यूजन के साथ करना मुश्किल है, क्योंकि इसकी त्रुटि का पता लगाने की सीमित क्षमता है।

ओपनएआई के सीएलआईपी फ्रेमवर्क – डीएलएल-ई 2 और स्टेबल डिफ्यूजन का दिल – का उपयोग सेमेंटिक सेगमेंटेशन के लिए एक बहुमोडल उपकरण के रूप में करने वाली परियोजनाओं में से एक। स्रोत: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘एक और प्रश्न यह होगा,’ लिंग सुझाव देते हैं, ‘क्या सिर्फ प्रशिक्षण के दौरान जेनरेटिव मॉडलों को ऑक्लूडेड मानव छवियों को खिलाने से काम होगा, बिना पूरक मॉडल आर्किटेक्चर डिज़ाइन के, जो “मानव फ्यूज़न” के मुद्दे को कम करने में मदद करेगा? यह शायद एक प्रश्न है जिसका उत्तर देना मुश्किल है। यह देखना निश्चित रूप से दिलचस्प होगा कि हम कैसे टेक्स्ट-टू-इमेज जेनरेटिव मॉडल प्रशिक्षण के दौरान किसी प्रकार के इंस्टेंस-लेवल मार्गदर्शन (इंस्टेंस-लेवल लेबल जैसे इंस्टेंस मास्क के माध्यम से) को प्रदान कर सकते हैं।’ * 10 अक्टूबर 2022

10 अक्टूबर 2022 को पहली बार प्रकाशित।