कंप्यूटर विज़न में 'जुड़े हुए' मनुष्यों को अलग करना

सिंगापुर में हुंडई मोटर ग्रुप इनोवेशन सेंटर का एक नया पेपर कंप्यूटर विज़न में 'फ्यूज्ड' इंसानों को अलग करने की एक विधि प्रदान करता है - ऐसे मामले जहां ऑब्जेक्ट रिकग्निशन फ्रेमवर्क ने एक इंसान पाया है जो किसी तरह से दूसरे इंसान के 'बहुत करीब' है (जैसे) 'गले लगाने' की क्रिया, या 'पीछे खड़े होने' की मुद्रा के रूप में), और प्रतिनिधित्व करने वाले दो लोगों को अलग करने में असमर्थ है, उन्हें एक ही व्यक्ति या इकाई के लिए भ्रमित करता है।

दो एक हो जाते हैं, लेकिन शब्दार्थ विभाजन में यह अच्छी बात नहीं है। यहां हम देखते हैं कि पेपर की नई प्रणाली जटिल और चुनौतीपूर्ण छवियों में परस्पर जुड़े लोगों के व्यक्तित्व पर अत्याधुनिक परिणाम प्राप्त कर रही है। स्रोत: https://arxiv.org/pdf/2210.03686.pdf

यह एक उल्लेखनीय समस्या है जिस पर हाल के वर्षों में अनुसंधान समुदाय में काफी ध्यान दिया गया है। हाइपरस्केल के स्पष्ट लेकिन आम तौर पर अप्रभावी खर्च के बिना इसे हल करने से, मानव-नेतृत्व वाली कस्टम लेबलिंग अंततः टेक्स्ट-टू-इमेज सिस्टम में मानव व्यक्तित्व में सुधार को सक्षम कर सकती है जैसे कि स्थिर प्रसार, जो अक्सर लोगों को एक साथ 'पिघला' देता है जहां एक प्रेरित मुद्रा के लिए कई व्यक्तियों को एक-दूसरे के करीब होने की आवश्यकता होती है।

भयावहता को गले लगाओ - DALL-E 2 और स्टेबल डिफ्यूजन (दोनों ऊपर चित्रित) जैसे टेक्स्ट-टू-इमेज मॉडल एक-दूसरे के बहुत करीब लोगों का प्रतिनिधित्व करने के लिए संघर्ष करते हैं।

हालाँकि DALL-E 2 और स्टेबल डिफ्यूज़न जैसे जेनरेटिव मॉडल (किसी की जानकारी के अनुसार, क्लोज्ड-सोर्स DALL-E 2 के मामले में) फिलहाल सिमेंटिक सेग्मेंटेशन या ऑब्जेक्ट रिकग्निशन का उपयोग नहीं करते हैं, लेकिन ये अजीबोगरीब ह्यूमन पोर्टमैंटस नहीं कर सकते हैं वर्तमान में इस तरह के अपस्ट्रीम तरीकों को लागू करके ठीक किया जा सकता है - क्योंकि अत्याधुनिक वस्तु पहचान पुस्तकालय और संसाधन लोगों को सुलझाने की तुलना में ज्यादा बेहतर नहीं हैं क्लिपअव्यक्त प्रसार मॉडल के आधारित वर्कफ़्लो।

इस मुद्दे को हल करने के लिए, नया कागज - शीर्षक इंसानों को और इंसानों का लेबल लगाने की ज़रूरत नहीं है: ऑक्लूडेड ह्यूमन इंस्टेंस सेगमेंटेशन के लिए ऑक्लूजन कॉपी और पेस्ट करें- सबसे चुनौतीपूर्ण स्रोत सामग्री के बावजूद भी कार्य में नई SOTA बढ़त हासिल करने के लिए अर्ध-सिंथेटिक डेटा के लिए हाल ही में 'कट और पेस्ट' दृष्टिकोण को अपनाना और सुधारना:

नई ऑक्लूजन कॉपी और पेस्ट पद्धति वर्तमान में पूर्व रूपरेखाओं और दृष्टिकोणों के मुकाबले भी क्षेत्र का नेतृत्व करती है जो चुनौती को विस्तृत और अधिक समर्पित तरीकों से संबोधित करती है, जैसे विशेष रूप से ऑक्लूजन के लिए मॉडलिंग।

बंद करो!

संशोधित विधि - शीर्षक अवरोधन कॉपी और पेस्ट करें - 2021 से लिया गया है सरल कॉपी-पेस्ट Google रिसर्च के नेतृत्व में पेपर, जिसमें सुझाव दिया गया कि विभिन्न स्रोत प्रशिक्षण छवियों के बीच निकाली गई वस्तुओं और लोगों को सुपरइम्पोज़ करने से छवि में पाए गए प्रत्येक उदाहरण को अलग करने के लिए छवि पहचान प्रणाली की क्षमता में सुधार हो सकता है:

2021 के Google रिसर्च के नेतृत्व वाले पेपर 'सिंपल कॉपी-पेस्ट इंस्टेंस सेगमेंटेशन के लिए एक मजबूत डेटा ऑग्मेंटेशन विधि है' से, हम एक बेहतर छवि पहचान मॉडल को प्रशिक्षित करने के उद्देश्य से, एक फोटो से तत्वों को अन्य फोटो में 'माइग्रेट' होते हुए देखते हैं। स्रोत: https://arxiv.org/pdf/2012.07177.pdf

नया संस्करण इस स्वचालित और एल्गोरिथम 'रीपेस्टिंग' में सीमाएं और पैरामीटर जोड़ता है, जो कई प्रमुख कारकों के आधार पर प्रक्रिया को अन्य छवियों में 'स्थानांतरित' करने के लिए संभावित उम्मीदवारों से भरी छवियों की 'टोकरी' में अनुरूपित करता है।

OC&P के लिए वैचारिक कार्यप्रवाह।

तत्वों को नियंत्रित करना

उन सीमित कारकों में शामिल हैं संभावना कट और पेस्ट होने से, जो यह सुनिश्चित करता है कि प्रक्रिया हर समय नहीं होती है, जो एक 'संतृप्त' प्रभाव प्राप्त करेगी जो डेटा वृद्धि को कमजोर कर देगी; छवियों की संख्या किसी भी एक समय में एक टोकरी होगी, जहां बड़ी संख्या में 'सेगमेंट' उदाहरणों की विविधता में सुधार कर सकते हैं, लेकिन पूर्व-प्रसंस्करण समय में वृद्धि कर सकते हैं; और रेंज, जो उन छवियों की संख्या निर्धारित करता है जिन्हें 'होस्ट' छवि में चिपकाया जाएगा।

उत्तरार्द्ध के संबंध में, पेपर नोट करता है 'हमें ऐसा करने के लिए पर्याप्त अवरोध की आवश्यकता है, फिर भी बहुत अधिक नहीं क्योंकि वे छवि को अत्यधिक अव्यवस्थित कर सकते हैं, जो सीखने के लिए हानिकारक हो सकता है।'

OC&P के लिए अन्य दो नवाचार हैं लक्षित चिपकाना और संवर्धित उदाहरण चिपकाना.

लक्षित चिपकाने से यह सुनिश्चित होता है कि एक उपयुक्त छवि लक्ष्य छवि में मौजूदा उदाहरण के निकट आती है। पिछले दृष्टिकोण में, पिछले कार्य से, नए तत्व को संदर्भ पर विचार किए बिना, केवल छवि की सीमाओं के भीतर ही सीमित किया गया था।

यद्यपि यह 'पेस्ट इन', लक्षित पेस्टिंग के साथ, मानव आंखों के लिए स्पष्ट है, OC&P और इसके पूर्ववर्ती दोनों ने पाया है कि बढ़ी हुई दृश्य प्रामाणिकता आवश्यक रूप से महत्वपूर्ण नहीं है, और यहां तक ​​कि एक दायित्व भी हो सकता है (नीचे 'रियलिटी बाइट्स' देखें)।

दूसरी ओर, संवर्धित उदाहरण चिपकाने से यह सुनिश्चित होता है कि चिपकाए गए उदाहरण 'विशिष्ट रूप' प्रदर्शित नहीं करते हैं जो सिस्टम द्वारा किसी तरह से वर्गीकृत किए जा सकते हैं, जिससे बहिष्करण या 'विशेष उपचार' हो सकता है जो सामान्यीकरण और प्रयोज्यता में बाधा उत्पन्न कर सकता है। . संवर्धित पेस्टिंग अन्य कारकों के अलावा चमक और तीक्ष्णता, स्केलिंग और रोटेशन, और संतृप्ति जैसे दृश्य कारकों को नियंत्रित करती है।

नए पेपर के लिए पूरक सामग्री से: मौजूदा मान्यता ढांचे में OC&P को जोड़ना काफी मामूली है, और इसके परिणामस्वरूप बहुत करीबी दायरे में लोगों का बेहतर व्यक्तिगतकरण होता है। स्रोत: https://arxiv.org/src/2210.03686v1/anc/OcclutionCopyPaste_Sdependent.pdf

इसके अतिरिक्त, OC&P एक को नियंत्रित करता है न्यूनतम आकार किसी भी चिपकाए गए उदाहरण के लिए. उदाहरण के लिए, एक विशाल भीड़ वाले दृश्य से एक व्यक्ति की छवि निकालना संभव हो सकता है, जिसे किसी अन्य छवि में चिपकाया जा सकता है - लेकिन ऐसे मामले में, शामिल पिक्सेल की छोटी संख्या संभवतः पहचान में मदद नहीं करेगी। इसलिए सिस्टम लक्ष्य छवि के लिए समान पार्श्व लंबाई के अनुपात के आधार पर न्यूनतम पैमाना लागू करता है।

इसके अलावा, OC&P स्केल-अवेयर पेस्टिंग की स्थापना करता है, जहां, पेस्ट विषय के समान विषयों की तलाश करने के अलावा, यह लक्ष्य छवि में बाउंडिंग बॉक्स के आकार को भी ध्यान में रखता है। हालाँकि, इससे ऐसी समग्र छवियां नहीं बनती हैं जिन्हें लोग प्रशंसनीय या यथार्थवादी मानते हैं (नीचे छवि देखें), बल्कि शब्दार्थ रूप से उपयुक्त तत्वों को एक-दूसरे के करीब ऐसे तरीकों से इकट्ठा करते हैं जो प्रशिक्षण के दौरान सहायक होते हैं।

हकीकत के काटने

पिछला कार्य जिस पर OC&P आधारित है, और वर्तमान कार्यान्वयन, दोनों प्रामाणिकता, या किसी भी अंतिम 'मॉन्टेज्ड' छवि की 'फोटोरियलिटी' पर कम प्रीमियम रखते हैं। हालाँकि यह महत्वपूर्ण है कि अंतिम असेंबली पूरी तरह से न घटे दादावाद (अन्यथा प्रशिक्षित प्रणालियों की वास्तविक दुनिया की तैनाती कभी भी ऐसे दृश्यों में तत्वों का सामना करने की उम्मीद नहीं कर सकती है जिस पर उन्हें प्रशिक्षित किया गया था), दोनों पहलों में पाया गया है कि 'दृश्य विश्वसनीयता' में उल्लेखनीय वृद्धि न केवल पूर्व-प्रसंस्करण समय को बढ़ाती है, बल्कि इस तरह के 'यथार्थवाद संवर्द्धन' वास्तव में प्रति-उत्पादक होने की संभावना है।

नए पेपर की पूरक सामग्री से: 'यादृच्छिक सम्मिश्रण' के साथ संवर्धित छवियों के उदाहरण। हालाँकि ये दृश्य किसी व्यक्ति को मतिभ्रम पैदा करने वाले लग सकते हैं, फिर भी उनमें समान विषय एक साथ रखे गए हैं; हालांकि अवरोध मानव आंखों के लिए काल्पनिक हैं, संभावित अवरोध की प्रकृति को पहले से नहीं जाना जा सकता है, और इसके लिए प्रशिक्षित करना असंभव है - इसलिए, इस तरह के विचित्र 'कट ऑफ' प्रशिक्षित प्रणाली को खोजने के लिए मजबूर करने के लिए पर्याप्त हैं दृश्यों को अधिक प्रशंसनीय बनाने के लिए विस्तृत फ़ोटोशॉप-शैली पद्धतियों को विकसित करने की आवश्यकता के बिना, आंशिक लक्ष्य विषयों को पहचानें और पहचानें।

डेटा और परीक्षण

परीक्षण चरण के लिए, सिस्टम को प्रशिक्षित किया गया था व्यक्ति की कक्षा एमएस कोको डेटासेट, जिसमें 262,465 छवियों में मनुष्यों के 64,115 उदाहरण शामिल हैं। हालाँकि, MS COCO की तुलना में बेहतर गुणवत्ता वाले मास्क प्राप्त करने के लिए, चित्र भी प्राप्त हुए एलवीआईएस मुखौटा एनोटेशन.

2019 में जारी, फेसबुक अनुसंधान से एलवीआईएस, बड़े शब्दावली उदाहरण विभाजन के लिए एक बड़ा डेटासेट है। स्रोत: https://arxiv.org/pdf/1908.03195.pdf

यह मूल्यांकन करने के लिए कि संवर्धित प्रणाली बड़ी संख्या में अवरुद्ध मानव छवियों का कितनी अच्छी तरह मुकाबला कर सकती है, शोधकर्ताओं ने OC&P को इसके विरुद्ध रखा। OCHमानव (बाधित मानव) बेंचमार्क।

OCHuman डेटासेट के उदाहरण, 2 में Pose2018Seg डिटेक्शन प्रोजेक्ट के समर्थन में पेश किए गए। इस पहल ने लोगों के शरीर का प्रतिनिधित्व करने वाले पिक्सल के लिए सिमेंटिक डिलीमीटर के रूप में उनके रुख और मुद्रा का उपयोग करके बेहतर सिमेंटिक विभाजन प्राप्त करने की मांग की।  स्रोत: https://github.com/liruilong940607/OCHumanApi

चूंकि OCHuman बेंचमार्क को विस्तृत रूप से एनोटेट नहीं किया गया है, इसलिए नए पेपर के शोधकर्ताओं ने केवल उन उदाहरणों का एक उपसमूह बनाया, जिन्हें पूरी तरह से लेबल किया गया था, जिसका शीर्षक OCHuman था।^FL. इससे इनकी संख्या कम हो गयी व्यक्ति सत्यापन के लिए 2,240 छवियों में से 1,113 उदाहरण, और 1,923 वास्तविक छवियों में 951 उदाहरण परीक्षण के लिए उपयोग किए गए। मूल मीट्रिक के रूप में मीन एवरेज प्रिसिजन (एमएपी) का उपयोग करते हुए, मूल और नव-क्यूरेटेड दोनों सेटों का परीक्षण किया गया।

स्थिरता के लिए, वास्तुकला का गठन किया गया था मास्क आर-सीएनएन ResNet-50 बैकबोन और a के साथ फ़ीचर पिरामिड नेटवर्क, बाद वाला सटीकता और प्रशिक्षण गति के बीच एक स्वीकार्य समझौता प्रदान करता है।

शोधकर्ताओं ने अपस्ट्रीम के हानिकारक प्रभाव को नोट किया है IMAGEnet समान स्थितियों में प्रभाव, फेसबुक के 4 रिलीज के आरंभीकरण मापदंडों का पालन करते हुए, पूरे सिस्टम को 100 युगों के लिए 75 NVIDIA V2021 GPU पर शुरू से प्रशिक्षित किया गया था डिटेक्टर 2.

परिणाम

उपर्युक्त परिणामों के अतिरिक्त, आधारभूत परिणाम विपरीत हैं एमएमडिटेक्शन परीक्षणों के लिए (और इसके तीन संबद्ध मॉडल) ने जटिल स्थितियों से मनुष्यों को बाहर निकालने की क्षमता में OC&P की स्पष्ट बढ़त का संकेत दिया।

बेहतर प्रदर्शन करने के अलावा पोसेग और पोज़2सेगशायद पेपर की सबसे उत्कृष्ट उपलब्धियों में से एक यह है कि सिस्टम को मौजूदा ढांचे पर काफी सामान्य रूप से लागू किया जा सकता है, जिसमें परीक्षणों में इसके खिलाफ खड़ा किया गया था (पहले परिणाम बॉक्स में तुलना के साथ/बिना तुलना के शुरुआत के पास देखें) लेख)।

पेपर का निष्कर्ष है:

'हमारे दृष्टिकोण का एक प्रमुख लाभ यह है कि इसे किसी भी मॉडल या अन्य मॉडल-केंद्रित सुधारों के साथ आसानी से लागू किया जाता है। जिस गति से गहन शिक्षण क्षेत्र आगे बढ़ता है, उसे देखते हुए ऐसे दृष्टिकोण अपनाना सभी के लिए फायदेमंद है जो प्रशिक्षण के हर दूसरे पहलू के साथ अत्यधिक अंतरसंचालित हों। हम अवरुद्ध व्यक्ति उदाहरण विभाजन को प्रभावी ढंग से हल करने के लिए इसे मॉडल-केंद्रित सुधारों के साथ एकीकृत करने के लिए भविष्य के काम के रूप में छोड़ रहे हैं।'

टेक्स्ट-टू-इमेज संश्लेषण में सुधार की संभावना

प्रमुख लेखक इवान लिंग ने, हमें भेजे एक ईमेल में* कहा कि OC&P का मुख्य लाभ यह है कि यह मूल मास्क लेबल को बनाए रख सकता है और एक नए संदर्भ में 'मुफ़्त में' उनसे नया मूल्य प्राप्त कर सकता है - यानी, जो छवियां वे हैं में चिपकाया गया.

यद्यपि मनुष्यों का शब्दार्थ विभाजन उस कठिनाई से निकटता से संबंधित प्रतीत होता है जो स्टेबल डिफ्यूजन जैसे मॉडलों में लोगों को अलग-अलग करने में होती है ('उन्हें एक साथ मिलाने के बजाय', जैसा कि अक्सर होता है), कोई भी प्रभाव जो शब्दार्थ लेबलिंग संस्कृति का बुरे सपने वाले मानव के साथ हो सकता है प्रस्तुत करता है कि SD और DALL-E 2 का आउटपुट अक्सर बहुत, बहुत दूर अपस्ट्रीम होता है।

अरबों की संख्या लियोन 5बी स्टेबल डिफ्यूजन की जेनरेटिव पावर को पॉप्युलेट करने वाली सबसेट छवियों में ऑब्जेक्ट-स्तरीय लेबल जैसे बाउंडिंग बॉक्स और इंस्टेंस मास्क शामिल नहीं होते हैं, भले ही सीएलआईपी आर्किटेक्चर जो छवियों और डेटाबेस सामग्री से रेंडर तैयार करता है, ऐसे इंस्टेंशियेशन से किसी बिंदु पर लाभान्वित हो सकता है; बल्कि, LAION छवियों को 'मुक्त' के रूप में लेबल किया गया है, क्योंकि उनके लेबल मेटाडेटा और पर्यावरण कैप्शन आदि से प्राप्त किए गए थे, जो छवियों से जुड़े थे जब उन्हें वेब से डेटासेट में स्क्रैप किया गया था।

'लेकिन वह अलग,' लिंग ने हमें बताया। 'टेक्स्ट-टू-इमेज जेनरेटर मॉडल प्रशिक्षण के दौरान हमारे OC&P के समान कुछ प्रकार के संवर्द्धन का उपयोग किया जा सकता है। लेकिन मुझे लगता है कि संवर्धित प्रशिक्षण छवि का यथार्थवाद संभवतः एक मुद्दा बन सकता है।

'हमारे काम में, हम दिखाते हैं कि पर्यवेक्षित उदाहरण विभाजन के लिए आम तौर पर 'संपूर्ण' यथार्थवाद की आवश्यकता नहीं होती है, लेकिन मुझे पूरा यकीन नहीं है कि टेक्स्ट-टू-इमेज जेनरेटर मॉडल प्रशिक्षण के लिए एक ही निष्कर्ष निकाला जा सकता है (विशेषकर जब उनके आउटपुट अत्यधिक यथार्थवादी होने की उम्मीद है)। इस मामले में, संवर्धित छवियों के 'संपूर्ण' यथार्थवाद के संदर्भ में अधिक काम करने की आवश्यकता हो सकती है।'

क्लिप है पहले से ही उपयोग किया जा रहा है सिमेंटिक सेगमेंटेशन के लिए एक संभावित मल्टीमॉडल टूल के रूप में, सुझाव दिया गया है कि बेहतर व्यक्ति पहचान और OC&P जैसे व्यक्तिगतकरण सिस्टम को अंततः इन-सिस्टम फिल्टर या क्लासिफायर में विकसित किया जा सकता है जो मनमाने ढंग से 'फ़्यूज्ड' और विकृत मानव प्रतिनिधित्व को अस्वीकार कर देगा - एक ऐसा कार्य जिसे प्राप्त करना कठिन है वर्तमान में स्टेबल डिफ्यूजन के साथ, क्योंकि इसमें यह समझने की सीमित क्षमता है कि उसने कहां गलती की है (यदि इसमें ऐसी क्षमता होती, तो शायद यह पहली बार में गलती नहीं करता)।

सिमेंटिक सेगमेंटेशन के लिए वर्तमान में ओपनएआई के सीएलआईपी फ्रेमवर्क - डीएएलएल-ई 2 और स्टेबल डिफ्यूजन का केंद्र - का उपयोग करने वाली कई परियोजनाओं में से एक। स्रोत: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

'एक और सवाल होगा,' लिंग सुझाव देते हैं। 'क्या "मानव संलयन" के मुद्दे को कम करने के लिए पूरक मॉडल वास्तुकला डिजाइन के बिना, प्रशिक्षण कार्य के दौरान इन जनरेटिव मॉडलों को बंद किए गए मनुष्यों की छवियों को फीड किया जाएगा? यह संभवतः एक ऐसा प्रश्न है जिसका उत्तर देना कठिन है। यह देखना निश्चित रूप से दिलचस्प होगा कि हम टेक्स्ट-टू-इमेज जेनरेटर मॉडल प्रशिक्षण के दौरान कुछ प्रकार के इंस्टेंस-स्तरीय मार्गदर्शन (इंस्टेंस मास्क जैसे इंस्टेंस-स्तरीय लेबल के माध्यम से) कैसे प्राप्त कर सकते हैं।'

* 10 अक्टूबर 2022

पहली बार 10 अक्टूबर 2022 को प्रकाशित।