उच्च रिज़ॉल्यूशन इमेज को मशीन लर्निंग के साथ डाउनसाइज़ करना

यूके से नए शोध में एक सुधारित मशीन लर्निंग विधि प्रस्तावित की गई है जो छवियों को बदलने के लिए, छवि सामग्री के विभिन्न भागों के संदेहित मूल्य के आधार पर, न कि सभी पिक्सेल के लिए आयाम (और इसलिए गुणवत्ता और निकाली जा सकने वाली विशेषताओं) को असभ्य रूप से कम करने के लिए।

एआई-चालित संपीड़न प्रणालियों में बढ़ती रुचि के हिस्से के रूप में, यह एक ऐसा दृष्टिकोण है जो अंततः सामान्य छवि संपीड़न के लिए नए कोडेक्स को सूचित कर सकता है, हालांकि काम स्वास्थ्य इमेजिंग से प्रेरित है, जहां उच्च-रिज़ॉल्यूशन चिकित्सा छवियों का मनमाना डाउनसैंपलिंग जीवन रक्षक जानकारी के नुकसान का कारण बन सकता है।

नई प्रणाली का प्रतिनिधित्वात्मक वास्तुकला। इंटरस्टिशियल विकृति मॉड्यूल एक विकृति मानचित्र का उत्पादन करता है जो छवि में रुचि के क्षेत्रों के अनुरूप होता है। लाल बिंदुओं की घनत्व और दिशा इन क्षेत्रों को इंगित करती है। मानचित्र का उपयोग न केवल डाउनसैंपलिंग के लिए किया जाता है, बल्कि जब छवि सामग्री गैर-सरवोत्तम रूप से पुनः बढ़ाई जाती है तो प्राथमिक-रुचि क्षेत्रों को पुनर्निर्माण के लिए भी किया जाता है। स्रोत: https://arxiv.org/pdf/2109.11071.pdf

सिस्टम छवियों पर सेमेंटिक सेगमेंटेशन लागू करता है – व्यापक ब्लॉक, जो छवि में मान्यता प्राप्त संस्थाओं को शामिल करते हैं, जैसे कि ‘सड़क’, ‘बाइक’, ‘लेसियन’, आदि। सेमेंटिक सेगमेंटेशन मानचित्रों की व्यवस्था तब उन हिस्सों की गणना करने के लिए उपयोग की जाती है जो फोटो में अत्यधिक डाउनसैंपल नहीं किए जाने चाहिए।

कंप्यूटर विजन ट्रेनिंग का (काफी हद तक) कम-रिज़ॉल्यूशन वाला दुनिया

कंप्यूटर विजन सिस्टम का प्रशिक्षण जीपीयू की क्षमता से काफी हद तक सीमित है। डेटासेट में कई हजारों छवियां हो सकती हैं जिनसे विशेषताओं को निकालने की आवश्यकता होती है, लेकिन यहां तक कि औद्योगिक-दायरे के जीपीयू भी 24GB के VRAM पर चोटी पर पहुंच जाते हैं, जिसमें जारी कमी उपलब्धता और लागत को प्रभावित कर रही है।

इसका मतलब है कि डेटा को जीपीयू के सीमित टेंसर कोर के माध्यम से प्रबंधनीय बैचों में खिलाया जाना चाहिए, जिसमें 8-16 छवियां अक्सर कंप्यूटर विजन प्रशिक्षण कार्य प्रवाह की विशेषता होती हैं।

कुछ स्पष्ट समाधान नहीं हैं: यहां तक कि अगर वीआरएएम असीमित होता और सीपीयू आर्किटेक्चर जीपीयू से उस तरह के थ्रूपुट को संभाल सकता था, तो बहुत उच्च बैच आकार विस्तृत परिवर्तनों की लागत पर उच्च-स्तरीय विशेषताओं को प्राप्त करने की प्रवृत्ति रखते हैं जो अंतिम एल्गोरिदम की उपयोगिता के लिए महत्वपूर्ण हो सकते हैं।

इनपुट छवियों का रिज़ॉल्यूशन बढ़ाने से यह मतलब होगा कि आपको ‘लेटेंट स्पेस’ में डेटा फिट करने के लिए छोटे बैच आकार का उपयोग करना होगा, जो इसके विपरीत, एक मॉडल का उत्पादन करने की संभावना है जो ‘विचित्र’ और ओवरफिट है।

न तो अतिरिक्त जीपीयू जोड़ने में मदद मिलती है, कम से कम सबसे आम आर्किटेक्चर में: जबकि मल्टी-जीपीयू सेटअप प्रशिक्षण समय को तेज कर सकते हैं, वे प्रशिक्षण परिणामों की अखंडता को भी समझौता कर सकते हैं, जैसे कि दो सटे फैक्ट्रियां एक ही उत्पाद पर काम कर रही हों, केवल एक फोन लाइन के साथ उनके प्रयासों का समन्वय करने के लिए।

बुद्धिमानी से आकार बदली हुई छवियां

क्या बचा है कि कंप्यूटर विजन डेटासेट के एक典型 छवि के सबसे प्रासंगिक खंड, नए तरीके से, स्वचालित रूप से आकार बदलने में संरक्षित किए जा सकते हैं जब बहुत उच्च-रिज़ॉल्यूशन वाली छवियों को एमएल पाइपलाइन में फिट करने के लिए डाउनस्केल किया जाना चाहिए।

यह मशीन लर्निंग डेटासेट में लॉसी आर्टिफैक्ट्स की समस्या से एक अलग चुनौती है, जहां गुणवत्ता स्वचालित रूप से आकार बदलने वाली पाइपलाइनों में खो जाती है क्योंकि संपीड़न कोडेक बहुत अधिक (आमतौर पर अप्राप्य) जानकारी फेंक देता है।

इसके बजाय, इस मामले में, यहां तक कि एक लॉसलेस छवि प्रारूप (जैसे कि एलZW संपीड़न के साथ PNG) में बचाने से भी उन जानकारी को पुनर्प्राप्त नहीं किया जा सकता है जो सामान्य रूप से आकार बदलने (जैसे कि चुंबकीय अनुनाद इमेजिंग (एमआरआई) स्कैन) को कम करने पर त्याग दिया जाता है। अक्सर रिकॉर्ड तोड़ने वाले आयामों से 256×256 या 512×512 पिक्सेल रिज़ॉल्यूशन तक।

चीजों को और खराब बनाने के लिए, डेटा प्रोसेसिंग कार्य के रूप में, वर्गाकार स्रोत छवियों में अक्सर न्यूरल नेटवर्क प्रोसेसिंग के लिए वास्तविक वर्गाकार इनपुट प्रारूप का उत्पादन करने के लिए काले सीमाएं जोड़ी जाती हैं, जिससे संभावित रूप से महत्वपूर्ण डेटा के लिए उपलब्ध स्थान कम हो जाता है।

यूसीएल और माइक्रोसॉफ्ट के शोधकर्ता इसके बजाय आकार बदलने की प्रक्रिया को अधिक बुद्धिमान बनाने का प्रस्ताव करते हैं, पाइपलाइन में जो हमेशा एक सामान्य चरण रहा है, को रुचि के क्षेत्रों को उजागर करने के लिए प्रभावी ढंग से उपयोग करना, जो अंततः छवियों से गुजरेंगे, मशीन लर्निंग प्रणाली से कुछ व्याख्यात्मक भार को ऑफलोड करके।

विधि, शोधकर्ताओं का दावा है, 2019 की पेशकश (नीचे दी गई छवि) पर सुधार करती है जिसने वस्तुओं की सीमाओं पर गुणवत्ता-ध्यान केंद्रित करने के लिए समान लाभ प्राप्त करने का प्रयास किया था।

मारिन और अन्य, 2019 से ‘कुशल सेगमेंटेशन: लर्निंग डाउनसैंपलिंग नियर सेमेंटिक बाउंडरीज’। स्रोत: https://arxiv.org/pdf/1907.07156.pdf

जैसा कि नए काम में उल्लेख किया गया है, यह दृष्टिकोण यह मानता है कि रुचि के क्षेत्र सीमाओं पर एकत्र होते हैं, जबकि चिकित्सा इमेजिंग के उदाहरण, जैसे कि कैंसर क्षेत्रों की टिप्पणी, उच्च-स्तरीय संदर्भ पर निर्भर करते हैं और छवि में व्यापक क्षेत्रों के भीतर आसानी से त्यागी जाने वाली विवरण के रूप में दिखाई दे सकते हैं, सीमाओं पर नहीं।

सीखने योग्य डाउनसैंपलर

नई शोध एक सीखने योग्य डाउनसैंपलर का प्रस्ताव करती है जिसे एक विकृति मॉड्यूल कहा जाता है, जो एक समांतर सेगमेंटेशन मॉड्यूल के साथ संयुक्त रूप से प्रशिक्षित किया जाता है, और इसलिए सेमेंटिक सेगमेंटेशन द्वारा पहचाने गए रुचि के क्षेत्रों के बारे में सूचित किया जा सकता है, और डाउनसैंपलिंग प्रक्रिया के दौरान उन्हें प्राथमिकता दे सकता है।

लेखकों ने सिस्टम का परीक्षण कई लोकप्रिय डेटासेट पर किया, जिनमें सिटीस्केप्स, डीपग्लोब और एक स्थानीय प्रोस्टेट कैंसर हिस्टोलॉजी डेटासेट, ‘पीसीए-हिस्टो’ शामिल हैं।

तीन दृष्टिकोण: बाएं, मौजूदा ‘सामान्य’ डाउनसैंपलिंग; मध्य में, 2019 के पेपर से ‘अनुकूल सीमा’ दृष्टिकोण; दाएं, नई प्रणाली के पीछे की वास्तुकला, एक सेमेंटिक सेगमेंटेशन परत में इकाई पहचान से सूचित।

एक समान दृष्टिकोण को 2019 में प्रस्तावित एक वर्गीकारक के लिए भी आजमाया गया था, लेकिन वर्तमान पेपर के लेखकों का तर्क है कि यह विधि चिकित्सा इमेजिंग संदर्भ में महत्वपूर्ण क्षेत्रों को याद करने के लिए पर्याप्त रूप से क्षेत्रों के जोर को नियमित नहीं करती है।

परिणाम

नई प्रणाली में विकृति मॉड्यूल एक छोटा सा कनवोल्यूशनल न्यूरल नेटवर्क (सीएनएन) है, जबकि सेगमेंटेशन परत एक गहरी सीएनएन वास्तुकला है जो एचआरनेटवी2-डब्ल्यू48 को नियोजित करती है। पाइरामिड दृश्य पार्सिंग नेटवर्क (पीएसपी-नेट) का उपयोग सिटीस्केप्स परीक्षणों के लिए एक सैनिटी चेक परत के रूप में किया गया था।

उपरोक्त डेटासेट का परीक्षण नए फ्रेमवर्क के साथ किया गया, जिसमें सामान्य रीसैंपलिंग (मानक विधि), 2019 की अनुकूल सीमा विधि और सेमेंटिक सेगमेंटेशन का लाभ उठाने वाला नया दृष्टिकोण शामिल था।

लेखकों का कहना है कि नई विधि में ‘स्पष्ट लाभ दिखाई देता है जो सबसे अधिक नैदानिक रूप से महत्वपूर्ण वर्गों की पहचान और विभेदन करने में’, 15-20% की सटीकता में वृद्धि के साथ। वे आगे观察 करते हैं कि इन वर्गों के बीच की दूरी अक्सर ‘स्वस्थ से कैंसर तक की सीमा’ के रूप में परिभाषित की जाती है।

तीन विधियों के साथ वर्ग-वार इंटरसेक्शन ओवर यूनियन (आईओयू) विश्लेषण: बाएं, मानक रीसैंपलिंग; मध्य, अनुकूल सीमा; और दाएं, नया दृष्टिकोण। सिटीस्केप्स को केवल 64 x 128 तक डाउनसैंपल किया गया था, पीसीए-हिस्टो 80 x 800 तक, और डीपग्लोब 300 पिक्सेल वर्ग तक।

रिपोर्ट में कहा गया है कि उनकी विधि ‘एक डाउनसैंपलिंग रणनीति सीख सकती है, बेहतर तरीके से जानकारी को संरक्षित कर सकती है और एक बेहतर व्यापार-बंद करने में सक्षम बना सकती है’, निष्कर्ष निकालते हुए कि नई फ्रेमवर्क ‘डाउनसैंपलिंग पर पिक्सेल के सीमित बजट में कहाँ ‘निवेश’ करने के लिए सीख सकता है ताकि सेगमेंटेशन सटीकता में उच्चतम समग्र रिटर्न प्राप्त किया जा सके’।

इस फीचर की मुख्य छवि thispersondoesnotexist.com से सourced थी। 3:35pm GMT+2 को पाठ त्रुटि के लिए अद्यतन किया गया।