कंप्यूटर विज़न डेटासेट में JPEG विरूपण साक्ष्य समस्या का समाधान

मैरीलैंड विश्वविद्यालय और फेसबुक एआई के एक नए अध्ययन में गहन शिक्षण प्रणालियों के लिए 'महत्वपूर्ण प्रदर्शन जुर्माना' पाया गया है जो अपने डेटासेट में अत्यधिक संपीड़ित जेपीईजी छवियों का उपयोग करते हैं, और इसके प्रभावों को कम करने के लिए कुछ नए तरीके पेश करते हैं।

RSI रिपोर्ट, शीर्षक गहन शिक्षण में जेपीईजी संपीड़न दोषों का विश्लेषण और निवारण, कंप्यूटर विज़न डेटासेट के प्रशिक्षण में कलाकृतियों के प्रभावों पर पिछले अध्ययनों की तुलना में 'काफी अधिक व्यापक' होने का दावा करता है। पेपर में पाया गया है कि '[भारी] से मध्यम जेपीईजी संपीड़न मानक मेट्रिक्स पर एक महत्वपूर्ण प्रदर्शन जुर्माना लगाता है', और यह कि तंत्रिका नेटवर्क शायद पिछले काम की तरह इस तरह की गड़बड़ी के प्रति लचीले नहीं हैं। पता चलता है.

2018 MobileNetV2 डेटासेट से एक कुत्ते की तस्वीर। गुणवत्ता 10 (बाएं) पर, वर्गीकरण प्रणाली सही नस्ल 'पेम्ब्रोक वेल्श कोर्गी' की पहचान करने में विफल रहती है, इसके बजाय 'नॉर्विच टेरियर' का अनुमान लगाती है (सिस्टम पहले से ही जानता है कि यह कुत्ते की तस्वीर है, लेकिन नस्ल नहीं); बाएं से दूसरा, छवि का एक ऑफ-द-शेल्फ जेपीईजी आर्टिफैक्ट-सही संस्करण फिर से सही नस्ल की पहचान करने में विफल रहता है; दाएं से दूसरा, लक्षित विरूपण साक्ष्य सुधार सही वर्गीकरण को पुनर्स्थापित करता है; और सही, मूल फ़ोटो, सही ढंग से वर्गीकृत। स्रोत: https://arxiv.org/pdf/2011.08932.pdf

'डेटा' के रूप में संपीड़न कलाकृतियाँ

अत्यधिक JPEG संपीड़न के चारों ओर दृश्यमान या अर्ध-दृश्यमान सीमाएँ बनने की संभावना है 8×8 ब्लॉक जिसमें से एक JPEG को एक पिक्सेल ग्रिड में असेंबल किया जाता है। एक बार जब ये अवरुद्ध या 'रिंगिंग' कलाकृतियाँ दिखाई देती हैं, तो मशीन लर्निंग सिस्टम द्वारा छवि के विषय के वास्तविक दुनिया के तत्वों के रूप में उनकी गलत व्याख्या किए जाने की संभावना होती है, जब तक कि इसके लिए कुछ मुआवजा नहीं दिया जाता है।

ऊपर, एक कंप्यूटर विज़न मशीन लर्निंग सिस्टम एक अच्छी गुणवत्ता वाली तस्वीर से एक 'स्वच्छ' ग्रेडिएंट छवि निकालता है। नीचे, छवि के निम्न-गुणवत्ता वाले सेव में कलाकृतियों को 'अवरुद्ध' करना विषय की विशेषताओं को अस्पष्ट करता है, और छवि सेट से प्राप्त सुविधाओं को 'संक्रमित' कर सकता है, विशेष रूप से ऐसे मामलों में जहां डेटासेट में उच्च और निम्न गुणवत्ता वाली छवियां होती हैं , जैसे कि वेब-स्क्रैप किए गए संग्रहों में जिनमें केवल सामान्य डेटा सफ़ाई लागू की गई है। स्रोत: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

जैसा कि ऊपर की पहली छवि में देखा गया है, ऐसी कलाकृतियाँ छवि वर्गीकरण कार्यों को प्रभावित कर सकती हैं, जिसका प्रभाव पाठ-पहचान एल्गोरिदम पर भी पड़ता है, जो कलाकृतियों से प्रभावित पात्रों की सही पहचान करने में विफल हो सकता है।

छवि संश्लेषण प्रशिक्षण प्रणालियों (जैसे कि डीपफेक सॉफ़्टवेयर या GAN-आधारित छवि निर्माण प्रणाली) के मामले में, डेटासेट में निम्न-गुणवत्ता, अत्यधिक संपीड़ित छवियों का एक 'दुष्ट' ब्लॉक या तो प्रजनन की औसत गुणवत्ता को नीचे खींच सकता है, या फिर सेट में बेहतर छवियों से निकाली गई अधिक संख्या में उच्च गुणवत्ता वाली सुविधाओं को शामिल किया जाना चाहिए और अनिवार्य रूप से ओवरराइड किया जाना चाहिए। किसी भी मामले में, बेहतर डेटा वांछनीय है - या, कम से कम, सुसंगत डेटा।

जेपीईजी - आमतौर पर 'बहुत अच्छा'

JPEG संपीड़न एक अपरिवर्तनीय रूप से हानिपूर्ण कोडेक है जिसे विभिन्न छवि प्रारूपों पर लागू किया जा सकता है, हालांकि यह मुख्य रूप से JFIF छवि फ़ाइल पर लागू होता है आवरण. इसके बावजूद, JPEG (.jpg) प्रारूप का नाम उससे संबंधित संपीड़न विधि के नाम पर रखा गया था, न कि छवि डेटा के लिए JFIF रैपर के नाम पर।

संपूर्ण मशीन लर्निंग आर्किटेक्चर हाल के वर्षों में उभरे हैं जिनमें एआई-संचालित अपस्केलिंग/रिस्टोरिंग रूटीन के हिस्से के रूप में जेपीईजी-शैली आर्टिफैक्ट शमन शामिल है, और एआई-आधारित संपीड़न आर्टिफैक्ट हटाने को अब कई वाणिज्यिक उत्पादों में शामिल किया गया है, जैसे पुखराज छवि/ वीडियो सूट, और तंत्रिका संबंधी विशेषताएं Adobe Photoshop के नवीनतम संस्करण।

के बाद से 1986 वर्तमान में आम उपयोग में आने वाली JPEG स्कीम को 1990 के दशक की शुरुआत में काफी हद तक बंद कर दिया गया था, किसी छवि में मेटाडेटा जोड़ना संभव नहीं है जो इंगित करेगा कि JPEG छवि किस गुणवत्ता स्तर (1-100) पर सहेजी गई थी - कम से कम, संशोधित किए बिना नहीं। तीस वर्षों की विरासती उपभोक्ता, पेशेवर और अकादमिक सॉफ़्टवेयर प्रणालियाँ जो इस तरह के मेटाडेटा उपलब्ध होने की उम्मीद नहीं कर रही थीं।

नतीजतन, जेपीईजी छवि डेटा की मूल्यांकन या ज्ञात गुणवत्ता के लिए मशीन लर्निंग प्रशिक्षण दिनचर्या को तैयार करना असामान्य नहीं है, जैसा कि शोधकर्ताओं ने नए पेपर के लिए किया है (नीचे देखें)। 'गुणवत्ता' मेटाडेटा प्रविष्टि की अनुपस्थिति में, वर्तमान में यह जानना आवश्यक है कि छवि को कैसे संपीड़ित किया गया था (यानी दोषरहित स्रोत से संपीड़ित किया गया था), या अवधारणात्मक एल्गोरिदम या मैन्युअल वर्गीकरण के माध्यम से गुणवत्ता का अनुमान लगाया गया था।

एक आर्थिक समझौता

JPEG एकमात्र हानिपूर्ण संपीड़न विधि नहीं है जो मशीन लर्निंग डेटासेट की गुणवत्ता को प्रभावित कर सकती है; पीडीएफ फाइलों में संपीड़न सेटिंग्स भी इस तरह से जानकारी को हटा सकती हैं, और स्थानीय या नेटवर्क अभिलेखीय उद्देश्यों के लिए डिस्क स्थान को बचाने के लिए बहुत कम गुणवत्ता के स्तर पर सेट की जा सकती हैं।

इसे Archive.org पर विभिन्न पीडीएफ का नमूना लेकर देखा जा सकता है, जिनमें से कुछ को इतनी भारी मात्रा में संपीड़ित किया गया है कि छवि या पाठ पहचान प्रणालियों के लिए एक उल्लेखनीय चुनौती बन गई है। कई मामलों में, जैसे कि कॉपीराइट की गई किताबें, इस तीव्र संपीड़न को सस्ते डीआरएम के रूप में लागू किया गया लगता है, उसी तरह कॉपीराइट धारक उपयोगकर्ता द्वारा अपलोड किए गए यूट्यूब वीडियो के रिज़ॉल्यूशन को कम करने का विकल्प चुन सकते हैं, जिस पर उनके पास आईपी है, 'पूर्ण रिज़ॉल्यूशन' खरीदारी को प्रेरित करने के लिए 'ब्लॉकी' वीडियो को प्रचार टोकन के रूप में छोड़ दें, न कि उन्हें हटा दें।

कई अन्य मामलों में, रिज़ॉल्यूशन या छवि गुणवत्ता केवल इसलिए कम है क्योंकि डेटा बहुत पुराना है, और उस युग से है जब स्थानीय और नेटवर्क भंडारण अधिक महंगा था, और जब सीमित नेटवर्क गति उच्च गुणवत्ता वाले पुनरुत्पादन की तुलना में अत्यधिक अनुकूलित और पोर्टेबल छवियों को पसंद करती थी। .

यह तर्क दिया गया है कि JPEG, हालांकि सबसे अच्छा समाधान नहीं है अभी, 'प्रतिष्ठित' किया गया है अपरिवर्तनीय विरासत बुनियादी ढांचे के रूप में जो अनिवार्य रूप से इंटरनेट की नींव के साथ जुड़ा हुआ है।

विरासत का बोझ

हालाँकि बाद में JPEG 2000, PNG और (हाल ही में) .webp प्रारूप जैसे नवाचार बेहतर गुणवत्ता प्रदान करते हैं, पुराने, अत्यधिक लोकप्रिय मशीन लर्निंग डेटासेट का पुन: नमूनाकरण यकीनन साल-दर-साल कंप्यूटर विज़न चुनौतियों की निरंतरता और इतिहास को 'रीसेट' कर देगा। शैक्षणिक समुदाय में - एक बाधा जो उच्च गुणवत्ता सेटिंग्स पर पीएनजी डेटासेट छवियों को सहेजने के मामले में भी लागू होगी। इसे एक तरह का तकनीकी कर्ज माना जा सकता है.

जबकि सम्मानित सर्वर-संचालित छवि प्रसंस्करण लाइब्रेरी जैसे कि ImageMagick .webp सहित बेहतर प्रारूपों का समर्थन करती है, छवि परिवर्तन की आवश्यकताएं अक्सर विरासत प्रणालियों में होती हैं जो JPG या PNG के अलावा किसी अन्य चीज़ के लिए सेट नहीं की जाती हैं (जो दोषरहित संपीड़न प्रदान करती है, लेकिन इसकी कीमत पर) विलंबता और डिस्क स्थान)। यहां तक ​​कि वर्डप्रेस, सीएमएस पावरिंग भी सभी वेबसाइटों का लगभग 40%, केवल .webp समर्थन जोड़ा गया तीन महीने पहले.

पीएनजी छवि प्रारूप क्षेत्र में देर से (यकीनन बहुत देर से) प्रवेश था, जो 1990 के दशक के उत्तरार्ध में एक खुले स्रोत समाधान के रूप में सामने आया था। 1995 की घोषणा यूनिसिस और कंप्यूसर्व द्वारा कि रॉयल्टी अब GIF फ़ाइलों में उपयोग किए जाने वाले LZW संपीड़न प्रारूप पर देय होगी, जो आमतौर पर लोगो और फ्लैट-रंग तत्वों के लिए उपयोग किया जाता था, भले ही प्रारूप का मृतोत्थान 2010 की शुरुआत में कम-बैंडविड्थ, तेज़ एनिमेटेड सामग्री प्रदान करने की इसकी क्षमता पर ध्यान केंद्रित किया गया (विडंबना यह है कि एनिमेटेड पीएनजी को कभी भी लोकप्रियता या व्यापक समर्थन नहीं मिला, और यहां तक ​​कि थे भी) ट्विटर से प्रतिबंधित 2019 में)।

अपनी कमियों के बावजूद, JPEG संपीड़न त्वरित, स्थान-कुशल और सभी प्रकार की प्रणालियों में गहराई से अंतर्निहित है - और इसलिए निकट भविष्य में मशीन सीखने के दृश्य से पूरी तरह से गायब होने की संभावना नहीं है।

एआई/जेपीईजी डिटेन्टे का सर्वोत्तम उपयोग करना

एक हद तक, मशीन सीखने वाले समुदाय ने खुद को जेपीईजी संपीड़न की खामियों के साथ समायोजित कर लिया है: 2011 में यूरोपियन सोसाइटी ऑफ रेडियोलॉजी (ईएसआर) ने एक प्रकाशित किया था। अध्ययन 'रेडियोलॉजिकल इमेजिंग में अपरिवर्तनीय छवि संपीड़न की उपयोगिता' पर, 'स्वीकार्य' हानि के लिए दिशानिर्देश प्रदान करना; जब आदरणीय Mnist पाठ पहचान डेटासेट (जिसका छवि डेटा मूल रूप से एक नवीन बाइनरी प्रारूप में आपूर्ति किया गया था) को 'नियमित' छवि प्रारूप में पोर्ट किया गया था, जेपीईजी, पीएनजी नहीं, चुना हुआ; और नए पेपर के लेखकों की ओर से पहले (2020) सहयोग की पेशकश की गई 'एक नवीन वास्तुकला' प्रत्येक जेपीईजी गुणवत्ता सेटिंग में मॉडलों को प्रशिक्षित करने की आवश्यकता के बिना, अलग-अलग जेपीईजी छवि गुणवत्ता की कमियों के लिए मशीन लर्निंग सिस्टम को कैलिब्रेट करने के लिए - नए काम में उपयोग की जाने वाली सुविधा।

दरअसल, गुणवत्ता-संस्करण जेपीईजी डेटा की उपयोगिता पर शोध मशीन लर्निंग में एक अपेक्षाकृत समृद्ध क्षेत्र है। वास्तव में, मैरीलैंड विश्वविद्यालय में सेंटर फॉर ऑटोमेशन रिसर्च से एक (असंबंधित) 2016 परियोजना DCT डोमेन पर केन्द्र (जहाँ JPEG कलाकृतियाँ निम्न गुणवत्ता सेटिंग्स पर होती हैं) गहन सुविधा निष्कर्षण के मार्ग के रूप में; 2019 से एक और परियोजना पर ध्यान केंद्रित किया गया है JPEG डेटा की बाइट-स्तरीय रीडिंग वास्तव में छवियों को डीकंप्रेस करने की समय लेने वाली आवश्यकता के बिना (यानी उन्हें स्वचालित वर्कफ़्लो में किसी बिंदु पर खोलें); और ए अध्ययन 2019 में फ्रांस से ऑब्जेक्ट रिकग्निशन रूटीन की सेवा में सक्रिय रूप से JPEG कम्प्रेशन का लाभ उठाया गया।

परीक्षण एवं निष्कर्ष

यूओएम और फेसबुक के नवीनतम अध्ययन पर लौटने के लिए, शोधकर्ताओं ने 10-90 के बीच संपीड़ित छवियों पर जेपीईजी की समझ और उपयोगिता का परीक्षण करने की मांग की (जिसके नीचे, छवि असंभव रूप से विकृत है, और जिसके ऊपर यह दोषरहित संपीड़न के बराबर है)। परीक्षणों में उपयोग की गई छवियों को लक्ष्य गुणवत्ता सीमा के भीतर प्रत्येक मूल्य पर पूर्व-संपीड़ित किया गया था, जिसमें कम से कम आठ प्रशिक्षण सत्र शामिल थे।

मॉडलों को चार तरीकों से स्टोकेस्टिक ग्रेडिएंट डिसेंट पर प्रशिक्षित किया गया: आधारभूत, जहां कोई अतिरिक्त शमन नहीं जोड़ा गया; फाइन-ट्यूनिंग का पर्यवेक्षण किया, जहां प्रशिक्षण सेट में पूर्व-प्रशिक्षित वजन और लेबल किए गए डेटा का लाभ होता है (हालांकि शोधकर्ता मानते हैं कि उपभोक्ता-स्तर के अनुप्रयोगों में इसे दोहराना कठिन है); विरूपण साक्ष्य सुधार, जहां प्रशिक्षण से पहले संपीड़ित छवियों पर संवर्द्धन/सुधार किया जाता है; और कार्य-लक्षित विरूपण साक्ष्य सुधार, जहां आर्टिफैक्ट सही नेटवर्क को लौटाई गई त्रुटियों पर ठीक किया जाता है।

प्रशिक्षण विभिन्न प्रकार के उपयुक्त डेटासेट पर हुआ, जिसमें ResNet के कई प्रकार शामिल हैं, फास्टआरसीएनएन, मोबाइलनेटवी२, मास्कआरसीएनएन और केरस' आरंभV3.

कार्य-लक्षित विरूपण साक्ष्य सुधार के बाद नमूना हानि परिणाम नीचे देखे गए हैं (कम = बेहतर)।

अध्ययन में प्राप्त परिणामों के विवरण में गहराई से जाना संभव नहीं है, क्योंकि शोधकर्ताओं के निष्कर्ष जेपीईजी कलाकृतियों के मूल्यांकन के उद्देश्य और इसे कम करने के नए तरीकों के बीच विभाजित हैं; प्रशिक्षण पुनरावृत्त किया गया प्रति-गुणवत्ता इतने सारे डेटासेट पर; और कार्यों में वस्तु का पता लगाना, विभाजन और वर्गीकरण जैसे कई उद्देश्य शामिल थे। मूलतः, नई रिपोर्ट स्वयं को कई मुद्दों को संबोधित करने वाले एक व्यापक संदर्भ कार्य के रूप में प्रस्तुत करती है।

फिर भी, पेपर मोटे तौर पर यह निष्कर्ष निकालता है कि 'जेपीईजी संपीड़न में भारी से मध्यम संपीड़न सेटिंग्स के लिए बोर्ड भर में भारी जुर्माना है'। यह इस बात पर भी जोर देता है कि इसकी नवीन गैर-सूचीबद्ध शमन रणनीतियाँ अन्य समान दृष्टिकोणों के बीच बेहतर परिणाम प्राप्त करती हैं; जटिल कार्यों के लिए, जमीनी सच्चाई लेबल तक पहुंच न होने के बावजूद, शोधकर्ताओं की पर्यवेक्षित पद्धति भी अपने साथियों से बेहतर प्रदर्शन करती है; और ये नवीन पद्धतियाँ मॉडल के पुन: उपयोग की अनुमति देती हैं, क्योंकि प्राप्त भार कार्यों के बीच हस्तांतरणीय होते हैं।

वर्गीकरण कार्यों के संदर्भ में, पेपर में स्पष्ट रूप से कहा गया है कि 'जेपीईजी ग्रेडिएंट गुणवत्ता को ख़राब करता है और साथ ही स्थानीयकरण त्रुटियों को भी प्रेरित करता है।'

लेखकों को उम्मीद है कि वे अन्य संपीड़न विधियों जैसे कि बड़े पैमाने पर उपेक्षित को कवर करने के लिए भविष्य के अध्ययनों का विस्तार करेंगे जेपीईजी 2000, साथ ही वेबपी, heif और बीपीजी. वे आगे सुझाव देते हैं कि उनकी कार्यप्रणाली को वीडियो संपीड़न एल्गोरिदम में अनुरूप अनुसंधान पर लागू किया जा सकता है।

चूंकि कार्य-लक्षित विरूपण साक्ष्य सुधार विधि अध्ययन में इतनी सफल साबित हुई है, लेखक परियोजना के दौरान प्रशिक्षित वजन जारी करने के अपने इरादे का भी संकेत देते हैं, यह अनुमान लगाते हुए कि '[कई] अनुप्रयोगों को बिना किसी संशोधन के हमारे टीटीएसी वजन का उपयोग करने से लाभ होगा।'

nb लेख के लिए स्रोत छवि thispersondoesnotexist.com से आती है