जेपीईजी संपीड़न का उपयोग करके न्यूरल नेटवर्क प्रशिक्षण में सुधार

कैनेडा से एक नए शोध पत्र ने एक फ्रेमवर्क का प्रस्ताव किया है जो जानबूझकर न्यूरल नेटवर्क के प्रशिक्षण योजना में जेपीईजी संपीड़न को पेश करता है, और बेहतर परिणाम प्राप्त करने में सक्षम है – और विरोधी हमलों के प्रति बेहतर प्रतिरोध।

यह एक相当 कट्टर विचार है, क्योंकि वर्तमान सामान्य ज्ञान यह है कि जेपीईजी कलाकृतियों, जो मानव देखने के लिए अनुकूलित हैं और मशीन लर्निंग के लिए नहीं, आमतौर पर जेपीईजी डेटा पर प्रशिक्षित न्यूरल नेटवर्क पर हानिकारक प्रभाव डालती हैं।

जेपीईजी छवियों के बीच स्पष्टता में अंतर का एक उदाहरण जो विभिन्न नुकसान मूल्यों पर संपीड़ित हैं (उच्च नुकसान एक छोटे फ़ाइल आकार की अनुमति देता है, रंग ग्रेडियंट्स के साथ विभाजन और बैंडिंग सहित अन्य प्रकार के कलाकृतियों की लागत पर)। स्रोत: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

2022 की एक रिपोर्ट में मैरीलैंड विश्वविद्यालय और फेसबुक एआई दावा किया है कि जेपीईजी संपीड़न ‘न्यूरल नेटवर्क के प्रशिक्षण में एक महत्वपूर्ण प्रदर्शन दंड’ है, इसके बावजूद पिछले काम ने दावा किया है कि न्यूरल नेटवर्क छवि संपीड़न कलाकृतियों के प्रति अपेक्षाकृत लचीले हैं।

एक वर्ष पहले, एक नए विचार की एक श्रृंखला साहित्य में उभरी: जेपीईजी संपीड़न वास्तव में मॉडल प्रशिक्षण में बेहतर परिणामों के लिए उपयोग किया जा सकता है।

हालांकि, हालांकि उस पत्र के लेखक विभिन्न गुणवत्ता स्तरों की जेपीईजी छवियों के प्रशिक्षण में बेहतर परिणाम प्राप्त करने में सक्षम थे, उन्होंने जो मॉडल प्रस्तावित किया था वह इतना जटिल और बोझिल था कि यह व्यावहारिक नहीं था। इसके अलावा, प्रणाली का डिफ़ॉल्ट जेपीईजी अनुकूलन सेटिंग्स (क्वांटीकरण) प्रशिक्षण प्रभावशीलता के लिए एक बाधा साबित हुई।

एक बाद के परियोजना (2023 के जेपीईजी अनुरूप संपीड़न डीएनएन दृष्टि) ने एक प्रणाली के साथ प्रयोग किया जो जेपीईजी संपीड़ित प्रशिक्षण छवियों के साथ थोड़ा बेहतर परिणाम प्राप्त करने में सक्षम था, एक जमे हुए गहरे न्यूरल नेटवर्क (डीएनएन) मॉडल का उपयोग करके। हालांकि, मॉडल के हिस्सों को प्रशिक्षण के दौरान जमने से मॉडल की बहुमुखी प्रतिभा और इसकी व्यापक प्रतिरोधकता को कम करने की प्रवृत्ति होती है।

जेपीईजी-डीएल

इसके बजाय, नया काम, जिसका शीर्षक जेपीईजी प्रेरित गहरा शिक्षा है, एक बहुत ही सरल वास्तुकला प्रदान करता है, जिसे मौजूदा मॉडलों पर भी लगाया जा सकता है।

शोधकर्ता, वाटरलू विश्वविद्यालय से, कहते हैं:

‘परिणाम दिखाते हैं कि जेपीईजी-डीएल लगातार और निरंतर रूप से मानक डीएल को विभिन्न डीएनएन वास्तुकला में बेहतर प्रदर्शन करता है, जिसमें मॉडल जटिलता में एक नगण्य वृद्धि होती है।

विशेष रूप से, जेपीईजी-डीएल कुछ महीने के वर्गीकरण डेटासेट पर वर्गीकरण सटीकता में 20.9% तक सुधार करता है, जबकि डीएल पाइपलाइन में केवल 128 प्रशिक्षित पैरामीटर जोड़ता है। इसके अलावा, जेपीईजी-डीएल की मानक डीएल पर श्रेष्ठता सीखे हुए मॉडल की बढ़ी हुई विरोधी मजबूती और इनपुट छवियों के कम फ़ाइल आकार द्वारा आगे साबित होती है।’

लेखकों का तर्क है कि एक अनुकूल जेपीईजी संपीड़न गुणवत्ता स्तर एक न्यूरल नेटवर्क को एक छवि के केंद्रीय विषय/विषयों को पहचानने में मदद कर सकता है। नीचे दिए गए उदाहरण में, हम बेसलाइन परिणाम (बाएं) देखते हैं जो जेपीईजी-डीएल (दाएं) के विपरीत एक पक्षी को पृष्ठभूमि में मिला देता है।

जेपीईजी-डीएल के लिए बेसलाइन विधियों के खिलाफ परीक्षण। स्रोत: https://arxiv.org/pdf/2410.07081

‘यह घटना,’ वे बताते हैं, ‘जिसे [2021] पत्र में “संपीड़न मदद” कहा जाता है, इसका कारण यह है कि संपीड़न शोर और परेशान करने वाली पृष्ठभूमि विशेषताओं को हटा सकता है, जिससे छवि में मुख्य वस्तु को उजागर किया जा सकता है, जो डीएनएन को बेहतर भविष्यवाणी करने में मदद करता है।’

विधि

जेपीईजी-डीएल एक अलग किए जाने योग्य सॉफ्ट क्वांटाइज़र पेश करता है, जो मानक जेपीईजी अनुकूलन दिनचर्या में गैर-अलग किए जाने योग्य क्वांटीकरण संचालन को बदल देता है।

यह ग्रेडिएंट-आधारित छवियों के अनुकूलन की अनुमति देता है। यह पारंपरिक जेपीईजी एन्कोडिंग में संभव नहीं है, जो एक समतुल्य क्वांटाइज़र के साथ एक राउंडिंग ऑपरेशन का उपयोग करता है जो निकटतम स系 को अनुमानित करता है।

जेपीईजी-डीएल की योजना की अलगनीयता मॉडल के पैरामीटर और जेपीईजी क्वांटीकरण (संपीड़न स्तर) के संयुक्त अनुकूलन की अनुमति देती है। संयुक्त अनुकूलन का अर्थ है कि मॉडल और प्रशिक्षण डेटा दोनों एक दूसरे के अनुकूल होते हैं समाप्त-से-अंत प्रक्रिया में, और किसी भी परत को जमने की आवश्यकता नहीं है।

मूल रूप से, प्रणाली एक (कच्चे) डेटासेट के जेपीईजी संपीड़न को सामान्यीकरण प्रक्रिया के तर्क के अनुसार अनुकूलित करती है।

जेपीईजी-डीएल के लिए योजना।

कोई यह मान सकता है कि कच्चा डेटा प्रशिक्षण के लिए आदर्श भोजन होगा; इसके बाद, छवियां पूरी तरह से एक उपयुक्त पूर्ण-लंबाई रंग स्थान में डीकंप्रेस्ड हो जाती हैं जब वे बैचों में चलाई जाती हैं; तो मूल प्रारूप क्या अंतर करता है?

खैर, जेपीईजी संपीड़न मानव देखने के लिए अनुकूलित है, यह विवरण या रंग के क्षेत्रों को एक ऐसे तरीके से फेंक देता है जो इस उद्देश्य के साथ मेल खाता है। एक झील के नीचे एक नीले आकाश की तस्वीर दी गई है, बढ़ी हुई संपीड़न का स्तर आकाश पर लागू किया जाएगा, क्योंकि इसमें कोई ‘आवश्यक’ विवरण नहीं है।

दूसरी ओर, एक न्यूरल नेटवर्क को उन असामान्य फिल्टरों की कमी होती है जो हमें केंद्रीय विषयों पर ध्यान केंद्रित करने की अनुमति देते हैं। इसके बजाय, यह किसी भी बैंडिंग कलाकृतियों को आकाश में वैध डेटा के रूप में मानने की संभावना है जो इसे अपने लेटेंट स्पेस में शामिल करना है।

हालांकि एक मानव आकाश में बैंडिंग को खारिज कर देगा, एक भारी संपीड़ित छवि (बाएं) में, एक न्यूरल नेटवर्क को यह पता नहीं है कि यह सामग्री को फेंक देना चाहिए, और एक उच्च गुणवत्ता वाली छवि (दाएं) की आवश्यकता होगी। स्रोत: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

इसलिए, एक जेपीईजी संपीड़न स्तर पूरे प्रशिक्षण डेटासेट के लिए उपयुक्त होने की संभावना नहीं है, जब तक कि यह एक बहुत ही विशिष्ट डोमेन का प्रतिनिधित्व न करे। भीड़ की तस्वीरें एक पक्षी की एक संकीर्ण-फोकस तस्वीर की तुलना में बहुत कम संपीड़न की आवश्यकता होगी।

लेखकों का निरीक्षण है कि जो लोग क्वांटीकरण की चुनौतियों से परिचित नहीं हैं, लेकिन ट्रांसफॉर्मर वास्तुकला के मूलभूत सिद्धांतों से परिचित हैं, इन प्रक्रियाओं को एक ‘ध्यान संचालन’ के रूप में माना जा सकता है, व्यापक रूप से।

डेटा और परीक्षण

जेपीईजी-डीएल का ट्रांसफॉर्मर-आधारित वास्तुकला और कन्वोल्यूशनल न्यूरल नेटवर्क (सीएनएन) के खिलाफ मूल्यांकन किया गया था। उपयोग की जाने वाली वास्तुकला эффициेंटफॉर्मर-एल1; रेसनेट; वीजीजी; मोबाइलनेट; और शफलनेट थे।

सीआईएफएआर डेटासेट के लिए रेसनेट संस्करण विशिष्ट थे: रेसनेट32, रेसनेट56, और रेसनेट110। वीजीजी आधारित परीक्षणों के लिए वीजीजी8 और वीजीजी13 का चयन किया गया था।

सीएनएन के लिए, प्रशिक्षण पद्धति 2020 के काम विरोधी प्रतिनिधित्व जिला (सीआरडी) से व्युत्पन्न थी। एफिसिएंटफॉर्मर-एल1 (ट्रांसफॉर्मर-आधारित) के लिए, 2023 के मॉडल को बड़े मॉडल के साथ प्रारंभ करना की प्रशिक्षण विधि का उपयोग किया गया था।

परीक्षणों में शामिल महीने के कार्यों के लिए, चार डेटासेट का उपयोग किया गया था: स्टैनफोर्ड डॉग्स; ऑक्सफोर्ड विश्वविद्यालय के फूल; सीयूबी-200-2011 (कैलटेक पक्षी); और पालतू जानवर (‘बिल्लियों और कुत्तों’, भारत में हैदराबाद के साथ ऑक्सफोर्ड विश्वविद्यालय के सहयोग से)।

सीएनएन पर महीने के कार्यों के लिए, लेखकों ने प्रीअक्ट रेसनेट-18 और डेंसेनेट-बीसी का उपयोग किया। एफिसिएंटफॉर्मर-एल1 के लिए, उपरोक्त मॉडल को बड़े मॉडल के साथ प्रारंभ करना में रेखांकित विधि का उपयोग किया गया था।

सीआईएफएआर-100 और महीने के कार्यों के पार, जेपीईजी संपीड़न दृष्टिकोण में विभिन्न परिमाण के डिस्क्रीट कोसाइन ट्रांसफॉर्म (डीसीटी) आवृत्तियों को एडम अनुकूलक के साथ संभाला गया था, ताकि मॉडलों के माध्यम से जेपीईजी परत के लिए सीखने की दर को अनुकूलित किया जा सके।

इमेजनेट-1के पर परीक्षणों में, सभी प्रयोगों में, लेखकों ने पाइटोर्च के साथ स्क्वीज़नेट, रेसनेट-18 और रेसनेट-34 को मुख्य मॉडल के रूप में उपयोग किया।

जेपीईजी परत के अनुकूलन मूल्यांकन के लिए, शोधकर्ताओं ने एडम के बजाय स्टोकेस्टिक ग्रेडिएंट डिसेंट (एसजीडी) का उपयोग किया, अधिक स्थिर प्रदर्शन के लिए। हालांकि, इमेजनेट-1के परीक्षणों के लिए, 2019 के पत्र सीखा कदम आकार क्वांटीकरण की विधि का उपयोग किया गया था।

सीआईएफएआर-100 पर बेसलाइन बनाम जेपीईजी-डीएल के लिए शीर्ष-1 मान्यकरण सटीकता, तीन रनों पर मानक और माध्य विचलन के साथ। नीचे, विभिन्न मॉडल वास्तुकला पर विभिन्न महीने के छवि वर्गीकरण कार्यों पर शीर्ष-1 मान्यकरण सटीकता, फिर से तीन पास से औसत।

उपरोक्त परिणामों पर टिप्पणी करते हुए, लेखक कहते हैं:

‘सीआईएफएआर-100 के लिए परीक्षण किए गए सभी सात मॉडलों में, जेपीईजी-डीएल लगातार सुधार प्रदान करता है, जिसमें शीर्ष-1 सटीकता में 1.53% तक की वृद्धि होती है। महीने के कार्यों में, जेपीईजी-डीएल एक महत्वपूर्ण प्रदर्शन वृद्धि प्रदान करता है, जिसमें दो अलग-अलग मॉडलों का उपयोग करके सभी डेटासेट में 20.90% तक सुधार होता है।’

इमेजनेट-1के परीक्षणों के परिणाम नीचे दिखाए गए हैं:

विभिन्न फ्रेमवर्क पर इमेजनेट पर शीर्ष-1 मान्यकरण सटीकता परिणाम।

यहाँ पत्र कहता है:

‘स्क्वीज़नेटवी1.1 के लिए, जेपीईजी-डीएल एक एकल राउंड क्वांटीकरण संचालन का उपयोग करके बेसलाइन की तुलना में 0.31% की शीर्ष-1 सटीकता में वृद्धि हासिल करता है, जिसमें जटिलता में एक तुच्छ वृद्धि (128 पैरामीटर जोड़कर) होती है।

‘क्वांटीकरण राउंड की संख्या को पांच तक बढ़ाने से, हमें 0.20% की अतिरिक्त वृद्धि मिलती है, जो कुल 0.51% बेसलाइन की तुलना में वृद्धि है।’

शोधकर्ताओं ने जेपीईजी-डीएल का परीक्षण विरोधी हमला दृष्टिकोण तेज़ ग्रेडिएंट साइन प phương pháp (एफजीएसएम) और प्रोजेक्टेड ग्रेडिएंट डिसेंट (पीजीडी) के साथ किया।

हमले सीआईएफएआर-100 पर दो मॉडलों पर किए गए थे:

जेपीईजी-डीएल के लिए परीक्षण परिणाम, दो मानक विरोधी हमला फ्रेमवर्क के खिलाफ।

लेखक कहते हैं:

‘जेपीईजी-डीएल मॉडल मानक डीएनएन मॉडल की तुलना में विरोधी मजबूती में काफी सुधार करते हैं, जिसमें एफजीएसएम के लिए 15% और पीजीडी के लिए 6% तक की वृद्धि होती है।’

इसके अलावा, जैसा कि लेख में पहले दिखाया गया है, लेखकों ने ग्रेडसीएएम++ का उपयोग करके निकाले गए फीचर मैप्स की तुलना की, जो एक फ्रेमवर्क है जो निकाले गए फीचर्स को दृश्य रूप से उजागर कर सकता है।

बेसलाइन और जेपीईजी-डीएल छवि वर्गीकरण के लिए ग्रेडसीएएम++ चित्रण, निकाले गए फीचर्स को उजागर करते हुए।

पत्र यह नोट करता है कि जेपीईजी-डीएल एक बेहतर परिणाम का उत्पादन करता है, और यह कि एक मामले में यह एक छवि को वर्गीकृत करने में सक्षम था जिसे बेसलाइन विफल रहा था। उपरोक्त छवि में पक्षी के बारे में, लेखक कहते हैं:

‘यह स्पष्ट है कि जेपीईजी-डीएल मॉडल के फीचर मैप बेसलाइन मॉडल द्वारा उत्पन्न फीचर मैप की तुलना में पृष्ठभूमि के साथ आगे की जानकारी (पक्षी) के बीच बहुत बेहतर कंट्रास्ट दिखाते हैं।

‘विशेष रूप से, जेपीईजी-डीएल फीचर मैप में आगे की वस्तु एक अच्छी तरह से परिभाषित कंटूर में बंद है, जो इसे पृष्ठभूमि से वizuallly अलग करने योग्य बनाती है।

‘इसके विपरीत, बेसलाइन मॉडल के फीचर मैप में एक अधिक मिश्रित संरचना है, जिसमें आगे की वस्तु में निम्न आवृत्तियों में उच्च ऊर्जा होती है, जो इसे पृष्ठभूमि के साथ अधिक चिकनाई से मिश्रित करती है।’

निष्कर्ष

जेपीईजी-डीएल का उपयोग उन स्थितियों में किया जाना है जहां कच्चा डेटा उपलब्ध है – लेकिन यह देखना दिलचस्प होगा कि क्या इस परियोजना में प्रस्तुत कुछ सिद्धांतों को पारंपरिक डेटासेट प्रशिक्षण में लागू किया जा सकता है, जहां सामग्री की गुणवत्ता कम हो सकती है (जैसा कि अक्सर हाइपरस्केल डेटासेट में होता है जो इंटरनेट से स्क्रैप किया जाता है)।

जैसा कि यह खड़ा है, यह मुख्य रूप से एक एनोटेशन समस्या है, हालांकि यह यातायात-आधारित छवि मान्यता में संबोधित किया गया है, और अन्य स्थानों पर।

पहली बार गुरुवार, 10 अक्टूबर, 2024 को प्रकाशित