डिज़नी रिसर्च ने सुधारा एआई-आधारित इमेज कम्प्रेशन – लेकिन यह विवरण हॉलुसिनेट कर सकता है

डिज़नी की रिसर्च आर्म एक नए तरीके से इमेज को कम्प्रेस करने की पेशकश कर रही है, जिसमें ओपन सोर्स स्टेबल डिफ्यूजन वी1.2 मॉडल का उपयोग करके कम बिटरेट पर अधिक वास्तविक इमेज पroduce करने की क्षमता है।

पूर्व दृष्टिकोणों की तुलना में डिज़नी कम्प्रेशन विधि। लेखक दावा करते हैं कि विवरण की वसूली में सुधार हुआ है, जबकि एक मॉडल प्रदान करते हैं जिसके लिए सैकड़ों हजारों डॉलर के प्रशिक्षण की आवश्यकता नहीं है, और जो निकटतम समकक्ष प्रतिस्पर्धी विधि की तुलना में तेजी से काम करता है। स्रोत: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

नई दृष्टिकोण (जिसे पारंपरिक कोडेक्स जैसे जेपीईजी और एवी1 की तुलना में बढ़ी हुई जटिलता के बावजूद ‘कोडेक’ के रूप में परिभाषित किया गया है) किसी भी लेटेंट डिफ्यूजन मॉडल (एलडीएम) पर काम कर सकता है। गुणात्मक परीक्षणों में, यह सटीकता और विवरण के मामले में पूर्व विधियों को पार करता है, और इसके लिए काफी कम प्रशिक्षण और कम्प्यूट की आवश्यकता होती है।

नई कार्य का मुख्य अंतर्दृष्टि यह है कि क्वांटाइजेशन त्रुटि (सभी इमेज कम्प्रेशन में एक केंद्रीय प्रक्रिया) शोर (डिफ्यूजन मॉडल्स में एक केंद्रीय प्रक्रिया) के समान है।

अतः, एक ‘पारंपरिक रूप से’ क्वांटाइज्ड इमेज को एक शोर वाले मूल इमेज के रूप में माना जा सकता है, और इसका उपयोग एलडीएम की शोर हटाने की प्रक्रिया में किया जा सकता है, न कि यादृच्छिक शोर के बजाय, एक लक्ष्य बिटरेट पर इमेज को पुनर्निर्माण करने के लिए।

नई डिज़नी विधि (हरे रंग में हाइलाइटेड) की प्रतिद्वंद्वी दृष्टिकोणों की तुलना में।

लेखकों का दावा है:

‘[हम] क्वांटाइजेशन त्रुटि को हटाने को एक शोर हटाने की प्रक्रिया के रूप में формूलेट करते हैं, डिफ्यूजन का उपयोग करके प्रेषित इमेज लेटेंट में खोए हुए जानकारी को पुनर्प्राप्त करने के लिए। हमारा दृष्टिकोण हमें पूरे डिफ्यूजन जेनरेटिव प्रक्रिया के कम से कम 10% को करने की अनुमति देता है और डिफ्यूजन मॉडल में कोई वास्तुकला परिवर्तन की आवश्यकता नहीं है, जिससे फाउंडेशन मॉडल का उपयोग एक मजबूत प्राथमिक के रूप में किया जा सकता है बिना बैकबोन के अतिरिक्त फाइन-ट्यूनिंग के।

‘हमारा प्रस्तावित कोडेक पूर्व विधियों की तुलना में गुणात्मक वास्तविकता मेट्रिक्स में बेहतर प्रदर्शन करता है, और हम यह पुष्टि करते हैं कि हमारे पुनर्निर्माण गुणात्मक रूप से अंतिम उपयोगकर्ताओं द्वारा पसंद किए जाते हैं, यहां तक कि जब अन्य विधियां दोगुने बिटरेट का उपयोग करती हैं। ‘

हालांकि, डिफ्यूजन मॉडल्स का उपयोग करने वाली अन्य परियोजनाओं के साथ, आउटपुट हॉलुसिनेट विवरण कर सकता है। इसके विपरीत, जेपीईजी जैसी हानिपूर्ण विधियां स्पष्ट रूप से विकृत या अधिक चिकनी विवरण के क्षेत्रों का उत्पादन करेंगी, जिन्हें एक सामान्य दर्शक द्वारा संपीड़न सीमाओं के रूप में पहचाना जा सकता है।

इसके बजाय, डिज़नी का कोडेक विवरण को संदर्भ से बदल सकता है जो मूल इमेज में नहीं था, जो कि विशिष्ट मॉडल्स में उपयोग किए जाने वाले वेरिएशनल ऑटोएनकोडर (वीएई) की मोटाई के कारण होता है।

‘अन्य जेनरेटिव दृष्टिकोणों की तरह, हमारी विधि कुछ इमेज सुविधाओं को त्याग सकती है जबकि रिसीवर पक्ष पर समान जानकारी का संश्लेषण कर सकती है। विशिष्ट मामलों में, हालांकि, यह असटीक पुनर्निर्माण का परिणाम हो सकता है, जैसे कि सीधी रेखाओं को मोड़ना या छोटी वस्तुओं की सीमा को विकृत करना।

‘यह हमारे द्वारा निर्मित फाउंडेशन मॉडल की एक जानी-मानी समस्या है, जिसे इसके वीएई के अपेक्षाकृत कम फीचर आयाम से जोड़ा जा सकता है। ‘

जबकि इसका कुछ कलात्मक चित्रण और सामान्य फोटोग्राफों की वास्तविकता पर प्रभाव पड़ सकता है, यह उन मामलों में अधिक महत्वपूर्ण प्रभाव डाल सकता है जहां छोटे विवरण आवश्यक जानकारी का गठन करते हैं, जैसे कि अदालती मामलों के लिए साक्ष्य, चेहरे की पहचान के लिए डेटा, ऑप्टिकल कैरेक्टर रिकॉग्निशन (ओसीआर) के लिए स्कैन, और कई अन्य संभावित उपयोग के मामले।

इस एआई-संचालित इमेज कम्प्रेशन की प्रगति के इस प्रारंभिक चरण में, सभी संभावित परिदृश्य दूर के भविष्य में हैं। हालांकि, इमेज स्टोरेज एक हाइपरस्केल वैश्विक चुनौती है, जो डेटा स्टोरेज, स्ट्रीमिंग, और बिजली की खपत जैसे मुद्दों को छूती है। इसलिए, एआई-आधारित कम्प्रेशन एक सटीकता और लॉजिस्टिक्स के बीच एक प्रलोभन भरा व्यापार प्रदान कर सकता है। इतिहास दिखाता है कि सबसे अच्छे कोडेक्स सबसे व्यापक उपयोगकर्ता आधार नहीं जीतते हैं, जब लाइसेंसिंग और बाजार में प्रोप्राइटरी फॉर्मेट्स के कब्जे जैसे मुद्दे अपनाया जाते हैं।

डिज़नी लंबे समय से मशीन लर्निंग को कम्प्रेशन विधि के रूप में प्रयोग कर रहा है। 2020 में, नए पेपर में शामिल एक शोधकर्ता वीएई-आधारित परियोजना में शामिल थे, जो बेहतर वीडियो कम्प्रेशन के लिए थी।

नई डिज़नी पेपर को अक्टूबर की शुरुआत में अपडेट किया गया था। आज कंपनी ने एक साथी यूट्यूब वीडियो जारी किया। परियोजना का शीर्षक लॉसी इमेज कम्प्रेशन विद फाउंडेशन डिफ्यूजन मॉडल्स है, और यह चार शोधकर्ताओं से आया है जो ईटीएच ज्यूरिख (डिज़नी की एआई-आधारित परियोजनाओं से जुड़े) और डिज़नी रिसर्च से। शोधकर्ता एक पूरक पेपर भी प्रदान करते हैं।

विधि

नई विधि एक वीएई का उपयोग करके एक इमेज को इसके संकुचित लेटेंट प्रतिनिधित्व में एनकोड करती है। इस चरण में, इनपुट इमेज व्युत्पन्न सुविधाओं से बनी होती है – कम-स्तर की वेक्टर-आधारित प्रतिनिधित्व। लेटेंट एम्बेडिंग को तब क्वांटाइज्ड वापस बिटस्ट्रीम में और पिक्सेल-स्पेस में किया जाता है।

यह क्वांटाइज्ड इमेज तब एक टेम्पलेट के रूप में उपयोग किया जाता है जो आमतौर पर एक डिफ्यूजन-आधारित इमेज को बीज देता है, जिसमें अक्सर डीनोइज़िंग चरणों (जिसमें अक्सर सटीकता और कार्यक्षमता के बीच एक व्यापार होता है) की संख्या में वृद्धि के साथ वृद्धि होती है।

नई डिज़नी कम्प्रेशन विधि के लिए स्कीमा।

क्वांटाइजेशन पैरामीटर और डीनोइज़िंग चरणों की कुल संख्या दोनों को नए सिस्टम के तहत नियंत्रित किया जा सकता है, एक न्यूरल नेटवर्क के प्रशिक्षण के माध्यम से, जो इन पहलुओं से संबंधित प्रासंगिक चर की भविष्यवाणी करता है। इस प्रक्रिया को अनुकूली क्वांटाइजेशन कहा जाता है, और डिज़नी सिस्टम एंट्रोफॉर्मर फ्रेमवर्क का उपयोग करता है जो प्रक्रिया को शक्ति प्रदान करने वाले एंट्रोपी मॉडल के रूप में कार्य करता है।

लेखकों का कहना है:

‘संक्षेप में, हमारी विधि सीखती है कि क्वांटाइजेशन परिवर्तन के माध्यम से जानकारी को त्यागने के लिए, जिसे डिफ्यूजन प्रक्रिया के दौरान संश्लेषित किया जा सकता है। क्योंकि क्वांटाइजेशन के दौरान पेश की गई त्रुटियां शोर जोड़ने के समान हैं, और डिफ्यूजन मॉडल कार्यात्मक रूप से शोर हटाने वाले मॉडल हैं, वे क्वांटाइजेशन के दौरान पेश की गई क्वांटाइजेशन शोर को हटाने के लिए उपयोग किए जा सकते हैं। ‘

स्टेबल डिफ्यूजन वी2.1 सिस्टम के लिए डिफ्यूजन बैकबोन है, जिसे चुना गया क्योंकि पूरे कोड और बेस वजन सार्वजनिक रूप से उपलब्ध हैं। हालांकि, लेखकों का कहना है कि उनकी योजना व्यापक संख्या में मॉडल्स पर लागू होती है।

प्रक्रिया के अर्थशास्त्र में टाइमस्टेप प्रेडिक्शन महत्वपूर्ण है, जो डीनोइज़िंग चरणों की इष्टतम संख्या का मूल्यांकन करता है – एक कार्यक्षमता और प्रदर्शन के बीच संतुलन।

टाइमस्टेप प्रेडिक्शन, जिसमें लाल सीमा के साथ इष्टतम संख्या में डीनोइज़िंग चरणों को इंगित किया गया है। कृपया सटीक रिजॉल्यूशन के लिए स्रोत पीडीएफ से संदर्भ लें।

लेटेंट एम्बेडिंग में शोर की मात्रा को टाइमस्टेप प्रेडिक्शन के लिए विचार करने की आवश्यकता है।

डेटा और परीक्षण

मॉडल को विमियो-90के डेटासेट पर प्रशिक्षित किया गया था। प्रत्येक प्रशिक्षण चरण के लिए इमेज को यादृच्छिक रूप से 256x256px में फसलाया गया था।

मॉडल को 300,000 चरणों के लिए 1e-4 की सीखने की दर पर अनुकूलित किया गया था। यह कंप्यूटर विजन परियोजनाओं में सबसे आम है, और यह भी सबसे कम और सबसे विस्तृत मूल्य है जो सामान्य रूप से व्यावहारिक है, डेटासेट की अवधारणाओं और विशेषताओं के व्यापक सामान्यीकरण और विस्तृत विवरण के पुनरुत्पादन की क्षमता के बीच एक समझौता है।

लेखक टिप्पणी करते हैं:

‘प्रशिक्षण के दौरान, डिफ्यूजन मॉडल के माध्यम से कई पास के माध्यम से ग्रेडिएंट को पीछे की ओर प्रसारित करना बहुत महंगा है। इसलिए, हम केवल एक डीडीआईएम नमूनाकरण पुनरावृत्ति करते हैं और सीधे इसका उपयोग पूरी तरह से डीनोइज्ड डेटा के रूप में करते हैं। ‘

परीक्षण के लिए उपयोग किए गए डेटासेट कोडक; सीएलआईसी2022; और सीओसीओ 30के थे। डेटासेट को 2023 गूगल प्रस्ताव में दिए गए तरीके के अनुसार प्रोसेस किया गया था, मल्टी-रियलिज्म इमेज कम्प्रेशन विद ए कंडीशनल जेनरेटर।

उपयोग किए गए मेट्रिक्स पीक सिग्नल-टू-नॉइज़ रेशियो (पीएसएनआर); लर्न्ड परसेप्टुअल सिमिलैरिटी मेट्रिक्स (एलपीआईपीएस); मल्टीस्केल स्ट्रक्चरल सिमिलैरिटी इंडेक्स (एमएस-एसएसआईएम); और फ्रेचेट इन्सेप्शन डिस्टेंस (एफआईडी) थे।

प्रतिद्वंद्वी पूर्व फ्रेमवर्क को जीएनएएनएस और डिफ्यूजन मॉडल्स के आधार पर पुराने और हाल के प्रस्तावों के बीच विभाजित किया गया था। जीएनएएनएस सिस्टम हाई-फिडेलिटी जेनरेटिव इमेज कम्प्रेशन (हिफिक); और आईएलएलएम (जो हिफिक पर कुछ सुधार प्रदान करता है) थे।

डिफ्यूजन-आधारित सिस्टम लॉसी इमेज कम्प्रेशन विद कंडीशनल डिफ्यूजन मॉडल्स (सीडीसी) और हाई-फिडेलिटी इमेज कम्प्रेशन विद स्कोर-आधारित जेनरेटिव मॉडल्स (एचएफडी) थे।

विभिन्न डेटासेट पर पूर्व फ्रेमवर्क के खिलाफ गुणात्मक परिणाम।

गुणात्मक परिणामों (ऊपर दिखाया गया है) के लिए, शोधकर्ता कहते हैं:

‘हमारी विधि पुनर्निर्मित इमेज की वास्तविकता में एक नया राज्य-स्तरीय प्रदर्शन स्थापित करती है, सभी बेसलाइन्स को एफआईडी-बिटरेट कर्व्स में पार करती है। कुछ विकृति मेट्रिक्स (विशेष रूप से, एलपीआईपीएस और एमएस-एसएसआईमी) में, हम सभी डिफ्यूजन-आधारित कोडेक्स को पार करते हुए सबसे उच्च प्रदर्शन वाले जेनरेटिव कोडेक्स के साथ प्रतिस्पर्धा करते हैं।

‘जैसा कि अपेक्षित था, हमारी विधि और अन्य जेनरेटिव विधियां पीएसएनआर में कमजोर प्रदर्शन करती हैं क्योंकि हम सटीक विवरण की प्रतिलिपि बनाने के बजाय संवेदी रूप से सुखद पुनर्निर्माण को पसंद करते हैं। ‘

उपयोगकर्ता अध्ययन के लिए, एक दो-विकल्प-फोर्स्ड-चॉइस (2एफसी) विधि का उपयोग किया गया था, एक टूर्नामेंट संदर्भ में जहां पसंदीदा इमेज आगे के दौर में जाती थीं। अध्ययन में एलो रेटिंग सिस्टम का उपयोग किया गया था, जिसे मूल रूप से शतरंज टूर्नामेंट के लिए विकसित किया गया था।

अतः, प्रतिभागियों ने विभिन्न जेनरेटिव विधियों के माध्यम से 512x512px इमेज की एक जोड़ी को देखा और चुना, एक अतिरिक्त प्रयोग में जिसमें एक ही उपयोगकर्ता से सभी इमेज तुलनाओं का मूल्यांकन मोंटे कार्लो सिमुलेशन के माध्यम से 10,0000 पुनरावृत्तियों पर किया गया था, जिसमें परिणामों में मध्य मान प्रस्तुत किया गया था।

उपयोगकर्ता अध्ययन के लिए अनुमानित एलो रेटिंग, जिसमें प्रत्येक तुलना (बाएं) और प्रत्येक प्रतिभागी (दाएं) के लिए एलो टूर्नामेंट शामिल हैं, जिसमें उच्च मान बेहतर हैं।

यहां लेखक कहते हैं:

‘जैसा कि एलो स्कोर में देखा जा सकता है, हमारी विधि अन्य सभी को महत्वपूर्ण रूप से पार करती है, यहां तक कि सीडीसी की तुलना में भी, जो हमारी विधि की तुलना में दोगुने बिटरेट का उपयोग करती है। यह एलो टूर्नामेंट रणनीति का उपयोग किए जाने पर भी सच है। ‘

मूल पेपर में, साथ ही पूरक पीडीएफ में, लेखक आगे की दृश्य तुलनाएं प्रदान करते हैं, जिनमें से एक इस लेख में पहले दिखाई गई है। हालांकि, परिणामों के बीच के अंतर की सूक्ष्मता के कारण, हम पाठकों को परिणामों का न्यायपूर्ण मूल्यांकन करने के लिए स्रोत पीडीएफ को संदर्भित करते हैं।

पेपर यह देखकर समाप्त होता है कि इसकी प्रस्तावित विधि प्रतिद्वंद्वी सीडीसी (3.49 बनाम 6.87 सेकंड, क्रमशः) की तुलना में दोगुनी तेजी से काम करती है। यह भी देखता है कि आईएलएलएम एक इमेज को 0.27 सेकंड के भीतर प्रोसेस कर सकता है, लेकिन यह प्रणाली बोझिल प्रशिक्षण की आवश्यकता होती है।

निष्कर्ष

ईटीएच/डिज़नी शोधकर्ता अपने प्रणाली द्वारा उत्पन्न किए जा सकने वाले झूठे विवरण की संभावना के बारे में स्पष्ट हैं।

न्यायसंगत रूप से, यह समस्या केवल नई डिज़नी दृष्टिकोण तक सीमित नहीं है, बल्कि यह डिफ्यूजन मॉडल्स – एक रचनात्मक और व्याख्यात्मक वास्तुकला – का उपयोग करके इमेज को कम्प्रेस करने का एक अपरिहार्य पार्श्व प्रभाव है।

दिलचस्प बात यह है कि केवल पांच दिन पहले, ईटीएच ज्यूरिख के दो अन्य शोधकर्ताओं ने एक पेपर प्रकाशित किया था, जिसका शीर्षक कंडीशनल हॉलुसिनेशन्स फॉर इमेज कम्प्रेशन था, जो एआई-आधारित कम्प्रेशन सिस्टम में ‘हॉलुसिनेशन’ के एक ‘आदर्श स्तर’ की संभावना का पता लगाता है।

वहां लेखकों का तर्क है:

‘टेक्सचर जैसी सामग्री के लिए, जैसे कि घास, तिल, और पत्थर की दीवारें, दिए गए टेक्सचर के वितरण से मेल खाने वाले पिक्सेल का उत्पादन करना विशिष्ट विवरण की पुनर्रचना से अधिक महत्वपूर्ण है; टेक्सचर के वितरण से कोई भी नमूना उत्पन्न करना आमतौर पर पर्याप्त है। ‘

इस प्रकार, यह दूसरा पेपर कम्प्रेशन के लिए ‘रचनात्मक’ और प्रतिनिधित्व करने योग्य होने का मामला बनाता है, बजाय इसके कि मूल गैर-संकुचित इमेज के मूल स्वरूप और रेखाचित्रों को यथासंभव सटीक रूप से पुनरुत्पादित करने का प्रयास किया जाए।

एक आश्चर्य है कि फोटोग्राफिक और रचनात्मक समुदाय इस ‘संपीड़न’ के इस काफी कट्टर पुनर्परिभाषा के बारे में क्या सोचेगा।

*लेखकों के इनलाइन संदर्भों को हाइपरलिंक में बदलने का मेरा रूपांतरण।

बुधवार, 30 अक्टूबर, 2024 को पहली बार प्रकाशित।