Anderson का एंगल

कैमरे द्वारा कैप्चर किए जाने से पहले एआई द्वारा परिवर्तित की गई चीजों को पुनर्स्थापित करना

mm
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
AI-generated image (GPT-2). A photographer examines an open DSLR as a stream of colorful fantasy creatures and glowing imagery bursts out, while he reacts with focused, subdued surprise in a studio setting.

कैमरे के अंदर एआई हस्तक्षेप के बावजूद कैसे एक रॉ फोटोग्राफ की शुद्धता की रक्षा की जा सकती है? नए शोध में ‘सच्चे’ सेंसर डेटा को पुनर्स्थापित करने के लिए – एआई का उपयोग करके!

 

पिछले एक साल में एआई छवियों की विश्वसनीयता में वृद्धि के कारण कई समूह और व्यक्ति विरोध कर रहे हैं फोटो पत्रकारिता में विश्वास के क्षरण के परिणामस्वरूप。

इसी अवधि में, सामग्री की उत्पत्ति और प्रामाणिकता के लिए गठबंधन (सी2पीए) ने एक अर्ध-क्रिप्टोग्राफिक मानक को विकसित करने का प्रयास किया है जो एक छवि से जुड़ी मेटाडेटा-आधारित प्रामाणिकता जानकारी को जोड़ता है जब यह एक समर्थित कैमरे या डिवाइस द्वारा कब्जा कर लिया जाता है, आशा करते हुए कि इन ‘मूल’ तस्वीरों पर बाद में उपयोग किए जाने वाले जनरेटिव एआई का पर्दाफाश किया जा सके:

सी2पीए सिस्टम में प्रामाणिकता की योजना, जहां कब्जा के क्षण में लिखी गई मेटाडेटा एक डायरी की तरह जोड़ी जा सकती है, जिससे रोशनी और कंट्रास्ट जैसे रीति-रिवाज के समायोजन की अनुमति मिल सकती है, लेकिन प्रमुख समायोजन को रिकॉर्ड करती है, ताकि एक भारी एआई-परिवर्तित छवि ऐसे मीडिया आउटलेट्स में दिखाई देगी जो इस प्रणाली का समर्थन करते हैं। स्रोत - https://spec.c2pa.org/specifications/specifications/1.2/specs/

सी2पीए सिस्टम में प्रामाणिकता की योजना, जहां कब्जा के क्षण में लिखी गई मेटाडेटा एक डायरी की तरह जोड़ी जा सकती है, जिससे रोशनी और कंट्रास्ट जैसे रीति-रिवाज के समायोजन की अनुमति मिल सकती है, लेकिन प्रमुख समायोजन को रिकॉर्ड करती है, ताकि एक भारी एआई-परिवर्तित छवि ऐसे मीडिया आउटलेट्स में दिखाई देगी जो इस प्रणाली का समर्थन करते हैं। स्रोत

मानक को अपनाने में गठबंधन को उतनी सफलता नहीं मिली जितनी उन्हें उम्मीद थी, और वर्तमान में केवल 14 कैमरे कैमरे में प्रामाणिकता जानकारी को अंकित करने का समर्थन करते हैं।

सी2पीए के विचार में एक फोटो को एक ‘पासपोर्ट’ देने की बात है जैसे ही यह अस्तित्व में आता है, यह दिलचस्प है कि उस समय तक यह पहले ही बहुत देर हो सकती है – क्योंकि कैमरा निर्माता अब नियमित रूप से कैमरे के अंदर छवि के निर्माण में एआई प्रसंस्करण को बेक करते हैं:

<img class="size-full wp-image-413556" src="https://www.unite.ai/wp-content/uploads/2026/04/Advocating-Pixel-Level-Authentication.jpg" alt="2024 के पेपर 'कैमरा-कैप्चर्ड इमेजेज़ के पिक्सेल-लेवल ऑथेंटिकेशन की वकालत' से: आधुनिक कैमरा पाइपलाइनों में कब्जा समय पर हॉलुसिनेटेड सामग्री का परिचय देने और पिक्सेल-लेवल प्रमाणीकरण मेटाडेटा का उपयोग करके इसका पर्दाफाश करने का एक चित्रण। (ए) में, एक स्मार्टफोन सेंसर छवि को आईएसपी द्वारा संसाधित किया जाता है, जहां एआई मॉड्यूल डिजिटल ज़ूम या एक्सपोज़र सुधार के दौरान विवरण का आविष्कार कर सकते हैं, वास्तविक छवियों को त्रुटियों के साथ उत्पादित कर सकते हैं जैसे कि लाइसेंस प्लेट डिजिट को गलत पढ़ा। (बी) में, एक प्रमाणीकरण मास्क को मेटाडेटा के रूप में एम्बेड किया जाता है और बाद में अस्वाभाविक क्षेत्रों को प्रकट करने के लिए ओवरले किया जाता है, जिससे उपयोगकर्ता मूल डेटा को एआई-परिवर्तित पिक्सेल से अलग कर सकते हैं। स्रोत – https://ieeexplore.ieee.org/ielx7/6287639/10380310/10478521.pdf?tp=&arnumber=10478521&isnumber=10380310&ref=aHR0cHM6Ly9zY2hvbGFyLmdvb2dsZS5jb20ucHkv

वास्तव में, यह कैमरे के सेंसर से रॉ डेटा के कब्जे में एआई ‘हस्तक्षेप’ अंततः यहां तक कि गoverning प्रक्रिया बन सकता है।

यह प्रकार का पोस्ट-प्रोसेसिंग वर्तमान प्रवृत्ति के समान नहीं है कैमरे में फोटो को बदलना, जिसमें एक फोन ऐप या कैमरा ऐप उपयोगकर्ता को आराम से फोटो को डाउनलोड करने से पहले ही फिर से सोच सकता है।

इसके बजाय, प्रसंस्करण कैमरे के इमेज सिग्नल प्रोसेसर (आईएसपी) में एक ‘ब्लैक बॉक्स’ दिनचर्या में होता है, जो आमतौर पर एक प्रोप्राइटरी रनटाइम में होता है जो रॉ सेंसर डेटा (और मान लें कि ‘शुद्ध’ कैमरा रॉ फॉर्मेट वास्तव में इतना ‘रॉ’ नहीं है) को प्रकट नहीं करता है या उपलब्ध नहीं कराता है।

अतः, जब तक आप फोटो को देख सकते हैं, तब तक यह पहले से ही एआई-सहायता प्राप्त उन्नतियों जैसे कम रोशनी में सुधार, अपस्केलिंग, या यहां तक कि चंद्रमा प्रतिस्थापन के अधीन हो सकता है।

कई मामलों में, इससे असटीक पुनर्निर्माण हो सकता है, जैसे कि पाठ का, जो ऐसी छवि के उपयोग को साक्ष्य के रूप में अमान्य कर सकता है, क्योंकि एक वास्तविक ‘रॉ’ छवि उपलब्ध नहीं होगी:

नई पेपर से - एक रॉ सेंसर छवि को जेनएआई-सक्षम आईएसपी द्वारा संसाधित किया जाता है जो एक अंतिम sRGB आउटपुट का उत्पादन करता है जो स्पष्ट दिखाई दे सकता है लेकिन हॉलुसिनेटेड विवरण हो सकते हैं, जैसा कि लाइसेंस प्लेट उदाहरण में दिखाया गया है जहां डिजिटल ज़ूम के दौरान अक्षरों को गलत तरीके से अनुमानित किया जाता है। वास्तविक दृश्य, जो व्यावहारिक रूप से सुलभ नहीं है, एआई-सुधारित आउटपुट और हॉलुसिनेशन से पहले मध्यवर्ती प्रामाणिक छवि से भिन्न होता है। प्रस्तावित दृष्टिकोण हॉलुसिनेशन से पहले इस प्रामाणिक छवि की वसूली की अनुमति देता है, जो कैमरे के ऑप्टिक्स द्वारा मूल रूप से कब्जा की गई चीजों को पुनर्स्थापित करता है जो एआई-आधारित सुधारों द्वारा सामग्री को संशोधित करते हैं। स्रोत - https://arxiv.org/pdf/2604.21879

नई पेपर से – एक रॉ सेंसर छवि को जेनएआई-सक्षम आईएसपी द्वारा संसाधित किया जाता है जो एक अंतिम sRGB आउटपुट का उत्पादन करता है जो स्पष्ट दिखाई दे सकता है लेकिन हॉलुसिनेटेड विवरण हो सकते हैं, जैसा कि लाइसेंस प्लेट उदाहरण में दिखाया गया है जहां डिजिटल ज़ूम के दौरान अक्षरों को गलत तरीके से अनुमानित किया जाता है। वास्तविक दृश्य, जो व्यावहारिक रूप से सुलभ नहीं है, एआई-सुधारित आउटपुट और हॉलुसिनेशन से पहले मध्यवर्ती प्रामाणिक छवि से भिन्न होता है। प्रस्तावित दृष्टिकोण हॉलुसिनेशन से पहले इस प्रामाणिक छवि की वसूली की अनुमति देता है, जो कैमरे के ऑप्टिक्स द्वारा मूल रूप से कब्जा की गई चीजों को पुनर्स्थापित करता है जो एआई-आधारित सुधारों द्वारा सामग्री को संशोधित करते हैं। स्रोत

उपरोक्त उदाहरण एक नए शोध पत्र से आते हैं जो ‘मूल एआई फोटो’ के लिए एक उपाय प्रदान करते हैं, जो विशेष रूप से संसाधित छवि से अनुमानित रॉ और अनदुलित छवि को पुनर्निर्माण करने के लिए विशेष रूप से एआई प्रक्रियाओं का उपयोग करते हैं।

लेखकों का कहना है:

‘जब आईएसपी में जनरेटिव या संवेदी नुकसान के साथ प्रशिक्षित एआई मॉडल का उपयोग किया जाता है, तो वे सामग्री का हॉलुसिनेट करने के लिए प्रवण होते हैं, संभावित रूप से छवि [अर्थ] को बदल देते हैं। इसका अर्थ है कि कैमरे से सीधे आउटपुट छवियां अब ‘नकली’ सामग्री हो सकती हैं, विशेष रूप से स्मार्टफोन कैमरों में जहां एआई-आईएसपी मॉड्यूल देख रहे हैं बढ़ती गोद ले। ‘

‘कैमरा हार्डवेयर में जनरेटिव एआई का उपयोग एक ऐसा परिदृश्य है जिसमें हम कैमरा छवियों को देखते हैं और कैमरा-कैप्चर्ड छवियों पर विश्वास करने के पारंपरिक फोरेंसिक दृष्टिकोण को चुनौती देते हैं। ‘

नई कार्य में एक बहुत ही हल्का एनकोडर और एमएलपी डिकोडर शामिल है, जिसे छवि के अंदर 180kb के वजन दंड पर शामिल किया जा सकता है। उद्देश्य एन्कोडिंग प्रणाली का विकास करना है जो वास्तविक समय में मूल छवि को फिर से निकालने के लिए पर्याप्त तेज़ है。

नई पेपर से: कैमरा आईएसपी के भीतर जेनएआई-आधारित सुपर-रिज़ॉल्यूशन छवि के चेहरे की विशेषताओं को बारीकी से बदल सकता है, दृष्टि या मुंह के आकार में परिवर्तन के माध्यम से उपस्थिति या व्यक्तिगत पहचान को स्थानांतरित करता है। कम रोशनी में सुधार इसी तरह छवि सामग्री को संशोधित कर सकता है, दृश्य गुणवत्ता में सुधार के बावजूद व्याख्या को प्रभावित करता है। क्यूआर कोड के उदाहरण में, सुधार छवि को अधिक आकर्षक बनाता है लेकिन कोड को अस्कैनेबल बनाता है। विधि हॉलुसिनेशन से पहले प्रामाणिक छवि की वसूली की अनुमति देती है, मूल चेहरे की विशेषताओं और एक स्कैनेबल क्यूआर कोड को पुनर्स्थापित करती है।

नई पेपर से: कैमरा आईएसपी के भीतर जेनएआई-आधारित सुपर-रिज़ॉल्यूशन छवि के चेहरे की विशेषताओं को बारीकी से बदल सकता है, दृष्टि या मुंह के आकार में परिवर्तन के माध्यम से उपस्थिति या व्यक्तिगत पहचान को स्थानांतरित करता है। कम रोशनी में सुधार इसी तरह छवि सामग्री को संशोधित कर सकता है, दृश्य गुणवत्ता में सुधार के बावजूद व्याख्या को प्रभावित करता है। क्यूआर कोड के उदाहरण में, सुधार छवि को अधिक आकर्षक बनाता है लेकिन कोड को अस्कैनेबल बनाता है। विधि हॉलुसिनेशन से पहले प्रामाणिक छवि की वसूली की अनुमति देती है, मूल चेहरे की विशेषताओं और एक स्कैनेबल क्यूआर कोड को पुनर्स्थापित करती है।

वैकल्पिक रूप से, कैमरा निर्माता उपयोगकर्ताओं को वास्तव में अविकृत सेंसर डंप तक पहुंच प्रदान कर सकते हैं; हालांकि, यह उच्च-अंत उपकरण तक सीमित रहने की संभावना है। मोबाइल और लोकप्रिय उपभोक्ता स्थान में, दुर्भाग्य से, गैर-प्रोसेस्ड फोटो तक पहुंच को एक ‘निचे’ या हाशिए के पीछे के पीछे के पीछे के रूप में माना जा सकता है।

जबकि उपभोक्ता कैमरों ने हमेशा कुछ स्तर का पोस्ट-प्रोसेसिंग लागू किया है, एज एआई के आगमन से पहले, उपयोग किए जाने वाले एल्गोरिदम न्यूनतम रूप से ‘व्याख्यात्मक’ थे, और एक फोटो की सामग्री को उसी अर्थपूर्ण तरीके से बदलने की संभावना नहीं थी जिस तरह वर्तमान एआई विधियां कर सकती हैं।

दिलचस्प बात यह है कि सैमसंग की ‘चंद्रमा प्रतिस्थापन नीति’ की सार्वजनिक आलोचना के बावजूद, सैमसंग का टोरंटो में एआई सेंटर इस नई कार्य में भाग ले रहा है, जिसका शीर्षक जेनरेटिव एआई का उपयोग करने वाले कैमरों में छवि प्रामाणिकता को संबोधित करना है, और यह यूनिवर्सिटी ऑफ टोरंटो में पांच शोधकर्ताओं के योगदान से नेतृत्व किया जाता है।

विधि

लेखक 2024 के एकमात्र अन्य परियोजना का उपयोग करते हैं जो प्रत्यक्ष रूप से प्रतिबिंब-डिज़ाइन के मुद्दे को संबोधित करता है: पेपर कैमरा-कैप्चर्ड इमेजेज़ के पिक्सेल-लेवल ऑथेंटिकेशन की वकालत, जिसने एक ‘बाइनरी प्रमाणीकरण मास्क’ का प्रस्ताव दिया जो आईएसपी में एआई प्रक्रियाओं द्वारा परिवर्तित क्षेत्रों को निर्धारित करता है:

दूर दाएं, 2024 के पेपर का 'प्रमाणीकरण मास्क' एक कैमरे में एआई 'स्मूदिंग' प्रक्रियाओं से प्रभावित क्षेत्रों को प्रकट करता है।

दूर दाएं, 2024 के पेपर का ‘प्रमाणीकरण मास्क’ एक कैमरे में एआई ‘स्मूदिंग’ प्रक्रियाओं से प्रभावित क्षेत्रों को प्रकट करता है।

हालांकि, प्रणाली ने किसी ‘वास्तविक’ छवि को पुनर्प्राप्त करने के लिए कोई विधि प्रदान नहीं की, जिसे नई कार्य संबोधित करती है, जबकि पहले के प्रयास के प्रति एक ऋण को स्वीकार करती है।

नई कार्य का उद्देश्य उपयोगकर्ताओं को एक छवि को पुनर्प्राप्त करने में सक्षम बनाना है जो यथासंभव उस छवि के करीब है जो वास्तव में सेंसर पर मारा था जो प्रसंस्करण से पहले हुआ था:

प्रस्तावित विधि का अवलोकन। (ए) में, कब्जा समय पर, आईएसपी आउटपुट छवि हॉलुसिनेशन को एक जमे हुए पूर्व-प्रशिक्षित एनकोडर के माध्यम से पारित किया जाता है, और इसकी लेटेंट विशेषताओं को स्थानिक समन्वय के साथ जोड़कर एक एमएलपी में खिलाया जाता है जो प्रति पिक्सेल पर काम करता है गैर-हॉलुसिनेटेड छवि की भविष्यवाणी करने के लिए, प्रामाणिक लक्ष्यों के खिलाफ एक नुकसान के मार्गदर्शन में। एनकोडर और एमएलपी वजन तब छवि के साथ-साथ मेटाडेटा के रूप में सहेजे जाते हैं। (बी) में, अनुमान में, इन वजनों को मेटाडेटा से पुनर्प्राप्त किया जाता है और एनकोडर और एमएलपी के साथ पुनर्निर्माण के लिए पुन: उपयोग किया जाता है।

प्रस्तावित विधि का अवलोकन। (ए) में, कब्जा समय पर, आईएसपी आउटपुट छवि हॉलुसिनेशन को एक जमे हुए पूर्व-प्रशिक्षित एनकोडर के माध्यम से पारित किया जाता है, और इसकी लेटेंट विशेषताओं को स्थानिक समन्वय के साथ जोड़कर एक एमएलपी में खिलाया जाता है जो प्रति पिक्सेल पर काम करता है गैर-हॉलुसिनेटेड छवि की भविष्यवाणी करने के लिए, प्रामाणिक लक्ष्यों के खिलाफ एक नुकसान के मार्गदर्शन में। एनकोडर और एमएलपी वजन तब छवि के साथ-साथ मेटाडेटा के रूप में सहेजे जाते हैं। (बी) में, अनुमान में, इन वजनों को मेटाडेटा से पुनर्प्राप्त किया जाता है और एनकोडर और एमएलपी के साथ पुनर्निर्माण के लिए पुन: उपयोग किया जाता है।

कब्जा समय पर, नई विधि में, संसाधित छवि को एक जमे हुए एनकोडर के माध्यम से पारित किया जाता है जो इसे एक कompact लेटेंट प्रतिनिधित्व में परिवर्तित करता है। इसके बाद, संबंधित स्थानिक समन्वय इन विशेषताओं के साथ जोड़ दिए जाते हैं और एक हल्के एमएलपी में खिलाया जाता है जो प्रति पिक्सेल पर काम करता है मूल छवि सामग्री की भविष्यवाणी करने के लिए, प्रभावी रूप से हॉलुसिनेटेड तत्वों को एक पुनर्निर्माण नुकसान के माध्यम से घटाना सीखता है, प्रामाणिक लक्ष्यों के खिलाफ।

एनकोडर और डिकोडर प्री-प्रशिक्षित हैं जोड़ी प्रामाणिक और हॉलुसिनेटेड छवियों पर, फिर प्रत्येक कब्जा की गई छवि के लिए जल्दी से फाइन-ट्यून किया जाता है, उनके वजन छवि के साथ-साथ मेटाडेटा के रूप में संग्रहीत किए जाते हैं, केवल एक छोटे से आकार ओवरहेड जोड़ते हैं।

देखने के समय, इन संग्रहीत वजनों को निकाला जाता है और पुन: उपयोग किया जाता है एनकोडर और एमएलपी को चलाने के लिए, एक छवि की वसूली की अनुमति देता है जो कैमरे के सेंसर द्वारा मूल रूप से कब्जा की गई चीजों के करीब है, नए सिंथेटिक सामग्री को पेश किए बिना।

डेटा और परीक्षण

लेखकों ने नई विधि का परीक्षण किया दो सबसे अधिक कार्यान्वित आईएसपी पोस्ट-प्रोसेसिंग कार्यों का उपयोग करके: सुपर-रिज़ॉल्यूशन (एसआर, ज़ूम किए गए क्षेत्रों के लिए भी); और कम रोशनी वाली फोटोग्राफी।

सामान्य (‘प्राकृतिक छवि’) एसआर अनुभाग के परीक्षणों के लिए, कई पाठ के उदाहरणों को डेटा में शामिल किया गया था, क्योंकि आईएसपी एसआर दिनचर्या पाठ (जैसे कार लाइसेंस प्लेट संख्या, लेकिन देखें पिछले उदाहरणों में) को बदलने के लिए जानी जाती है। चूंकि पाठ विकृति एक अलग मुद्दा है, इसे एसआर परीक्षणों का एक उपसेट के रूप में माना जाता था, और इसके लिए समर्पित डेटा था।

उपरोक्त एनकोडर को प्रत्येक मोडलिटी के लिए प्रशिक्षित किया गया था जिसका परीक्षण किया गया था, और प्रत्येक का चयन इस आधार पर किया गया था कि कब्जा के दौरान कौन सा एआई आईएसपी मॉड्यूल शामिल होने की संभावना थी (यानी, एक ‘कम रोशनी’ मॉड्यूल, अंधेरे परिस्थितियों में)।

लेखकों ने DIV2K डेटासेट का उपयोग सुपर-रिज़ॉल्यूशन प्रशिक्षण के लिए किया, जो लोकप्रिय RealESRGAN नेटवर्क द्वारा संचालित है। उपरोक्त 2024 के काम के अनुसार आईएसपी हस्तक्षेप, शोधकर्ताओं ने जोड़ी गई डेटा का उत्पादन किया जिसमें प्रभावित और हॉलुसिनेटेड सामग्री शामिल थी।

पाठ एसआर अनुभाग के लिए, लेखकों ने 2023 MARCONet पाठ एसआर मॉडल का उपयोग किया:

2023 MARCONet पेपर से, वास्तविक दुनिया के निम्न-रिज़ॉल्यूशन और समान अपस्केल्ड पाठ के उदाहरण। स्रोत - https://arxiv.org/pdf/2303.14726

2023 MARCONet पेपर से, वास्तविक दुनिया के निम्न-रिज़ॉल्यूशन और समान अपस्केल्ड पाठ के उदाहरण。 स्रोत

इस मामले में, शोधकर्ताओं ने MARCONet के माध्यम से गैर-हॉलुसिनेटेड छवियों को चलाया, जिससे 2000 छवियां उत्पन्न हुईं, जिनमें से 200 मान्यकरण के लिए अलग रखा गया था, साथ ही 200 परीक्षण के लिए।

कम रोशनी वाले परीक्षणों के लिए, LOw-Light (LOL) डेटासेट (2018 के एक चीनी पेपर से) को अपनाया गया था:

2018 के चीनी एलओएल डेटासेट से, विभिन्न एक्सपोज़र और अंधेरे और क्षय के स्तर पर समान तस्वीरों के ब्रैकेटेड उदाहरण। स्रोत - https://arxiv.org/pdf/1808.04560

2018 के चीनी एलओएल डेटासेट से, विभिन्न एक्सपोज़र और अंधेरे और क्षय के स्तर पर समान तस्वीरों के ब्रैकेटेड उदाहरण。 स्रोत

प्रतिद्वंद्वी फ्रेमवर्क

विधि का मूल्यांकन करने के लिए, तीन विशिष्ट बेसलाइन के खिलाफ तुलना की गई, जिन्हें मेल खाने वाली स्थितियों में प्रशिक्षित किया गया था। पहले, SIREN और NeRF को जोड़ी गई प्रामाणिक और हॉलुसिनेटेड छवियों पर पूर्व-प्रशिक्षित किया गया और फिर कब्जा समय पर उसी अवधि के लिए फाइन-ट्यून किया गया, जो NeRF के साथ एक सीधा तुलना प्रदान करता है।

दूसरे, एक एमएलपी का उपयोग किया गया था जिसमें Instant-NGP से हैशग्रिड विधि पर आधारित एक सीखा हुआ एन्कोडिंग था, जिसमें हैश टेबल एंट्री और एमएलपी संयुक्त रूप से अनुकूलित किए गए थे।

तीसरे, एक अंधे छवि-से-छवि अनुवाद बेसलाइन को NAFNet मॉडल का उपयोग करके लागू किया गया था, जिसे एक 64MB मॉडल के रूप में प्रशिक्षित किया गया था पिक्सेल-टू-पिक्सेल प्रतिगमन प्रणाली के रूप में, मेटाडेटा तक पहुंच के बिना।

प्रशिक्षण में, एडम ऑप्टिमाइज़र का उपयोग पाइथन पर किया गया था, दोनों पूर्व-प्रशिक्षण और फाइन-ट्यूनिंग के लिए। एनकोडर और एमएलपी को 50,000 epochs के लिए प्रशिक्षित किया गया था 32 के बैच आकार पर, मॉडल-विशिष्ट एनकोडर प्रत्येक कार्य (यानी, एसआर, पाठ-एसआर, कम रोशनी) के लिए प्रशिक्षित किए गए थे।

फाइन-ट्यूनिंग लगभग तीन सेकंड में हुई एक एनवीडिया वी100 जीपीयू पर 32GB के वीआरएएम के साथ, लेखकों का उल्लेख है कि जबकि डिवाइस पर अनुकूलन लक्ष्य वातावरण और परिदृश्य है, यह सभी फ्रेमवर्क के लिए व्यावहारिक नहीं था, और इसलिए सभी परीक्षण डेस्कटॉप वातावरण में किए गए थे:

मेटाडेटा-सहायता प्राप्त एमएलपी-आधारित बेसलाइन के खिलाफ प्रदर्शन तुलना, जिसमें SIREN, NeRF, और हैश-ग्रिड विधि शामिल है, साथ ही NAFNet का उपयोग करके अंधे पुनर्प्राप्ति। परिणाम डेसीबल में PSNR के रूप में रिपोर्ट किए जाते हैं तीन कार्यों के भरोसे: प्राकृतिक छवि सुपर-रिज़ॉल्यूशन पर DIV2K; MARCONet पर पाठ सुपर-रिज़ॉल्यूशन; और LOL पर कम रोशनी में सुधार, प्रस्तावित विधि प्रत्येक मामले में उच्चतम स्कोर प्राप्त करती है।

मेटाडेटा-सहायता प्राप्त एमएलपी-आधारित बेसलाइन के खिलाफ प्रदर्शन तुलना, जिसमें SIREN, NeRF, और हैश-ग्रिड विधि शामिल है, साथ ही NAFNet का उपयोग करके अंधे पुनर्प्राप्ति। परिणाम डेसीबल में PSNR के रूप में रिपोर्ट किए जाते हैं तीन कार्यों के भरोसे: प्राकृतिक छवि सुपर-रिज़ॉल्यूशन पर DIV2K; MARCONet पर पाठ सुपर-रिज़ॉल्यूशन; और LOL पर कम रोशनी में सुधार, लेखकों की विधि प्रत्येक मामले में उच्चतम स्कोर प्राप्त करती है।

एमएलपी-आधारित दृष्टिकोणों के लिए, प्रदर्शन इनपुट प्रतिनिधित्व पर बहुत अधिक निर्भर करता था, जहां केवल स्थानिक समन्वय का उपयोग करने वाले मॉडल पूर्व-प्रशिक्षण के दौरान संघर्ष करते थे और सीमित फाइन-ट्यूनिंग चरण के दौरान सुधार करने में विफल रहे। रंग जानकारी जोड़ने से मजबूत परिणाम मिले।

NAFNet का उपयोग करके अंधे पुनर्प्राप्ति DIV2K पर अच्छा प्रदर्शन किया, जहां खराब से साफ छवियों का मैपिंग अपेक्षाकृत स्थिर था, लेकिन MARCONet और LOL पर टूट गया, जहां कई संभावित पुनर्निर्माण मौजूद थे और मॉडल को इस अस्पष्टता को हल करने के लिए आवश्यक जानकारी की कमी थी।

यह प्रभाव कम रोशनी में सुधार में सबसे अधिक प्रमुख था, जहां दृश्य की मूल चमक को संसाधित छवि से विश्वसनीय रूप से अनुमानित नहीं किया जा सकता था।

लेखकों का कहना है:

‘सिंथेटिक MARCONet डेटा में, विभिन्न धुंधले ताकतों वाली छवियां एक ही हॉलुसिनेटेड छवि को मैप करती हैं। परिणामों से यह देखा जा सकता है कि हमारा प्रस्तावित दृष्टिकोण सभी डेटासेट में प्रतियोगियों से बेहतर प्रदर्शन करता है।’

उपरोक्त तुलना में, हम देख सकते हैं कि विभिन्न विधियां कितनी अच्छी तरह प्रदर्शन करती हैं यह देखते हुए कि वे एक फोटो लेने के समय कितना समय लेती हैं। एक मॉडल को प्रत्येक छवि के लिए स्क्रैच से प्रशिक्षित करने से मजबूत परिणाम मिल सकते हैं, जैसा कि SIREN, NeRF, और हैश-ग्रिड के साथ देखा जाता है – लेकिन यह एक कैमरे के अंदर व्यावहारिक नहीं है।

इसके बजाय, लेखकों की विधि अधिकांश काम पहले से ही करती है, कब्जा समय पर एक तेज़ समायोजन की अनुमति देती है, जिससे यह सीमित समय सीमा (3, 5, या दस सेकंड) के भीतर बेहतर परिणाम प्राप्त कर सकती है।

मेटाडेटा-सहायता प्राप्त एमएलपी-आधारित बेसलाइन के खिलाफ प्रदर्शन तुलना, जिसमें SIREN, NeRF, और हैश-ग्रिड विधि शामिल है, साथ ही NAFNet का उपयोग करके अंधे पुनर्प्राप्ति। परिणाम डेसीबल में PSNR के रूप में रिपोर्ट किए जाते हैं तीन कार्यों के भरोसे: प्राकृतिक छवि सुपर-रिज़ॉल्यूशन पर DIV2K; MARCONet पर पाठ सुपर-रिज़ॉल्यूशन; और LOL पर कम रोशनी में सुधार, प्रस्तावित विधि प्रत्येक मामले में उच्चतम स्कोर प्राप्त करती है। कृपया थोड़ा बेहतर रिज़ॉल्यूशन के लिए स्रोत पेपर देखें।

मेटाडेटा-सहायता प्राप्त एमएलपी-आधारित बेसलाइन के खिलाफ प्रदर्शन तुलना, जिसमें SIREN, NeRF, और हैश-ग्रिड विधि शामिल है, साथ ही NAFNet का उपयोग करके अंधे पुनर्प्राप्ति। परिणाम डेसीबल में PSNR के रूप में रिपोर्ट किए जाते हैं तीन कार्यों के भरोसे: प्राकृतिक छवि सुपर-रिज़ॉल्यूशन पर DIV2K; MARCONet पर पाठ सुपर-रिज़ॉल्यूशन; और LOL पर कम रोशनी में सुधार, प्रस्तावित विधि प्रत्येक मामले में उच्चतम स्कोर प्राप्त करती है। कृपया थोड़ा बेहतर रिज़ॉल्यूशन के लिए स्रोत पेपर देखें।

उपरोक्त में, हम देख सकते हैं कि विभिन्न विधियां कितनी अच्छी तरह प्रदर्शन करती हैं यह देखते हुए कि वे एक फोटो लेने के समय कितना समय लेती हैं। एक मॉडल को प्रत्येक छवि के लिए स्क्रैच से प्रशिक्षित करने से मजबूत परिणाम मिल सकते हैं, जैसा कि SIREN, NeRF, और हैश-ग्रिड के साथ देखा जाता है – लेकिन यह एक कैमरे के अंदर व्यावहारिक नहीं है।

इसके बजाय, लेखकों की विधि अधिकांश काम पहले से ही करती है, कब्जा समय पर एक तेज़ समायोजन की अनुमति देती है, जिससे यह सीमित समय सीमा (3, 5, या दस सेकंड) के भीतर बेहतर परिणाम प्राप्त कर सकती है।

अंत में, उपरोक्त चित्र में, हम LOL डेटासेट पर परिणाम देख सकते हैं, जिसमें दृश्य के लिए चमक को स्केल किया गया है।

अंधे पुनर्प्राप्ति चमक स्केल को हल नहीं कर सकी, जबकि प्रस्तावित विधि बनावट को बेहतर ढंग से पुनर्निर्माण करती है और परिवर्तित अक्षरों को पुनर्स्थापित करती है, जैसे कि ‘1’ को ‘i’ में बदलने, बिना किसी कलाकृति के जोड़े।

निष्कर्ष

यह शायद तर्कसंगत नहीं है, न ही कभी तर्कसंगत था, कि ‘कैमरा कभी झूठ नहीं बोलता’। हर निर्णय जो फोटो खींचने के लिए किया जाता है और जब इसे खींचा जाता है, साथ ही साथ यह कैसे प्रस्तुत किया जाता है और इसे कैसे संदर्भित किया जाता है, वास्तव में एक राजनीतिक या सामाजिक निर्णय है।

हालांकि, यह कोई कारण नहीं है कि हमें कम से कम ‘वस्तुनिष्ठ’ छवि कब्जे के लक्ष्य को छोड़ देना चाहिए; और यह उचित लगता है कि औसत उपभोक्ता को अनुमति दी जानी चाहिए, यहां तक कि कुछ कठिनाई के साथ, ‘अनमास्ड’ रॉ सेंसर डंप तक पहुंच प्राप्त करने के लिए जो वे लेते हैं, यदि वे चाहते हैं; या कम से कम, उन्हें अनुमति दी जानी चाहिए कि वे आईएसपी पोस्ट-प्रोसेसिंग को गैर-एआई अल्गोरिदम तक सीमित रखें, जैसा कि वे पसंद कर सकते हैं।

 

पहली बार शुक्रवार, 24 अप्रैल, 2026 को प्रकाशित

मशीन लर्निंग पर लेखक, मानव इमेज सिंथेसिस में डोमेन विशेषज्ञ। मेटाफिजिक.ai में रिसर्च कंटेंट के पूर्व प्रमुख, जब तक कि इसका डीएनजीई के ब्रह्मा.ai में विलय नहीं हो गया।
पोर्टफोलियो साइट: martinanderson.ai
संपर्क: [email protected]