एआई छवि हॉलुसिनेशन को बढ़ा-चढ़ाकर कम करना

चैटजीपीटी-शैली के विजन मॉडल अक्सर उन तत्वों को ‘हॉलुसिनेट’ करते हैं जो छवि में नहीं होने चाहिए। एक नए तरीके से इन त्रुटियों को कम किया जा सकता है जिसमें मॉडल को अपने स्वयं के हॉलुसिनेशन के बढ़े हुए संस्करण दिखाए जाते हैं, जो कैप्शन पर आधारित होते हैं – और फिर इसे फिर से करने के लिए कहते हैं। यह दृष्टिकोण किसी भी अतिरिक्त डेटा या पुनः प्रशिक्षण की आवश्यकता नहीं है, और विभिन्न मॉडलों और मॉडल प्रकारों पर लागू किया जा सकता है।

चीन से एक नए प्रकाशन में एआई-जनित छवि और वीडियो में हॉलुसिनेशन की समस्या पर एक दिलचस्प दृष्टिकोण प्रस्तुत किया गया है – जो तत्व स्पष्ट रूप से छवि में नहीं होने चाहिए, उपयोगकर्ता के अनुरोध और इनपुट के आधार पर।

मूल रूप से, यह प्रणाली एक छवि लेती है और मॉडल को इसे वर्णित करने देती है, जैसा कि आमतौर पर होता है; यह फिर कैप्शन को एक नए छवि में बदल देती है एक पाठ-से-छवि मॉडल का उपयोग करके – और इस दूसरी छवि में कोई अतिरिक्त वस्तुएं या विवरण मॉडल के प्रारंभिक हॉलुसिनेशन के प्रत्यक्ष प्रतिनिधित्व होंगे। फिर, मूल और उत्पन्न छवियों की तुलना करके, प्रणाली मॉडल को उन त्रुटियों से दूर करने के लिए धीरे से मार्गदर्शन करती है जब यह अगली बार कोशिश करता है:

नए तरीके से कैप्शन में हॉलुसिनेशन की पहचान और कमी का एक चित्रण। नियमित मॉडल में मौजूद नहीं होने वाले पक्षियों का वर्णन करता है, जिससे पुनर्निर्मित छवि में उन्हें जोड़ दिया जाता है। ये त्रुटियां लाल रंग में चिह्नित हैं। इसके विपरीत, प्रस्तावित तरीका इन आविष्कृत विवरणों से बचता है, जबकि कैप्शन को विशिष्ट और प्रवाहमय बनाए रखता है। स्रोत: https://arxiv.org/pdf/2509.21997

यह तरीका वास्तविक छवियों को दिखाकर और उन्हें वर्णित करने के लिए मॉडल का उपयोग करके शुरू होता है, जिसमें कुछ वर्णन ऐसे वस्तुओं या विवरणों को शामिल करते हैं जो वास्तव में मौजूद नहीं हैं। ये हॉलुसिनेटेड कैप्शन फिर सिंथेटिक छवियों को उत्पन्न करने के लिए उपयोग किए जाते हैं जो त्रुटियों को अधिक दिखाई देने में मदद करते हैं। मूल और उत्पन्न छवियों की तुलना करके, प्रणाली यह सीखती है कि मॉडल के आंतरिक पैटर्न कौन से बनावटी सामग्री का उत्पादन करते हैं।

एक बार जब ये त्रुटि पैटर्न पहचाने जाते हैं, तो उन्हें संग्रहीत किया जा सकता है और बाद में उपयोग किया जा सकता है। जब मॉडल को एक नई छवि दी जाती है, तो प्रणाली अपने आंतरिक संकेतों को समायोजित करती है जब कैप्शनिंग के दौरान, जानबूझकर इसे ज्ञात पैटर्न से दूर करने के लिए जो हॉलुसिनेशन का कारण बनते हैं। यह एक ही पास में काम करता है और अतिरिक्त डेटा, पुनः प्रशिक्षण, या परीक्षण समय में नई छवि उत्पादन की आवश्यकता नहीं होती है।

जटिल जाल

उपरोक्त उदाहरण में, पत्र से, हम देख सकते हैं कि जटिलता संभवतः ‘पक्षियों’ को इनपुट छवि में जोड़ने के लिए जिम्मेदार है, भले ही पहली छवि में कोई पक्षी नहीं हों।

जटिलता तब होती है जब एक मॉडल कुछ अवधारणाओं को अन्य अवधारणाओं के साथ जोड़ने पर जोर देता है, क्योंकि दो या अधिक अवधारणाएं मूल डेटा वितरण में बार-बार एक साथ दिखाई देती हैं जिस पर मॉडल को प्रशिक्षित किया गया था। इस मामले में, मॉडल ने शायद कई विमान+पक्षी की तस्वीरें देखी हैं, जिससे एक संबंध बन गया है जो विशिष्ट तस्वीर के लिए लागू नहीं होता है, लेकिन फिर भी व्युत्पन्न कैप्शन में घुसपैठ करता है।

हालांकि जटिलता को प्रशिक्षण को पहले रोककर कम किया जा सकता है (जो आम तौर पर मॉडल को अधिकतम लचीला और अनुकूलन योग्य बनाता है), यह भी प्रशिक्षित अवधारणाओं के विवरण और संकल्पना को कम कर देता है, मॉडल प्रशिक्षक को एक दुविधा के साथ छोड़ देता है: एक मॉडल बनाएं जो बहुत लचीला और जटिल है; या एक मॉडल बनाएं जो अधिक शक्तिशाली रूप से उत्पन्न करने वाला है, लेकिन ‘संबद्ध’ हॉलुसिनेशन भी उत्पन्न कर सकता है?

यदि कैप्शनिंग और विवरण की गुणवत्ता में सावधानी से मूल डेटा का चयन किया गया होता, जो आमतौर पर लॉजिस्टिक्स की अनुमति देता है, तो स्रोत छवियों के लिए कैप्शन में प्रत्येक छवि में हर वस्तु का विवरण होगा, ताकि प्रशिक्षित मॉडल उन्हें अपने लेटेंट स्पेस में विभिन्न और जटिल प्रविष्टियां दे सके।

जैसा कि यह खड़ा है, एसईओ कैप्शनिंग का आत्म-सेवा अभ्यास, साथ ही साथ वेब-स्क्रैपिंग का तथ्य जो वास्तव में शक्तिशाली जनरेटिव मॉडल के लिए प्रशिक्षण का सबसे अच्छा स्रोत बना हुआ है, यह दर्शाता है कि छवि कैप्शन अक्सर इस मानक से काफी कम होते हैं:

एक चित्रण कैसे कमजोर कैप्शन स्टेबल डिफ्यूजन जैसे मॉडल के लिए एलएआईओएन छवियों की उपयोगिता को सीमित करते हैं। कई पाठ लेबल उथले, अस्पष्ट या एसईओ के लिए अनुकूलित होते हैं न कि सटीक विवरण के लिए, जिससे मॉडल के लिए सूक्ष्म दृश्य अवधारणाओं जैसे चेहरे की विशेषताओं को सीखना मुश्किल हो जाता है। (मूल स्रोत https://rom1504.github.io/ था, जो अब अस्तित्वहीन है).

अतः, चूंकि एक मौलिक समाधान कभी भी व्यावहारिक नहीं हो सकता है, एलएलएम/वीएलएम हॉलुसिनेशन को काम के चारों ओर और समझौतों द्वारा कम करना अब साहित्य में एक मजबूत उप-धारा बन गया है।

इस सप्ताह के दौरान प्रस्तुत की गई नई चीनी तकनीक, लेखकों का कहना है कि यह विभिन्न वास्तुकला और विविध स्थितियों में परीक्षण किया गया था, और ‘हॉलुसिनेशन प्रदूषण’ को कम करने का एक उपयोगी तरीका संकेत दे सकता है।

वे कहते हैं:

‘विभिन्न बेंचमार्क पर व्यापक प्रयोग यह दिखाते हैं कि हमारा तरीका वस्तु, विशेषता, और संबंध स्तर पर हॉलुसिनेशन को काफी कम करता है, जबकि रिकॉल और कैप्शन की समृद्धि को बड़े पैमाने पर संरक्षित करता है।’

यह नया पत्र हॉलुसिनेशन को दबाने के लिए उन्हें उजागर करना: वीएलएम के प्रतिनिधित्व को संपादित करने के लिए उत्पन्न एंकर शीर्षक से है, और चीन विज्ञान और प्रौद्योगिकी विश्वविद्यालय और नानजिंग विश्वविद्यालय के तीन शोधकर्ताओं से है।

विधि

लेखकों ने हॉलुसिनेशन को उजागर करने और दबाने के लिए एक अंत-से-अंत पाइपलाइन का आविष्कार किया है, जो नीचे दिखाया गया है:

पूरी पाइपलाइन का एक चित्रण। एक दृश्य-भाषा मॉडल पहले इनपुट छवि से एक कैप्शन उत्पन्न करता है, जिसमें हॉलुसिनेटेड सामग्री शामिल हो सकती है। यह कैप्शन फिर एक पाठ-से-छवि मॉडल का उपयोग करके एक पुनर्निर्मित छवि का उत्पादन करने के लिए उपयोग किया जाता है, जिससे कोई भी हॉलुसिनेशन अधिक दिखाई देने लगता है। मूल और पुनर्निर्मित छवियों से एम्बेडिंग निकाली जाती है और डिकोडर के अंदर समायोजन के लिए उपयोग की जाती है, जिससे मॉडल हॉलुसिनेटेड विवरण को दबा सकता है जबकि कैप्शन की गुणवत्ता को बनाए रखता है।

वास्तविक इनपुट छवि से, एक दृश्य-भाषा मॉडल एक विवरणात्मक कैप्शन उत्पन्न करता है जिसमें आविष्कृत वस्तुएं या संबंध शामिल हो सकते हैं। यह कैप्शन फिर एक पाठ-से-छवि जनरेटर में डाला जाता है ताकि एक पुनर्निर्मित छवि बनाई जा सके जो ठीक वैसी ही दिखती है जैसा कैप्शन वर्णित करता है। मूल और पुनर्निर्मित छवियों की तुलना करके, बनावटी सामग्री स्पष्ट और मापने योग्य हो जाती है, जिससे प्रणाली को लक्ष्य और कम करने के लिए सूक्ष्म त्रुटियों को बदलने में मदद मिलती है।

मॉडल को ‘आविष्कार’ विवरण से दूर करने के लिए, प्रणाली दो संस्करणों की तुलना करती है: मूल और एक पुनर्निर्मित जो कैप्शन पर आधारित है। प्रत्येक छवि को एक कompact एम्बेडिंग में परिवर्तित किया जाता है जो इसकी सामग्री को पकड़ता है।

मूल छवि एक विश्वसनीय संदर्भ के रूप में कार्य करती है, जबकि पुनर्निर्मित एक हॉलुसिनेशन को उजागर करती है जहां वे हो सकते हैं। एम्बेडिंग की तुलना करके, मॉडल अपने आंतरिक प्रतिनिधित्व को मूल के करीब और पुनर्निर्मित से दूर ले जाने के लिए सीखता है, जिससे यह स्वयं को स्वचालित रूप से सही करता है। चूंकि यह प्रक्रिया हाथ से तैयार किए गए नियमों या बाहरी डेटा पर निर्भर नहीं करती है, यह पूरी तरह से स्व-पर्यवेक्षित रहती है।

पत्र में कहा गया है:

‘एमएलएलएम में हॉलुसिनेशन का पता लगाना मुश्किल है क्योंकि वे भाषाई रूप से अच्छी तरह से बने होते हैं और अक्सर पाठ स्तर पर वफादार विवरण से भिन्न नहीं होते हैं। असंगति भाषा की संभावना में नहीं है, लेकिन दृश्य साक्ष्य के साथ मिलान में है, जिस पर मॉडल आमतौर पर असंवेदनशील होता है। ‘

‘इसे संबोधित करने के लिए, हम एक हॉलुसिनेशन एक्सपोजर तंत्र पेश करते हैं जो हॉलुसिनेशन को स्पष्ट और दिखाई देने वाले संकेतों में परिवर्तित करने के लिए उत्पन्न पुनर्निर्माण का लाभ उठाता है।’

दिए गए इनपुट छवि और इसके कैप्शन के साथ, प्रणाली FLUX.1-dev पाठ-से-छवि मॉडल का उपयोग करके केवल कैप्शन से एक पुनर्निर्मित छवि बनाती है। यह पुनर्निर्मित छवि कैप्शन के अर्थ को बढ़ाती है, जिससे कोई भी गलत विवरण अधिक स्पष्ट हो जाता है। ये बढ़े हुए त्रुटियां फिर से उपयोगी संकेतों के रूप में कार्य करती हैं जो मॉडल को अपनी खुद की त्रुटियों को पहचानने और सही करने में मदद करती हैं।

अपने दृष्टिकोण का परीक्षण करने के लिए, लेखकों ने कैप्शन में हॉलुसिनेशन इंजेक्ट किए और पाठ-से-छवि मॉडल का उपयोग करके पुनर्निर्मित छवियां उत्पन्न कीं। ये छवियां फिर LLaVA द्वारा फिर से कैप्शन की गईं, और मूल और हॉलुसिनेटेड कैप्शन के बीच सेमेंटिक समानता का मूल्यांकन किया गया:

हॉलुसिनेशन को बढ़ाने के तंत्र द्वारा सूक्ष्म त्रुटियों को दिखाई देने में मदद करने का एक चित्रण। प्रत्येक बिंदु एक छवि-कैप्शन जोड़े के लिए मूल और पुनर्निर्मित छवियों के कैप्शन के बीच समानता दिखाता है। नारंगी रेखा सीधे मूल और हॉलुसिनेटेड कैप्शन के बीच समानता को मापती है, जो उच्च रहती है और छोटी त्रुटियों को छुपाती है; नीली रेखा पुनर्निर्माण के बाद समानता को मापती है, जो तेजी से गिरती है, दिखा रही है कि प्रक्रिया छिपी हुई हॉलुसिनेशन को स्पष्ट सेमेंटिक मार्कर में परिवर्तित करती है जो पता लगाया और सही किया जा सकता है।

पुनर्निर्माण के बाद समानता तेजी से गिरती है, जो दिखाती है कि प्रक्रिया सूक्ष्म त्रुटियों को अधिक दिखाई देने में मदद करती है।

डेटा और परीक्षण

नई विधि की प्रभावशीलता को मान्य करने में तीन उपयुक्त बेंचमार्क का उपयोग शामिल था: कैप्शन हॉलुसिनेशन मूल्यांकन छवि प्रासंगिकता के साथ (CHAIR); एमएलएलएम मूल्यांकन बेंचमार्क (MME); और पूलिंग-आधारित वस्तु जांच मूल्यांकन (POPE).

CHAIR रिलीज़ पत्र से: दो अग्रणी कैप्शनिंग सिस्टम, TopDown और NBT, द्वारा उत्पन्न हॉलुसिनेटेड वस्तुओं के उदाहरण, जहां प्रत्येक मॉडल छवि में मौजूद नहीं होने वाले दृश्य तत्वों का आविष्कार करता है, जैसे लैपटॉप, सिंक, या सर्फबोर्ड। स्रोत: https://arxiv.org/pdf/1809.02156

मानक मेट्रिक्स जैसे हॉलुसिनेशन दर या रिकॉल भ्रामक हो सकते हैं, क्योंकि एक मॉडल हॉलुसिनेशन से बचने के लिए सिर्फ छोटे या अस्पष्ट कैप्शन उत्पन्न कर सकता है। हॉलुसिनेशन और रिकॉल के बीच व्यापार के लिए, एक संयुक्त मेट्रिक्स हॉलुसिनेशन और रिकॉल (HAR@β) का उपयोग किया गया था, जो कैप्शन को उनकी सटीकता और पूर्णता के आधार पर स्कोर करता है, और जो संतुलन को समायोजित करने की अनुमति देता है कि क्या त्रुटियों से बचना या अधिक विवरण शामिल करना अधिक महत्वपूर्ण है।

POPE का उपयोग संदर्भ-संवेदनशील वस्तु हॉलुसिनेशन का मूल्यांकन करने के लिए किया गया था, और MME का उपयोग विशेषता स्तर के हॉलुसिनेशन का मूल्यांकन करने के लिए किया गया था, दोनों को हाँ-नहीं निर्णय कार्यों के रूप में फ्रेम किया गया था।

प्रयोग विभिन्न प्रतिनिधि डेटासेट पर किए गए थे, जिसमें फ्लक्स मॉडल और LLaVA-v1.5-7B संस्करण का उपयोग किया गया था। उपयोग किए गए डेटासेट थे माइक्रोसॉफ्ट COCO; A-OKVQA; और GQA.

मॉडल की दूसरी परत के लिए लेटेंट संपादन किया गया था, पूर्व संबंधित कार्य के अनुसार, जबकि हाइपरपैरामीटर और तापमान सभी मॉडल में सुसंगत थे।

CHAIR पर प्रारंभिक परिणाम नीचे प्रस्तुत किए गए हैं*:

CHAIR बेंचमार्क पर हॉलुसिनेशन मिटाने के लिए प्रदर्शन, कई मेट्रिक्स का उपयोग करके मूल्यांकित।

इन परिणामों में, लेखक टिप्पणी करते हैं:

‘हमारा तरीका लगातार अन्य बेसलाइन को CHAIR_S और CHAIR_I दोनों पर बेहतर प्रदर्शन करता है, अपनी हॉलुसिनेशन को दबाने में इसकी श्रेष्ठ प्रभावशीलता का प्रदर्शन करता है। जबकि लगभग सभी तरीके हॉलुसिनेशन को दबाने के दौरान रिकॉल को कम करते हैं, जो विश्वास और सूचनात्मकता के बीच एक व्यापार को दर्शाता है, हमारा तरीका सबसे छोटी गिरावट प्राप्त करता है। ‘

‘यह दर्शाता है कि हमारा तरीका एक विस्तृत श्रृंखला के मूल वस्तुओं को पकड़ता है। HAR@β मेट्रिक्स के साथ, हमारा तरीका उच्चतम स्कोर प्राप्त करता है, अपनी हॉलुसिनेशन को कम करने और कवरेज को बनाए रखने की क्षमता को उजागर करता है।’

शोधकर्ता इन मजबूत परिणामों को दोहरे पर्यवेक्षण सेटअप के लिए जिम्मेदार ठहराते हैं, जहां मूल छवि से साफ सेमांटिक्स को मजबूत किया गया था, उसी समय पुनर्निर्मित छवि से भ्रामक संकेतों को दबा दिया गया था। चूंकि समायोजन केवल हॉलुसिनेशन से संबंधित दिशा पर लक्षित था, प्रतिनिधित्व का बाकी हिस्सा संरक्षित रहा, जिससे प्रणाली त्रुटियों को सही कर सकती है बिना विवरण या सूचनात्मकता को त्यागे।

विभिन्न कॉन्फ़िगरेशन और डेटासेट पर POPE बेंचमार्क पर प्रदर्शन की तुलना।

POPE पर परिणामों के बारे में, ऊपर दिखाए गए परिणाम तालिका में, पत्र में कहा गया है:

‘यह देखा जा सकता है कि हमारा तरीका सभी सेटिंग्स में लगातार सर्वश्रेष्ठ प्रदर्शन प्राप्त करता है। विशेष रूप से, हमारा तरीका औसतन +5.95% सटीकता और +6.85% F1 स्कोर प्राप्त कर सकता है, जो अन्य प्रशिक्षण-मुक्त दृष्टिकोणों को एक बड़े अंतर से पार करता है। ‘

‘अतः, ये परिणाम यह दर्शाते हैं कि हमारा तरीका विभिन्न कठिनाई स्तरों पर एक विश्वसनीय और सामान्य समाधान प्रदान करता है।’

MME पर तीसरे परीक्षण दौर से प्रदर्शन तुलना।

अंतिम मुख्य परीक्षण MME पर था, जिसके परिणाम ऊपर दिखाए गए हैं। हालांकि, अन्य छूटों के बीच, यह ‘ओपेरा’ विधि का उल्लेख करता है, जो मुख्य पत्र या परिशिष्ट में कहीं भी परिभाषित नहीं है। हालांकि लेखक MME पर मजबूत प्रदर्शन का दावा करते हैं, पर्याप्त परिभाषाओं के बिना विधियों के, हम शायद परिणाम अनुभाग को यहीं छोड़ दें।

LLaVA-v1.5-7B का उपयोग करके MME बेंचमार्क से एक चित्रण, जो दिखाता है कि कैसे बेसलाइन मॉडल एक हॉलुसिनेटेड उत्तर का उत्पादन करता है, जबकि प्रस्तावित तरीका सही प्रतिक्रिया देता है, पुनर्निर्मित छवि हॉलुसिनेशन को अधिक स्पष्ट बनाती है।

निष्कर्ष

हालांकि यह पत्र स्पष्ट रूप से जल्दबाजी में तैयार किया गया है, और पिछले 12 महीनों में साहित्य में बढ़ती हुई संरचना, फोकस और स्पष्टता की कमी से पीड़ित है, जो शायद अकादमिक अनुसंधान में एआई के तेजी से बढ़ते उपयोग से संबंधित नहीं हो सकता है, प्रस्तुत किए गए केंद्रीय तंत्र अभी भी चतुर रहता है।

जबकि यह अंत-से-अंत दृष्टिकोण पुनः प्रशिक्षण की आवश्यकता नहीं है, और विभिन्न वास्तुकला पर लागू होता प्रतीत होता है, यह देखना रोचक होगा कि अधिक परीक्षण उम्मीदवार; और यह भी विचार किया जाना चाहिए कि एक मध्यवर्ती प्रणाली कम से कम लेटेंसी और कुछ हद तक अतिरिक्त शक्ति की आवश्यकता को पेश करेगी – एक मामूली मुद्दा नहीं जब पैमाने पर।

* असामान्य रूप से, इस पत्र का मुख्य भाग परिणामों के साथ शीर्षक प्रस्तुत करता है जो केवल परिशिष्ट सामग्री में समझाया गया है, और नहीं मुख्य पत्र में – एक साहित्य में बढ़ती बुरी आदत, क्योंकि शोधकर्ता केंद्रीय थीसिस को 8-9 पृष्ठों तक सीमित करने का प्रयास करते हैं, भले ही सामग्री इसकी अनुमति न दे। किसी भी मामले में, हॉलुसिनेशन को मूल्यांकन करने के लिए उपयोग किया गया CHAIR बेंचमार्क एक 500-छवि MSCOCO सबसेट पर आधारित था जो पहले के कार्य से था। दो रूपों का उपयोग किया गया था: CHAIR_S, जो मापता है कि कितनी बार हॉलुसिनेशन किसी दिए गए कैप्शन में दिखाई देते हैं; और CHAIR_I, जो मापता है कि कितनी वस्तुएं हॉलुसिनेटेड हैं। HAR@β, मुख्य पत्र में पेश किया गया, हॉलुसिनेशन दबाने और वस्तु रिकॉल के F_β-शैली संयोजन के रूप में परिभाषित किया गया था।

मंगलवार, 30 सितंबर, 2025 को पहली बार प्रकाशित