Anderson का एंगल

फ़ॉन्ट रंग बदलने से AI तर्क हाइजैक हो सकता है

mm
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
AI-generated image (GPT-2): An industrial robotic hand reaches toward a large red emergency-style push button beneath a metal sign reading 'DO NOT PRESS!' in bright green lettering, with industrial equipment visible in the background. A yellow-and-black border surrounds the image, carrying the repeated text 'AI FANTASY INSIDE' and 'REALITY OUTSIDE'.

एक नया अध्ययन दर्शाता है कि सामान्य स्वरूपण AI तर्क को चुपचाप दिशा दे सकता है, जिससे वह शब्दों को नज़रअंदाज़ कर देता है, अर्थ को गलत पढ़ता है, और अलग निष्कर्ष निकालता है – बिना स्वयं पाठ को बदले।

 

मानवों की रंग की सांस्कृतिक कोडिंग दुनिया भर में भिन्न हो सकती है, लेकिन पश्चिमी धारणाएँ – अर्थात् ‘खतरे’ के लिए लाल, ‘ठीक’ के लिए हरा – एशियाई विज़न लैंग्वेज मॉडल्स (VLMs) में भी प्रमुख रहती हैं, विभिन्न रणनीतिक और/या आकस्मिक कारणों के लिए।

हम भी अलग नहीं हैं; ‘बुरे’ चीज़ों को सकारात्मक रंगों में रंगना, और ‘अच्छी’ चीज़ों को नकारात्मक रंगों में रंगना, मानवों की प्रतिक्रिया को अलग बनाता है। ऐसा ही चमक और कंट्रास्ट बदलने से भी होता है।

एक नया शोध सहयोग यह जांचता है कि यह AI मॉडलों पर भी कितना लागू होता है, प्रारंभिक संकेत मिलते हैं कि VLMs को पाठ के रंग को बदलकर, साथ ही सापेक्ष कंट्रास्ट और चमक बदलकर प्रभावित किया जा सकता है।

‘हमारे प्रयोग इस बात का व्यवस्थित विश्लेषण प्रदान करते हैं कि पाठ की निम्न-स्तरीय दृश्य शैली VLM के विज़न एन्कोडर में अर्थात्मक प्रतिनिधित्व को कैसे विकृत करती है। इसके अतिरिक्त, हम जांचते हैं कि ये लेटेंट-स्पेस परिवर्तन कैसे अंत‑से‑अंत VLMs में व्यवहारिक बदलाव के रूप में प्रकट होते हैं, दोनों विषयात्मक (सेंटिमेंट विश्लेषण) और वस्तुनिष्ठ (प्रश्न उत्तर) कार्यों में।’

‘इन परिणामों से पता चलता है कि दृश्य शैली VLMs में एक महत्वपूर्ण, पहले कम खोजी गई कमजोरी को उजागर करती है, और हम इसके VLM पाइपलाइन की मजबूती और सुरक्षा पर प्रभावों पर चर्चा करते हैं।’

नए कार्य की परियोजना साइट से, यह चित्रण दर्शाता है कि केवल पाठ के रंग से कैसे AI की शब्द की आंतरिक व्याख्या बदल सकती है। उदाहरण में शब्द 'bad' विभिन्न रंगों में दिखाया गया है, जहाँ हरा रंग उसके अर्थात्मक प्रतिनिधित्व को अधिक सकारात्मक व्याख्या की ओर ले जाता है, जबकि स्वयं पाठ अपरिवर्तित रहता है। Source - https://www.unite.ai/wp-content/uploads/2026/08/site-graph2.jpg

नए कार्य की परियोजना साइट से, यह चित्रण दर्शाता है कि केवल पाठ के रंग से कैसे AI की शब्द की आंतरिक व्याख्या बदल सकती है। उदाहरण में शब्द ‘bad’ विभिन्न रंगों में दिखाया गया है, जहाँ हरा रंग उसके अर्थात्मक प्रतिनिधित्व को अधिक सकारात्मक व्याख्या की ओर ले जाता है, जबकि स्वयं पाठ अपरिवर्तित रहता है।स्रोत

रंग मुझे आश्चर्यचकित करता है

वर्तमान में, उन अरबों व्यवसायों और व्यक्तियों के लिए जिनका महत्वपूर्ण खोज ट्रैफ़िक भारी तौर पर घटाया गया है AI सारांशों के आगमन के कारण खोज परिणामों में, साथ ही LLM को खोज भविष्यवक्ता के रूप में बदलने के बदलाव के साथ, इस प्रकार की हमले की सतहें वर्तमान में बहुत आकर्षक हैं।

चूँकि Reddit की निरंतर मानव चर्चा AI के ज्ञान को अद्यतित रखने के लिए महत्वपूर्ण है, यह सोशल मीडिया प्लेटफ़ॉर्म उन व्यवसायों और व्यक्तियों के लिए प्रमुख लक्ष्य बन गया है जो LLM ज्ञान में शामिल होना चाहते हैं; मार्गदर्शिकाएँ पहले ही उभरी हैं LLM को प्रभावित करने की प्रॉक्सी विधि के रूप में Reddit को ‘गेमिंग’ करने पर

इसी तरह, एक पुरानी चाल है कि ऐसा पाठ शामिल किया जाए जिसे केवल मशीनें देख सकें, ताकि आप LLM को छिपी, स्व‑सेवा निर्देश दे सकें, एक शैक्षणिक प्रतियोगिता जीतने के लिए, या परीक्षा परिणामों को प्रभावित करने के लिए।

हाल ही में, टाइम मैगज़ीन ने विज्ञापन डालना शुरू किया अपनी साइट के एक ‘गुप्त’ संस्करण में जो केवल AI वेब क्रॉलर्स को दिखाई देता है, जो लगातार साइटों को नई डेटा के लिए ट्रैमेलिंग करते हैं, जिससे विज्ञापनदाता AI प्रतिक्रियाओं में अधिक प्रमुखता (या अधिक सकारात्मक स्वर) प्राप्त करने के लिए भुगतान कर सकते हैं।

इसलिए कोई भी नया LLM/VLM कमजोरी, जैसे रंग‑कोडित प्रतिक्रियाएँ जिन्हें ‘स्विच’ करके परिणामों को हेरफेर किया जा सकता है, फ्रंटियर AI से मीडिया कथा को पुनः प्राप्त करने की कोशिश करने वाले विश्व के लिए स्पष्ट लक्ष्य बन जाती है।

उदाहरण के लिए, एक कंपनी जो प्रदूषक फैक्ट्री बनाना चाहती है जो स्थानीय जल की गुणवत्ता घटा सकती है, वह अपने मार्केटिंग सामग्री या प्रेस रिलीज़ में रंग‑कोडिंग जोड़ सकती है, ताकि अधिकांश लोग इसे ‘नकारात्मक’ मानें, इस प्रकार समाचार को अतिरिक्त रूप से मोड़ सके।

CSS और/या SEO तकनीकों का रणनीतिक उपयोग यहां तक कि सामान्य मानव पाठकों से रंग हेरफेर को छिपा सकता है, AI‑केवल स्टाइलशीट्स सर्व करके जो टेक्स्ट में रंग ज़ोर को लागू करती हैं, जो मनुष्यों को केवल काले पाठ के रूप में दिखती हैं।

‘ये संवेदनशीलताएँ VLM पाइपलाइन के लिए विश्वसनीयता और सुरक्षा जोखिम का संकेत देती हैं जो दस्तावेज़ या UI स्क्रीनशॉट्स को ग्रहण करती हैं: सौम्य या शत्रुतापूर्ण शैली मॉडल के निर्णयों को बिना मूल पाठ बदले दिशा दे सकती है।’

‘व्यावहारिक सुरक्षा उपायों में अनुमान से पहले रेंडर किए गए पाठ को सामान्यीकृत करना, इमेज‑आधारित उत्तरों को OCR‑निकाले गए पाठ के साथ क्रॉस‑चेक करना, और मूल्यांकन सूट में शैली‑अपरिवर्तनीयता जाँचें जोड़ना शामिल है।’

नया कार्य शीर्षक Seeing Red, Thinking Bad: Color Bias in Vision Language Models है, और यह जापान के नेशनल इंस्टीट्यूट ऑफ एडवांस्ड इंडस्ट्रियल साइंस एंड टेक्नोलॉजी (AIST), यूनिवर्सिटी ऑफ त्सुकुबा, यूनिवर्सिटी ऑफ टेक्नोलॉजी नूरेमबर्ग, और यूनिवर्सिटी ऑफ ऑक्सफ़ोर्ड के पाँच शोधकर्ताओं द्वारा किया गया है। इस पहल के साथ एक GitHub रिपॉजिटरी और एक परियोजना साइट भी उपलब्ध है।

विधि

यह पता लगाने के लिए कि केवल दृश्य प्रस्तुति मॉडल को कितना प्रभावित कर सकती है, शोधकर्ताओं ने ‘स्टेल्थ विज़ुअल प्रॉम्प्ट्स’ विकसित किए – पाठ स्वरूपण में सामान्य दिखने वाले परिवर्तन, जो AI को कोई स्पष्ट निर्देश नहीं देते।

यह इतना सरल हो सकता है कि सकारात्मक या नकारात्मक शब्दों का रंग बदलना, या गलत उत्तर को सही उत्तर से अधिक स्पष्ट रूप से उभारा जाए, जबकि वास्तविक शब्दावली को अपरिवर्तित रखा जाए।

प्रत्येक कार्य के लिए अलग-अलग पाठ उत्पन्न किया गया, जहाँ सेंटिमेंट परीक्षणों ने तटस्थ टेम्पलेट्स का उपयोग किया जिसमें सकारात्मक और नकारात्मक शब्द भरे गए, जबकि विज़ुअल क्वेश्चन एन्सरिंग (VQA) परीक्षणों ने SQuAD से प्रश्न‑संदर्भ जोड़े उपयोग किए:

नए कार्य में उपयोग किए गए SQuAD डेटासेट से मशीन‑समक्ष प्रश्नों के उदाहरण। Source - https://kohsukeide.github.io/color-bias-vlm/

नए कार्य में उपयोग किए गए SQuAD डेटासेट से मशीन‑समक्ष प्रश्नों के उदाहरण। स्रोत

परिणामी क्यूरेटेड संग्रह को VQA स्टेल्थ सेट कहा गया।

पाठ को मानकीकृत 800×600 पिक्सेल कैनवास पर रेंडर किया गया, एक स्थिर लेआउट के साथ, ताकि केवल लक्षित दृश्य शैली बदली जा सके। रंग और कंट्रास्ट को स्वतंत्र रूप से बदला गया, जहाँ रंग परीक्षण ने अर्थात्मक संघों को सीखा, और कंट्रास्ट परीक्षण ने दृश्य प्रमुखता को परखा।

चयनित शब्दों को पुनः रंगा गया, और पूरे अनुच्छेदों को कम कंट्रास्ट पर रेंडर किया गया; या, सेलियेंसी प्रतियोगिता सेटिंग में, गलत उत्तरों को सही उत्तरों से अधिक दृश्य रूप से प्रमुख बनाया गया।

इसलिए मॉडल प्रतिक्रियाओं में कोई भी परिवर्तन केवल दृश्य शैली के कारण माना जा सकता है, न कि मूल पाठ में बदलाव के कारण।

डेटा और परीक्षण

तीन अलग-अलग परीक्षण सेट बनाए गए ताकि विभिन्न तरीकों को दर्शाया जा सके जिनमें VLMs छवियों के रूप में प्रस्तुत पाठ को प्रोसेस करते हैं:

तीन दृश्य परीक्षण डिज़ाइनों का चित्रण। उदाहरण दिखाते हैं उन उत्तेजनाओं को जो यह परीक्षण करने के लिए उपयोग किए गए कि केवल दृश्य प्रस्तुति मॉडल तर्क को प्रभावित कर सकती है: (a) मिश्रित‑सेंटिमेंट पाठ जिसमें चयनित शब्दों को रंग बदलकर रंग पक्षपात का परीक्षण किया गया; (b) एक लंबा अनुच्छेद जो सकारात्मक और नकारात्मक भाषा को अलग करता है ताकि दस्तावेज़ संरचना के प्रभाव को आंका जा सके; और (c), एक विज़ुअल क्वेश्चन एन्सरिंग उदाहरण जहाँ एक गलत लेकिन अर्थतः समान डिकॉय उत्तर ('बीस मील') को उच्च कंट्रास्ट द्वारा अधिक दृश्य रूप से प्रमुख बनाया गया।

तीन दृश्य परीक्षण डिज़ाइनों का चित्रण। उदाहरण दिखाते हैं उन उत्तेजनाओं को जो यह परीक्षण करने के लिए उपयोग किए गए कि केवल दृश्य प्रस्तुति मॉडल तर्क को प्रभावित कर सकती है: (a) मिश्रित‑सेंटिमेंट पाठ जिसमें चयनित शब्दों को रंग बदलकर रंग पक्षपात का परीक्षण किया गया; (b) एक लंबा अनुच्छेद जो सकारात्मक और नकारात्मक भाषा को अलग करता है ताकि दस्तावेज़ संरचना के प्रभाव को आंका जा सके; और (c), एक विज़ुअल क्वेश्चन एन्सरिंग उदाहरण जहाँ एक गलत लेकिन अर्थतः समान डिकॉय उत्तर (‘बीस मील’) को उच्च कंट्रास्ट द्वारा अधिक दृश्य रूप से प्रमुख बनाया गया।स्रोत

शॉर्ट‑सेंटेंस सेंटिमेंट सेट शब्द‑स्तर रंग पक्षपात का परीक्षण करता है 100 छोटे वाक्यों का उपयोग करके जो तटस्थ टेम्पलेट्स से उत्पन्न होते हैं और सकारात्मक या नकारात्मक शब्द शामिल करते हैं। प्रत्येक वाक्य को 37 दृश्य संस्करणों में रेंडर किया गया, जिसमें काले‑पाठ बेसलाइन के साथ छह रंगों (लाल, हरा, नीला, पीला, सियान और मैजेंटा) के संयोजन, तीन तीव्रता स्तरों पर।

लॉन्ग‑सेंटेंस सेंटिमेंट सेट ने लंबी passages का उपयोग किया, जिसमें सकारात्मक और नकारात्मक भाषा को पाठ के विभिन्न भागों में अलग किया गया। यह निर्धारित करने के लिए था कि क्या व्यापक दस्तावेज़ संरचना और स्थितीय प्रभाव, जैसे प्राइमसी या रीसेंसी (स्थिति‑आधारित पक्षपात, जहाँ जानकारी जो दस्तावेज़ में पहले या बाद में आती है उसे अधिक वजन दिया जा सकता है), किसी भी रंग‑प्रेरित पक्षपात से अधिक हो सकते हैं। वही 37 रंग स्थितियों को लागू किया गया।

VQA स्टेल्थ सेट में प्रश्नों और उनके संबंधित संदर्भ को छवियों के रूप में रेंडर किया गया, जिसके बाद दो कंट्रास्ट‑आधारित स्थितियों का परीक्षण किया गया: ग्लोबल कंट्रास्ट में, पूरे दस्तावेज़ की पठनीयता को क्रमशः कम कंट्रास्ट स्तरों पर रेंडर करके घटाया गया; और सेलियेंसी प्रतियोगिता में, या तो सही उत्तर, या एक अर्थतः समान डिकॉय शब्द (जो CLIP समानता से चुना गया) को उच्च कंट्रास्ट में रेंडर किया गया, जबकि बाकी पाठ को फीका किया गया – जिससे दृश्य ज़ोर पाठ में साक्ष्य के साथ प्रतिस्पर्धा कर सके।

मेट्रिक्स

प्रत्येक उदाहरण को POSITIVE, NEUTRAL या NEGATIVE के रूप में वर्गीकृत किया गया। इन वर्गीकरणों की तुलना एक पूरी‑काली बेसलाइन (सफ़ेद पृष्ठभूमि पर काला पाठ) से की गई ताकि यह निर्धारित किया जा सके कि केवल रंग ने भविष्यवाणियों को अधिक सकारात्मक या अधिक नकारात्मक परिणामों की ओर कितना बदल दिया।

VQA प्रयोगों का मूल्यांकन टोकन‑स्तर F1 स्कोर द्वारा किया गया, जहाँ भविष्यवाणी किए गए उत्तरों की तुलना स्वीकृत ग्राउंड ट्रुथ उत्तरों से की गई।

इंड्यूस्ड एरर रेट (IER), एक नया मेट्रिक, विशेष रूप से सेलियेंसी प्रतियोगिता परीक्षण के लिए प्रस्तुत किया गया, और इसका उद्देश्य यह मापना था कि जब पाठ की दृश्यता घटाई गई हो, तो दृश्य‑हाइलाइटेड डिकॉय उत्तर को (सही उत्तर के बजाय) कितनी बार चुना गया।

इसके अतिरिक्त, एक CLIP प्रतिनिधित्व प्रोब का उपयोग किया गया यह मापने के लिए कि रंग में परिवर्तन कैसे CLIP के एम्बेडिंग स्पेस में शब्द के अर्थात्मक प्रतिनिधित्व को बदलता है।

आगे, VLM‑आधारित ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) प्रॉक्सी का उपयोग किया गया यह आकलन करने के लिए कि व्यक्तिगत शब्दों को क्रमशः कम कंट्रास्ट स्तरों पर कितनी विश्वसनीयता से पढ़ा जा सकता है, जिससे यह बिंदु अनुमानित किया जा सके कि रेंडर किया गया पाठ प्रभावी रूप से अपठनीय कब हो जाता है।

मूल्यांकन चार ओपन‑सोर्स VLMs पर किया गया: LLaVA-v1.6-Mistral-7B; LLaVA-v1.6-Vicuna-7B; Qwen2-VL-7B-Instruct; और IDEFICS2-8B. लेखक जोर देते हैं कि ओपन‑सोर्स मॉडल्स को चुना गया ताकि प्रयोग स्थिर प्रॉम्प्ट, रेंडरिंग सेटिंग्स, और निर्धारक डिकोडिंग के तहत दोहराए जा सकें।

परिणाम

लेखकों ने प्रारंभ में शॉर्ट‑सेंटेंस सेंटिमेंट सेट पर रंग प्रॉम्प्ट्स का मूल्यांकन किया, शब्द‑स्तर रंग पक्षपात का उपयोग करते हुए, जहाँ सेंटिमेंट‑धारक शब्द बिखरे हुए थे:

चार Vision Language Models में रंग स्वरूपण द्वारा उत्पन्न सबसे बड़े सेंटिमेंट शिफ्ट दिखाने वाले परीक्षण परिणाम। मान पूरी‑काली बेसलाइन के सापेक्ष मापे गए हैं, जहाँ सकारात्मक और नकारात्मक कॉलम प्रत्येक दिशा में सबसे बड़े परिवर्तन दिखाते हैं, जबकि रेंज प्रत्येक मॉडल की कुल रंग‑प्रेरित पक्षपात के प्रति संवेदनशीलता को सारांशित करता है।

चार Vision Language Models में रंग स्वरूपण द्वारा उत्पन्न सबसे बड़े सेंटिमेंट शिफ्ट दिखाने वाले परीक्षण परिणाम। मान पूरी‑काली बेसलाइन के सापेक्ष मापे गए हैं, जहाँ सकारात्मक और नकारात्मक कॉलम प्रत्येक दिशा में सबसे बड़े परिवर्तन दिखाते हैं, जबकि रेंज प्रत्येक मॉडल की कुल रंग‑प्रेरित पक्षपात के प्रति संवेदनशीलता को सारांशित करता है।

इन परिणामों में, लेखक कहते हैं:

‘Qwen2-VL-7B सबसे बड़ा सकारात्मक पक्षपात दिखाता है जब सकारात्मक शब्दों को हरा/नीला रंग दिया जाता है (अधिकतम +0.42), और सबसे बड़ा नकारात्मक पक्षपात जब नकारात्मक शब्दों को लाल रंग दिया जाता है (न्यूनतम -0.48)।’

‘कुल मिलाकर संवेदनशीलता मॉडल के अनुसार काफी भिन्न होती है: Qwen2-VL-7B सबसे बड़ा कुल रेंज (0.90) दिखाता है, इसके बाद IDEFICS2-8B (0.52), जबकि LLaVA वैरिएंट्स बहुत छोटे रेंज (0.04–0.12) दर्शाते हैं, जो इस सेटिंग में शब्द‑स्तर रंग शैली के प्रति तुलनात्मक रूप से कम संवेदनशीलता को इंगित करता है।’

‘हम एक स्पष्ट संवेदनशीलता स्पेक्ट्रम देखते हैं: Qwen2-VL-7B सबसे बड़े रंग‑प्रेरित शिफ्ट दिखाता है, जबकि LLaVA वैरिएंट्स तुलनात्मक रूप से मजबूत हैं।’

नीचे के अतिरिक्त परिणाम दर्शाते हैं कि रंग प्रभाव समान नहीं है: Qwen2-VL-7B सबसे अधिक संवेदनशील साबित हुआ, जहाँ हरा और नीला पाठ लगातार सकारात्मक शब्दों को हाइलाइट करने पर सेंटिमेंट को अधिक सकारात्मक निर्णय की ओर ले जाता है, जबकि लाल पाठ नकारात्मक शब्दों को हाइलाइट करने पर भविष्यवाणियों को अधिक नकारात्मक दिशा में ले जाता है:

चार Vision Language Models में रंग‑प्रेरित सेंटिमेंट शिफ्ट की तुलना करने वाले परीक्षण परिणाम। ग्राफ़ दर्शाते हैं कि विभिन्न पाठ रंगों ने पूरी‑काली बेसलाइन की तुलना में सेंटिमेंट भविष्यवाणियों को कैसे बदला, जहाँ लंबवत अक्ष प्रत्येक शिफ्ट के आकार और दिशा को दर्शाता है। Qwen2-VL-7B ने सबसे मजबूत रंग संवेदनशीलता दिखाई, जबकि दोनों LLaVA मॉडल तुलनात्मक रूप से स्थिर रहे।

चार Vision Language Models में रंग‑प्रेरित सेंटिमेंट शिफ्ट की तुलना करने वाले परीक्षण परिणाम। ग्राफ़ दर्शाते हैं कि विभिन्न पाठ रंगों ने पूरी‑काली बेसलाइन की तुलना में सेंटिमेंट भविष्यवाणियों को कैसे बदला, जहाँ लंबवत अक्ष प्रत्येक शिफ्ट के आकार और दिशा को दर्शाता है। Qwen2-VL-7B ने सबसे मजबूत रंग संवेदनशीलता दिखाई, जबकि दोनों LLaVA मॉडल तुलनात्मक रूप से स्थिर रहे।

कागज में बताया गया है कि अधिक तीव्र रंग सामान्यतः इन प्रभावों को बढ़ाता है: IDEFICS2-8B ने समान पैटर्न दिखाया, हालांकि कम स्तर पर, जबकि दोनों LLaVA वैरिएंट्स अधिकांश रंगों और तीव्रताओं में अपने बेसलाइन के करीब रहे, जो रंग‑आधारित हेरफेर के प्रति बहुत अधिक प्रतिरोध दर्शाता है।

शोधकर्ताओं ने फिर लंबी passages का परीक्षण किया, जहाँ सकारात्मक और नकारात्मक भाषा को Long-sentence Sentiment Set के विभिन्न आधों में अलग किया गया, जिससे दस्तावेज़ संरचना को रंग पक्षपात के साथ मापा जा सके। प्रयोगों ने निर्धारित किया कि प्रत्येक मॉडल अधिकतर शुरुआत (प्राइमसी) या अंत (रीसेंसी) पर निर्भर करता है।

दस्तावेज़ संरचना अक्सर रंग संकेतों से अधिक प्रभावी रही: Qwen2-VL-7B और LLaVA-Mistral-7B ने पाठ के दूसरे आधे को प्राथमिकता दी, जबकि IDEFICS2-8B और LLaVA-Vicuna-7B अधिकतर पहले आधे पर निर्भर रहे:

चार Vision Language Models ने लंबी passages का विश्लेषण करते समय दस्तावेज़ स्थिति पर कैसे निर्भर किया, यह दर्शाने वाले परीक्षण परिणाम। 'पोज़िशनल स्ट्रेटेजी' दर्शाता है कि भविष्यवाणियाँ पाठ के पहले आधे (प्राइमसी) या दूसरे आधे (रीसेंसी) का अनुसरण करती हैं; 'एडहेरेंस' दिखाता है कि वह रणनीति कितनी लगातार लागू हुई; और 'कलर बायस रेंज' इन संरचित स्थितियों में पाठ रंग के शेष प्रभाव को मापता है।

चार Vision Language Models ने लंबी passages का विश्लेषण करते समय दस्तावेज़ स्थिति पर कैसे निर्भर किया, यह दर्शाने वाले परीक्षण परिणाम। ‘पोज़िशनल स्ट्रेटेजी’ दर्शाता है कि भविष्यवाणियाँ पाठ के पहले आधे (प्राइमसी) या दूसरे आधे (रीसेंसी) का अनुसरण करती हैं; ‘एडहेरेंस’ दिखाता है कि वह रणनीति कितनी लगातार लागू हुई; और ‘कलर बायस रेंज’ इन संरचित स्थितियों में पाठ रंग के शेष प्रभाव को मापता है।

रंग अभी भी कुछ मॉडलों को प्रभावित करता रहा, विशेष रूप से IDEFICS2-8B को, लेकिन संरचित पाठ में इसका प्रभाव कम हो गया।

यह समझने के लिए कि रंग परिवर्तन शब्दों को बदले बिना सेंटिमेंट को कैसे बदल सकता है, शोधकर्ताओं ने CLIP सेमांटिक प्रोजेक्शन विश्लेषण का उपयोग करके मॉडल की आंतरिक दृश्य प्रतिनिधित्व पर रंग के प्रभाव की जांच की। नीचे दिखाया गया है कि शब्द के रंग को बदलने से उसके अर्थात्मक प्रतिनिधित्व में कई अवधारणात्मक आयामों में निरंतर बदलाव आया:

छह शब्दों के आंतरिक अर्थात्मक प्रतिनिधित्व को पाठ रंग कैसे बदलता है, यह दर्शाने वाले परीक्षण परिणाम। ग्राफ़ 'warm', 'cold', 'safe', 'dangerous', 'good' और 'bad' शब्दों को सुरक्षा, वैलेन्स, तापमान और भावना अक्षों पर ट्रैक करते हैं, यह दर्शाते हुए कि केवल रंग बदलने से उनके आंतरिक प्रतिनिधित्व में व्यवस्थित परिवर्तन हुआ, जबकि स्वयं पाठ अपरिवर्तित रहा।

छह शब्दों के आंतरिक अर्थात्मक प्रतिनिधित्व को पाठ रंग कैसे बदलता है, यह दर्शाने वाले परीक्षण परिणाम। ग्राफ़ ‘warm’, ‘cold’, ‘safe’, ‘dangerous’, ‘good’ और ‘bad’ शब्दों को सुरक्षा, वैलेन्स, तापमान और भावना अक्षों पर ट्रैक करते हैं, यह दर्शाते हुए कि केवल रंग बदलने से उनके आंतरिक प्रतिनिधित्व में व्यवस्थित परिवर्तन हुआ, जबकि स्वयं पाठ अपरिवर्तित रहा।

सबसे बड़े परिवर्तन ‘good’ बनाम ‘bad’ अक्ष पर दिखे। जैसा कि ऊपर दर्शाया गया, केवल शब्द को काले से हरे में बदलने से उसका आंतरिक अर्थ अधिक सकारात्मक दिशा में जाता है, जबकि नीला इसे विपरीत दिशा में ले जाता है – भले ही शब्द स्वयं कभी नहीं बदला। छोटे लेकिन लगातार परिवर्तन भावना, सुरक्षा और तापमान के लिए भी देखे गए।

CLIP का उपयोग केवल इन आंतरिक प्रतिनिधित्वों की जांच के लिए किया गया, न कि यह समझाने के लिए कि प्रत्येक Vision Language Model कैसे काम करता है। फिर भी, CLIP के भीतर देखी गई वही पैटर्न पहले के प्रयोगों में देखे गए रंग‑प्रेरित सेंटिमेंट परिवर्तनों से बहुत मिलती-जुलती थी।

शोधकर्ताओं ने अगला जांच किया कि क्या पाठ कंट्रास्ट बदलने से, रंग के बजाय, Vision Language Models को Visual Question Answering (VQA) के दौरान भी भटका सकता है। एक संभावित लेकिन गलत ‘डिकॉय’ उत्तर को हाइलाइट किया गया जबकि आसपास का पाठ फीका किया गया:

तीन पाठ‑सेलियेंसी स्थितियों में Visual Question Answering प्रदर्शन की तुलना करने वाले परीक्षण परिणाम। परिणाम छह कम‑कंट्रास्ट ग्रेस्केल स्तरों पर औसत किए गए हैं, और कॉलमों के बीच एकमात्र अंतर यह है कि कोई पाठ नहीं, सही उत्तर, या डिकॉय उत्तर उच्च‑कंट्रास्ट काले में रेंडर किया गया। सही उत्तर को हाइलाइट करने से लगातार F1 स्कोर बढ़े, जबकि डिकॉय को हाइलाइट करने से घटे।

तीन पाठ‑सेलियेंसी स्थितियों में Visual Question Answering प्रदर्शन की तुलना करने वाले परीक्षण परिणाम। परिणाम छह कम‑कंट्रास्ट ग्रेस्केल स्तरों पर औसत किए गए हैं, और कॉलमों के बीच एकमात्र अंतर यह है कि कोई पाठ नहीं, सही उत्तर, या डिकॉय उत्तर उच्च‑कंट्रास्ट काले में रेंडर किया गया। सही उत्तर को हाइलाइट करने से लगातार F1 स्कोर बढ़े, जबकि डिकॉय को हाइलाइट करने से घटे।

ऊपर के परिणाम दर्शाते हैं कि सही उत्तर को हाइलाइट करने से शुद्धता बढ़ी, जबकि डिकॉय को ज़ोर देने से घटा। इस प्रभाव को ऊपर उल्लेखित IER के माध्यम से मापा गया:

प्रत्येक Vision Language Model ने कितनी बार दृश्य रूप से प्रमुख लेकिन गलत उत्तर चुना, यह दर्शाने वाले परीक्षण परिणाम। कॉलम छह कम‑कंट्रास्ट ग्रेस्केल स्तर दिखाते हैं जो 'डिकॉय सेलियेंट' स्थिति में लागू किए गए हैं, जहाँ उच्च मान कम दृश्यता दर्शाते हैं। जैसे-जैसे आसपास का पाठ पढ़ने में कठिन होता गया, इंड्यूस्ड एरर रेट सामान्यतः बढ़ा, जबकि Qwen2-VL-7B अन्य मॉडलों की तुलना में लगातार अधिक प्रतिरोधी रहा।

प्रत्येक Vision Language Model ने कितनी बार दृश्य रूप से प्रमुख लेकिन गलत उत्तर चुना, यह दर्शाने वाले परीक्षण परिणाम। कॉलम छह कम‑कंट्रास्ट ग्रेस्केल स्तर दिखाते हैं जो ‘डिकॉय सेलियेंट’ स्थिति में लागू किए गए हैं, जहाँ उच्च मान कम दृश्यता दर्शाते हैं। जैसे-जैसे आसपास का पाठ पढ़ने में कठिन होता गया, इंड्यूस्ड एरर रेट सामान्यतः बढ़ा, जबकि Qwen2-VL-7B अन्य मॉडलों की तुलना में लगातार अधिक प्रतिरोधी रहा।

निष्कर्ष

यह देखना रोचक होगा कि क्या इस विशेष मोड़ का दुरुपयोग किया जाएगा, विशेषकर क्योंकि यह देखना दिलचस्प होगा कि ‘रंग भ्रामकता’ को मानव पाठकों के लिए स्पष्ट हुए बिना कैसे डाला जा सकता है।

हालांकि AI वेब स्क्रैपर जो वास्तव में पृष्ठ रेंडर करते हैं, उन्हें ‘वैकल्पिक’ CSS दी जा सकती है जो पाठ के चयनित भागों में रंग बदल देगी, लेकिन यह काफी हद तक वेब स्क्रैपर की संवेदनशीलता पर निर्भर करता है; यदि स्क्रैपर केवल कोड (HTML) और पाठ (पृष्ठ सामग्री) के लिए HTML निकालता है, तो वह CSS को नजरअंदाज कर सकता है और रंगों के बारे में कभी नहीं जान पाएगा। फिर भी, लालची स्क्रैपर नई CSS भी चाह सकता है, जिससे रेंडरिंग और पुनः‑रंगाई संभव हो सके।

वैकल्पिक रूप से, चयनात्मक रूप से पुनः‑रंगाए गए पाठ वाले पुस्तकें या पत्रिकाएँ विश्वसनीय रिपॉजिटरी जैसे The Internet Archive (एक बहुत लोकप्रिय लक्ष्य) पर अपलोड की जा सकती हैं, यहाँ तक कि पुराने कार्यों के स्कैन के रूप में भी प्रस्तुत की जा सकती हैं। वर्तमान प्रथाओं में इंजेक्शन के कई मार्ग मौजूद हैं, और यह केवल इस नए और विशेष रूप से रंगीन दृष्टिकोण तक सीमित नहीं है।

पहली बार प्रकाशित सोमवार, 17 अगस्त, 2026

मशीन लर्निंग पर लेखक, मानव इमेज सिंथेसिस में डोमेन विशेषज्ञ। मेटाफिजिक.ai में रिसर्च कंटेंट के पूर्व प्रमुख, जब तक कि इसका डीएनजीई के ब्रह्मा.ai में विलय नहीं हो गया।
पोर्टफोलियो साइट: martinanderson.ai
संपर्क: [email protected]