चेन-ऑफ-थॉट (CoT) तर्क में छवियों का उपयोग करने वाली एआई

हम अक्सर तस्वीरों में सोचते हैं—खैर, हममें से ज़्यादातर लोग ऐसा करते हैं। मनुष्यों में दृश्य कल्पना की कमज़ोर क्षमता का संबंध कम शैक्षणिक प्रदर्शन से है, शोध में यह दिखाया गया है। याद रखने की बात करें (यानी चीज़ों को याद रखने की हमारी ज़रूरत, एआई की मुश्किल की नहीं), तो सशक्त या सजीव चित्रों की उल्लेखनीय अर्थगत शक्ति का इस्तेमाल सहस्राब्दियों से सीखने में मदद के लिए किया जाता रहा है:

एम्मा विलार्ड का “टेंपल ऑफ़ टाइम” (1846) एक शैक्षिक दृश्य-चित्रण है, जो कालक्रम को भौतिक स्थान में बदलता है और ऐतिहासिक कालखंडों तथा व्यक्तियों को पीछे की ओर जाती स्थापत्य परिप्रेक्ष्य-रचना में सजाता है। विलार्ड ने ऐसी छवियों को दृश्य स्मृति-सहायक के रूप में बनाया था। उनका मानना था कि चित्रमय निरूपण विद्यार्थियों को इतिहास की एक सुसंगत मानसिक तस्वीर बनाने में मदद कर सकते हैं। स्रोत

हालाँकि, स्मृति-सहायक तकनीकों का क्षेत्र डेटा ग्रहण से जुड़ा है, न कि उसके प्रसंस्करण या व्याख्या से। इन मामलों में लोग सोचने की उन ‘शैलियों’ के लिहाज़ से काफ़ी अलग-अलग होते हैं, जिनका वे सहारा लेते हैं।

मैं व्यक्तिगत रूप से आकारों में सोचता हूँ और जब से सोचने लगा हूँ, तब से ऐसा ही करता आया हूँ—दशकों, वर्षों, विचारों और लोगों को किसी न किसी तरह सापेक्ष ज्यामिति और आयतन के गतिशील खंडों के रूप में दर्शाता हूँ। कुछ लोग मुख्य रूप से संख्याओं में सोचते हैं; तो कुछ गंध या स्वाद में।

AI के लिए सिनेस्थीसिया के तरीकों की संभावित विविधता अधिक सीमित है; स्वाभाविक रूप से, Large Language Model (LLM) पाठ में सोच सकता है, क्योंकि पाठ उसका मूल एन्कोडिंग प्रकार है और यह एम्बेडिंग के स्तर से ऊपर होता है; और LLMs को शुद्ध चर-मूल्यों के बजाय संख्याओं को अवधारणाओं के रूप में एन्कोड करते हुए दिखाया गया है, जो ‘संख्याओं में सोचने’ की प्रवृत्ति दर्शाता है।

लेकिन मनुष्यों की तरह, LLM को किस हद तक ‘आकारों में सोचने’ या ‘छवियों में सोचने’ वाला कहा जा सकता है?

एक ही सवाल अलग-अलग भाषाओं में पूछने पर LLM से अलग-अलग जवाब मिलते हैं। इससे पता चलता है कि ये संबंध बहुत विशिष्ट और नाज़ुक हो सकते हैं, और किसी भाषा-क्षेत्र (यानी, ‘स्पेनिश’) के विशिष्ट पाठ में पहले से तय किए गए हो सकते हैं—बजाय इसके कि वे किसी ऐसे उच्चतर क्षेत्र को संबोधित करें जो भाषा से परे हो, फिर भी उसे समाहित करता हो*।

इसलिए, एक बहुमाध्यमी LLM (यानी विज़न लैंग्वेज मॉडल, या VLM), जो अपनी आंतरिक चेन-ऑफ-थॉट (विचार-श्रृंखला) प्रक्रियाओं के लिए केवल अपने आंतरिक उपयोग के लिए छवियाँ बना सकता है, उसे तार्किक रूप से लाभ हो सकता है (या कम-से-कम, शाब्दिक अर्थ में एक वैकल्पिक दृष्टिकोण मिल सकता है)।

नए दृष्टिकोण

इसी बात को ध्यान में रखते हुए, जर्मनी के एक हालिया शोध-सहयोग ने छवि-केंद्रित VLM पेश किया है, जिसका नाम ReImaGin है। यह छवि निर्माण को लचीले तर्क-तंत्र के रूप में इस्तेमाल करता है।

पहले के काम में छवि-आधारित घटकों को ऊपर से जोड़ा गया था, लेकिन ये सुविधाएँ न तो मूल कार्यप्रवाह का अभिन्न हिस्सा थीं, न ही उसके लिए आवश्यक। इसके विपरीत, लेखकों की नई प्रणाली को VLM की हालिया क्षमताओं का लाभ उठाने के लिए बनाया गया है, ताकि वे विशेषीकृत उपकरणों और तरीकों—जैसे गहराई का अनुमान लगाना—की कार्यक्षमता अपने हाथ में ले सकें।

नीचे दिए गए उदाहरण में, नए शोधपत्र—जिसका शीर्षक छवि निर्माण के साथ तर्क है—एआई को दो दृश्य (सबसे बाईं ओर की छवियाँ) समझने हैं। इनमें से किसी में भी कार्य हल करने के लिए ज़रूरी सारी जानकारी मौजूद नहीं है। इसलिए, मॉडल के पास जो जानकारी है, उसका उपयोग करके वह दृश्य की अधिक व्यापक और संपूर्ण तस्वीर समझ सकता है (नीचे बाईं ओर से तीसरे स्थान पर मौजूद, ‘निर्मित दृश्य-चित्रण’ उपशीर्षक वाला नक्शा)।

नए शोधपत्र का एक उदाहरण: ReImaGin दो अधूरे दृश्यों से ऊपर से दिखने वाला नक्शा बनाता है, जिससे मॉडल को तर्क करने के लिए एक एकीकृत दृश्य निरूपण मिलता है। स्रोत

ReImaGin किसी एक खास तरह के दृश्य रूपांतरण तक सीमित नहीं है। यह पहेली के गायब हिस्सों को पूरा कर सकता है; गिनती के लिए ढकी हुई चीज़ों को सामने ला सकता है; टक्कर का अनुमान लगाने के लिए प्रक्षेप-पथ बना सकता है; कई दृश्यों को मिलाकर स्थानिक नक्शे बना सकता है; अनुरेखण के लिए टूटी हुई रेखाओं को ठोस रेखाओं में बदल सकता है; और गहराई के आधार पर तर्क करने के लिए गहराई के नक्शे बना सकता है।

इससे भी अहम यह है कि प्रणाली अपने आंतरिक उपकरण-समूह के इस्तेमाल को नियंत्रित कर सकती है। यह VLM की हाल में उभरी उन क्षमताओं के अनुरूप है, जिनकी मदद से वे गहराई का अनुमान लगाने जैसी खास चुनौतियों से निपटने के लिए अपने-आप उपयुक्त उपकरणों का उपयोग करते हैं। ReImaGin की अधिकांश वर्णित कार्यक्षमता इन उपकरणों को कॉल करके सक्रिय की जाती है। generate_image यह एक ऐसा टूल है जो ज़रूरत पड़ने पर दृश्य स्तर पर हस्तक्षेप कर सकता है और इसके लिए किसी मानवीय निगरानी या आह्वान की आवश्यकता नहीं होती।

लेखक कहते हैं:

‘क्योंकि generate_image चूँकि यह मनमाने प्राकृतिक-भाषा निर्देशों को स्वीकार करता है, एजेंट कई तरह के रूपांतरण कर सकता है; सवाल यह है कि किसी दिए गए कार्य में वास्तव में कौन-सा रूपांतरण मददगार होगा।

‘[Standard] आम तौर पर वांछित रणनीति का प्रदर्शन करने वाले संदर्भगत उदाहरणों को हाथ से तैयार करके रूपांतरण तय किया जाता है (जैसे, गहराई का अनुमान लगाने के लिए गहराई का मानचित्र बनाना)। इसके लिए हर कार्य के लिए मैन्युअल प्रयास करना पड़ता है और नए कार्यों पर सामान्यीकरण सीमित हो जाता है।

‘[We] यह पूछा जा सकता है कि क्या ऐसी रणनीतियाँ अपने-आप खोजी जा सकती हैं। चूँकि रणनीति एजेंट तक उसके प्रॉम्प्ट के ज़रिए पहुँचती है, इसलिए रणनीति खोजने का अर्थ है प्रॉम्प्ट को बेहतर बनाना: हम एक पुनरावृत्त चक्र बनाते हैं, जिसमें एक प्रस्ताव मॉडल संभावित प्रॉम्प्ट तैयार करता है, उन्हें छोटे विकास-समुच्चय पर परखता है और देखी गई सफलताओं तथा विफलताओं के आधार पर उनमें सुधार करता है।’

तीन VLM और दृश्य तर्क के छह कार्यों पर किए गए परीक्षणों में ReImaGin ने बिना सहायता वाले तर्क और विशेषज्ञ कंप्यूटर-विज़न उपकरणों, दोनों से व्यापक रूप से बेहतर प्रदर्शन किया—और इसमें केवल एक उपकरण का इस्तेमाल हुआ।

कार्य-विधि

ReImaGin एक चक्र के रूप में काम करता है: हर चरण में VLM प्रश्न, मूल छवियों और अब तक बनाई गई किसी भी सामग्री पर विचार करता है और तय करता है कि आगे क्या करना है। इसमें छवि को काटने या उस पर कोई परत चढ़ाने जैसे सामान्य काम शामिल हो सकते हैं, या फिर generate_imageको कॉल करना, जो समस्या पर विचार करना आसान बनाने के लिए विशेष रूप से एक नई छवि बनाता है:

स्थानिक समस्याओं और दृश्य पहेलियों पर विचार करते हुए ReImaGin की चरण-दर-चरण प्रक्रिया का चित्रण। दोनों उदाहरणों में मॉडल विचार करते समय एक नई छवि बनाता है, फिर उत्तर तक पहुँचने के अगले चरणों के लिए उस छवि को अतिरिक्त इनपुट के रूप में इस्तेमाल करता है।

इसके बाद बनाई गई छवि फिर से VLM को दी जाती है और अगले तर्क-चरण के लिए उपलब्ध सामग्री का हिस्सा बन जाती है; यह प्रक्रिया दोहराई जा सकती है। ऊपर की छवि में स्थानिक कार्य के लिए इसके अलग-अलग पहलू दिखाए गए हैं: मॉडल पहले दो तस्वीरों को मिलाकर एक दृश्य बनाता है, फिर प्रश्न का उत्तर देने से पहले उस दृश्य को ऊपर से दिखने वाले मानचित्र में बदल देता है।

पहेली वाले कार्य में, यह पहेली का ऐसा बदला हुआ रूप बनाता है जिसमें गायब हिस्से को अलग करके दिखाया जाता है; फिर उत्तर पहचानने के लिए छवियों का पारंपरिक घटाव करता है।

इस तरह, छवि बनाना उपयोगकर्ता के लिए अंतिम उत्पाद तैयार करने के बजाय तर्क-प्रक्रिया का ही हिस्सा बन जाता है; दरअसल, बीच में बनाई गई ये छवियाँ केवल AI की COT प्रक्रियाओं के लिए होती हैं, अंतिम उपयोगकर्ता द्वारा सीधे देखे जाने के लिए नहीं।

हर चरण में VLM अब तक जुटाए गए संदर्भ के आधार पर अपनी अगली कार्रवाई खुद चुनता है। यह अगला तर्क-चरण हो सकता है; छवि पर कोई सामान्य कार्रवाई हो सकती है; या फिर generate_imageको दिया गया प्राकृतिक-भाषा निर्देश हो सकता है। चुने गए उपकरण से जो भी परिणाम मिलता है, उसे संदर्भ में जोड़ दिया जाता है। इससे मॉडल परिणाम की जाँच कर सकता है और तय कर सकता है कि उसे फिर से बदला जाए; किसी दूसरे उपकरण का इस्तेमाल किया जाए; या अंतिम उत्तर दिया जाए।

स्वायत्त क्षमता विकसित करना

एक बुनियादी चुनौती यह तय करना है कि किसी विशेष कार्य को वास्तव में आसान बनाने के लिए किस तरह की छवि चाहिए। ReImaGin एजेंट को अलग-अलग निर्देश देकर प्रयोग करता है, ज्ञात उत्तरों वाले उदाहरणों पर संभावित प्रॉम्प्ट जाँचता है और बेहतर प्रॉम्प्ट पाने के लिए सफल तथा असफल प्रयासों का उपयोग करता है। इस चक्र को बार-बार दोहराने से अंततः सबसे अच्छा प्रदर्शन करने वाली रणनीतियाँ मिलती हैं।

इस प्रक्रिया के दौरान तर्क मॉडल और छवि जनरेटर को दोबारा प्रशिक्षित नहीं किया जाता; केवल एजेंट द्वारा अपने उपकरणों के इस्तेमाल को नियंत्रित करने वाले निर्देशों को बेहतर बनाया जाता है। इसलिए शोधकर्ता इस प्रक्रिया को दृश्य तर्क की रणनीतियों की ‘स्वचालित खोज’ बताते हैं, जिसमें वे स्वयं कार्य-विशिष्ट रणनीतियाँ या तर्क के उदाहरण उपलब्ध नहीं कराते।

कॉन्फ़िगरेशन और परीक्षण

ReImaGin का मूल्यांकन दृश्य तर्क के छह कार्यों पर किया गया: गहराई का अनुमान (Blink – यह पहचानना कि दो बिंदुओं में से कौन-सा कैमरे के अधिक पास है); पहेली पूरी करना (Mira – छवि के गायब हिस्से के लिए सही टुकड़ा चुनना); आच्छादन के बावजूद वस्तुओं की गिनती (CAPTURe – छिपी हुई वस्तुओं समेत वस्तुओं की गिनती करना); टक्कर का पूर्वानुमान (Spatial457 – यह अनुमान लगाना कि गतिमान लक्ष्य किस वस्तु से टकराएगा); स्थानिक तर्क (MMSI – अलग-अलग दृश्यों में वस्तुओं के बीच संबंध तय करना); और पथ का अनुसरण – एक नया बेंचमार्क, जिसमें मॉडल को संख्याओं को अक्षरों से जोड़ने वाली टूटी हुई रेखाओं का अनुसरण करना होता है।

शोध-पत्र ‘MIRA, दृश्य विचार-श्रृंखला के लिए एक बेंचमार्क’ से, विचार-श्रृंखला प्रक्रियाओं में दृश्य कल्पना के प्रभावशाली उदाहरण। स्रोत

परीक्षण किए गए VLM बैकबोन थे Gemini-3.1-Pro; GPT-5; और खुले वज़न वाला Qwen-3.5-27B। छवियाँ मुख्य रूप से Nano-Banana-Pro से बनाई गईं; खुले वज़न वाले FLUX.2 [dev] और Qwen-Image-Edit-2511 का भी परीक्षण किया गया। छवि-निर्माण के परीक्षण-समय स्केलिंग के लिए चयनकर्ता के रूप में Gemini-3.1-Pro का उपयोग किया गया।

तुलना के लिए इस्तेमाल किए गए दो आधार मॉडलों में से, शोधपत्र के लेखकों द्वारा ‘No Tools’ नाम दिया गया ‘सामान्य’ VLM बिना किसी टूल या कोड निष्पादन के, सीधे क्वेरी और छवियों के आधार पर जवाब देता था। वहीं, 2024 में प्रस्तुत Visual Sketchpad ने इस मामले में विशेषज्ञता-प्राप्त दृष्टि और छवि-हेरफेर टूल का एक तयशुदा समूह उपलब्ध कराया—लेकिन खुला-छोर छवि-निर्माण नहीं।

MMSI के स्थानिक कार्य के लिए, दोनों आधार मॉडलों को ReImaGin के समान गणना-शक्ति दी गई: हर आधार मॉडल से 20 जवाब बनवाए गए और उनमें से सबसे अधिक बार दिए गए जवाब का उपयोग किया गया।

अवरोध-गणना को छोड़कर सभी कार्यों के प्रदर्शन का आकलन बहुविकल्पीय प्रश्नों में सटीकता के आधार पर किया गया। अवरोध-गणना का मूल्यांकन अनुमानित और वास्तविक वस्तु-संख्याओं की तुलना करते हुए सममित माध्य निरपेक्ष प्रतिशत त्रुटि से किया गया। परिणामों का तीन बार किए गए परीक्षणों के आधार पर औसत निकाला गया और मानक त्रुटि भी बताई गई।

तीन VLM और दृश्य तर्क के छह कार्यों में ReImaGin की तुलना No Tools और Visual Sketchpad से करने वाले परीक्षणों के परिणाम। अवरोध-गणना को छोड़कर, जहाँ कम त्रुटि बेहतर है, अधिक अंक बेहतर हैं। मॉडल और कार्य के अधिकांश संयोजनों में ReImaGin ने सर्वश्रेष्ठ परिणाम हासिल किया।

तीनों मॉडलों में मनुष्यों द्वारा तय की गई रणनीतियों के समान उदाहरणों का इस्तेमाल किया गया। अधिकांश कार्यों में ReImaGin ने दोनों आधार मॉडलों से बेहतर परिणाम दिए; पहेलियाँ पूरी करने, अवरोधों की गिनती करने और रास्ते का पता लगाने में उसका लाभ विशेष रूप से स्पष्ट था।

उदाहरण के लिए, GPT-5 के साथ पहेली हल करने की सटीकता No Tools के 29.5% और Visual Sketchpad के 16.7% से बढ़कर ReImaGin के साथ 44.9% हो गई। घटक-हटाकर किए गए परीक्षणों से पुष्टि हुई कि जनरेटिव छवि घटक प्रणाली के प्रदर्शन के लिए आवश्यक है।

Nano-Banana-Pro के स्थान पर खुले वज़न वाले छवि जनरेटरों का भी परीक्षण किया गया: FLUX.2 [dev] और Qwen-Image-Edit-2511 ने कुछ सरल कार्यों में तुलनीय परिणाम दिए, विशेष रूप से छवि के रिक्त हिस्से को भरने में, लेकिन गहराई का अनुमान लगाने और रास्ते का पता लगाने जैसे अधिक कठिन रूपांतरणों में उनके परिणाम कम सुसंगत थे। जब VLM के रूप में Qwen-3.5-27B का उपयोग किया गया, तब भी मिलते-जुलते परिणाम मिले:

Qwen-3.5-27B को VLM के रूप में इस्तेमाल करते हुए, छवि जनरेटरों की तुलना के परीक्षण-परिणाम। छह में से पाँच कार्यों में Nano-Banana-Pro ने सर्वश्रेष्ठ परिणाम हासिल किया, जबकि FLUX.2 [dev] और Qwen-Image-Edit-2511 ने कई कार्यों में No Tools से बेहतर परिणाम दिए।

लेखकों ने चार कार्यों पर गुणात्मक परीक्षण भी किए:

चार कार्यों के गुणात्मक उदाहरण दिखाते हैं कि ReImaGin का उपयोग Gemini-3.1-Pro की तर्क-प्रक्रिया को बेहतर बनाने के लिए कैसे किया गया। हर मामले में, कार्य को हल करने में मदद के लिए जनरेट किए गए दृश्य निरूपणों को तर्क-प्रक्रिया में शामिल किया गया।

ReImaGin हर मामले में भरोसेमंद नहीं था: कुछ स्थितियों में छवि जनरेटर ने गलत रूपांतरण किया, जैसे कि वस्तुओं को गलत जगहों पर दिखाने वाली फ़्लोर-प्लान; अन्य मामलों में, VLM ने सटीक रूप से जनरेट की गई छवि को बाद में गलत समझा।

जनरेट की गई 120 छवियों की मानवीय जाँच में पाया गया कि 75% में अनुरोधित रूपांतरण सही ढंग से किया गया था। जब यह रूपांतरण सही था, तो अंतिम जवाब 87% मामलों में सही था; इसके मुकाबले, जनरेट की गई छवि गलत होने पर यह 43% मामलों में सही था।

लेखकों का निष्कर्ष है:

‘हमारे परिणाम दो व्यापक निष्कर्षों की ओर संकेत करते हैं। पहला, छवि-निर्माण बहुआयामी तर्क-प्रक्रिया में कल्पना के एक सामान्य दृश्य तंत्र के रूप में काम कर सकता है, जिससे हर नए रूपांतरण के लिए अलग टूल विकसित करने की आवश्यकता घटती है।

‘दूसरा, इस दृष्टिकोण की प्रभावशीलता केवल अंतर्निहित मॉडलों पर ही नहीं, बल्कि इस बात का निर्णय लेने के लिए इस्तेमाल की गई तर्क-रणनीति पर भी निर्भर करती है कि क्या दृश्य रूप में दिखाना है और परिणाम का उपयोग कैसे करना है।

‘स्वचालित रणनीति खोज से मिले लाभ दिखाते हैं कि मॉडल दृश्य रूपांतरणों की अपनी समझ का इस्तेमाल करके, मनुष्यों द्वारा लिखी गई कार्य-विशिष्ट रणनीतियों या तर्क के बिना भी, प्रासंगिक रणनीतियाँ खोज सकते हैं।’

निष्कर्ष

इस अध्ययन में जिन स्व-टूलिंग संबंधी फैसलों की पड़ताल की गई है, वे एक दिलचस्प विकास हैं—खासकर इसलिए कि ऐसा लगता है कि VLM का विकास स्वाभाविक रूप से किसी भी सूरत में इसी दिशा में बढ़ रहा है। यह देखना दिलचस्प होगा कि क्या ऐसे सर्व-उद्देश्यीय VLM अंततः Segment पारिस्थितिकी तंत्र जैसे विशिष्ट टूल और फ्रेमवर्क जितना अच्छा प्रदर्शन कर पाएँगे; और क्या इसलिए इन ‘सहायक कार्यों’ तक ही सीमित रहने वाले लोग किसी छोटी-सी समस्या के लिए भारी हथियार का इस्तेमाल करते रह जाएँगे।

यह मानना काफ़ी मुश्किल है कि VLMs, स्थानीय फ़ाइन-ट्यूनिंग जैसे विशिष्ट समाधानों से आगे निकलने और उन पर अपनी बढ़त बनाए रखने के लिए आवश्यक अनुशासन विकसित कर पाएँगे। इसमें पूरे मॉडल को एक ही काम के लिए समर्पित कर दिया जाता है और इस प्रक्रिया में उसे अक्सर किसी भी दूसरे काम के लिए बेकार छोड़ दिया जाता है। समय ही बताएगा।

* चित्रात्मकता के क्षेत्र की एक विचारणीय परिभाषा, जिसे हम कोई भी भाषा-कौशल हासिल करने से बहुत पहले सीख लेते हैं।

पहली बार प्रकाशित: सोमवार, 28 सितंबर 2026