श्रृंखला-विचार तर्क ‘सजावटी’ सिद्ध होता है बड़े भाषा मॉडल में

नई शोध एक आसान तरीका प्रदान करती है यह निर्धारित करने के लिए कि सभी वर्तमान अग्रणी एआई भाषा मॉडलों के पॉलिश किए गए चरण-दर-चरण स्पष्टीकरण – जिनमें चैटजीपीटी और क्लॉड शामिल हैं – केवल ‘सजावटी’ हैं और आमतौर पर एआई द्वारा उत्तर तैयार करने के बाद तैयार किए जाते हैं।

पिछले वर्ष में, एआई का सामना करने वाली कंपनियों से उच्च प्रोफ़ाइल के अध्ययनों की एक श्रृंखला, जिनमें एंथ्रोपिक और एप्पल शामिल हैं, यह संकेत दिया कि तथाकथित ‘तर्क एआई’ अक्सर चरण-दर-चरण स्पष्टीकरण प्रदान करते हैं जो वास्तव में उनके उत्तरों को प्रभावित करने वाले नहीं होते।

विभिन्न कारणों से, बहस जल्द ही स्क्रैपी प्रतिक्रियाओं और विविध व्याख्याओं (समेत इस साइट पर) में विकसित हुई, जिससे यह प्रश्न अनसुलझा रह गया कि क्या श्रृंखला-विचार (सीओटी) तर्क केवल एक सजावटी फ्रिपरी है जो अंतिम उपयोगकर्ताओं को आश्वस्त करने के लिए डिज़ाइन की गई है, या वास्तविक तर्क प्रक्रिया का प्रमाण है।

चैटजीपीटी ‘अपना काम दिखाता है’ – लेकिन क्या यह पहले से ही उत्तर तैयार कर चुका है?

दिखाओ और बताओ

अब, एक दिलचस्प नई पेपर भारत से एक सस्ता और आसानी से पुनरावृत्ति योग्य तरीका प्रदान करता है यह मापने के लिए कि चैटजीपीटी और अन्य बड़े भाषा मॉडलों के इंटरफेस में दिखाए गए उन प्रभावशाली ‘निर्धारण एनिमेशन’ वास्तव में एआई को चरण-दर-चरण निष्कर्ष तक पहुंचने के लिए काम कर रहे हैं या नहीं।

नई शोध इलाहाबाद में भारतीय सूचना प्रौद्योगिकी संस्थान (आईआईआईटी एल्लाहाबाद) के दो शोधकर्ताओं से आता है, और दिल्ली में राष्ट्रीय इलेक्ट्रॉनिक्स और सूचना प्रौद्योगिकी संस्थान (एनआईईएलआईटी) से।

लेखकों ने पाया कि लगभग सभी मामलों में, प्रोप्राइटरी और ओपन-सोर्स एलएलएम दोनों में, उपयोगकर्ताओं को प्रस्तुत किए गए श्रृंखला-विचार तर्क ‘सजावटी’ हैं, और आमतौर पर एआई द्वारा उत्तर तैयार करने के बाद तैयार किए जाते हैं।

चैटजीपीटी5.4, क्लॉड ओपस 4.6-आर, और डीपसीक-V3.2 का परीक्षण करते हुए, लेखकों ने पाया कि 10-15 सीओटी संकेतों में से किसी एक को हटाने से उत्तर 17% से कम समय में बदलता है, और कि कोई एकल चरण अकेले सही उत्तर प्राप्त करने के लिए पर्याप्त था।

लेखकों का कहना है*:

‘स्वास्थ्य सेवा, वित्त, और कानून में एआई के लिए नियामक ढांचे ‘स्पष्ट’ प्रणालियों की मांग करते हैं। हमारे परिणाम सुझाव देते हैं कि मानक दृष्टिकोण – मॉडल से अपना काम दिखाने के लिए कहना – एक पारदर्शिता का भ्रम प्रदान करता है।

‘स्पष्टीकरणों में प्रवाह, डोमेन-उपयुक्त, और गलत हैं: वे तर्क का वर्णन करते हैं जो मॉडल ने वास्तव में नहीं किया है।

‘एक चिकित्सा एआई जो “ईोसिनोफिलिया एक एम्बोलिक प्रक्रिया का सुझाव देता है” लिखता है, जरूरी नहीं कि उसने ईोसिनोफिलिया पर विचार किया हो। यह प्रश्न स्टेम से उत्तर तक पैटर्न-मैच कर सकता है और तर्क को बाद में बना सकता है।

‘ईयू एआई अधिनियम (अनुच्छेद 13) के तहत, एक उच्च-जोखिम वाले एआई प्रणाली को “जुड़े तर्क के बारे में अर्थपूर्ण जानकारी” प्रदान करनी चाहिए। हमारे निष्कर्ष सुझाव देते हैं कि अधिकांश मॉडलों के सीओटी स्पष्टीकरण इस मानक को पूरा नहीं करते हैं – उत्तर तक पहुंचने में शामिल “तर्क” वास्तव में स्पष्टीकरण में वर्णित तर्क नहीं है। ‘

लेखकों ने यह भी देखा कि दो छोटे मॉडलों ने सामान्य पैटर्न को तोड़ दिया, लेकिन केवल विशिष्ट परिस्थितियों में: मिनिमैक्स-एम25 ने वास्तविक चरण-निर्भरता को भावना विश्लेषण में प्रदर्शित किया, जबकि किमी-क25 ने विषय वर्गीकरण में 39% सीओटी प्रसंस्करण की वास्तविक आवश्यकता दिखाई।

छोटे मॉडल अधिक प्रयास करते हैं

लेखकों ने दस एपीआई मॉडलों के अलावा कई छोटे ओपन-वेट मॉडलों का भी परीक्षण किया, जो 0.8 से 8 अरब पैरामीटर तक थे (जो आजकल बहुत मामूली है), और पाया कि ये छोटे एआई वास्तव में तर्क करते हैं, और वे दिखाए गए सीओटी आमतौर पर उत्तर तक पहुंचने के लिए आवश्यक होते हैं।

छोटे मॉडलों ने 55% चरण-तर्क की आवश्यकता दिखाई, जबकि बड़े मॉडलों में यह 11% थी। लेखकों का कहना है कि बड़े मॉडलों ने तर्क चरणों को पूरी तरह से बायपास कर दिया है, और उनके लिखित तर्क उनके वास्तविक तर्क प्रक्रिया को प्रतिबिंबित नहीं करते हैं।

लेखकों का कहना है:

‘एक मॉडल जो बेहतर होता है, उसे तर्क चरणों की कम आवश्यकता होती है – हालांकि यह तर्क को छोड़ने के लिए प्रशिक्षण डेटा वितरण में सबसे मजबूत उत्तर का चयन करने का एक अधिक कूटनीतिक तरीका है।

‘छोटे मॉडल गणित पर वफादारी से तर्क करते हैं क्योंकि उन्हें करना होगा – उन्हें पैरामेट्रिक ज्ञान की कमी है जो उन्हें तर्क चरणों को छोड़ने की अनुमति दे।

‘अग्रिम मॉडलों ने गणितीय पैटर्न को इतना आंतरिक कर लिया है कि स्पष्ट श्रृंखला-विचार तर्क अब अनावश्यक हो गया है। सीओटी अभी भी सटीकता में सुधार करता है (पीढ़ी को संरचित करने के द्वारा), लेकिन व्यक्तिगत चरण अब अद्वितीय जानकारी नहीं लाते हैं। ‘

विधि

मॉडलों का परीक्षण करने के लिए उपयोग की जाने वाली विधि तीन मानदंडों पर आधारित है;

आवश्यकता प्रत्येक सीओटी चरण को हटा देती है और फिर जांचती है कि क्या उत्तर बदलता है। कोई भी चरण जिसके हटाने से परिणाम बदलता है ‘आवश्यक’ माना जाता है; पर्याप्तता प्रत्येक चरण को अलग करती है और जांचती है कि क्या यह अकेले उत्तर प्राप्त कर सकता है, और कोई भी चरण जो पर्याप्त है ‘पर्याप्त’ माना जाता है; और क्रम संवेदनशीलता चरणों को मिलाती है और जांचती है कि क्या उत्तर बदलता है (क्योंकि वास्तविक तर्क क्रम पर निर्भर करना चाहिए, न कि केवल कीवर्ड पर)।

एक साथ लिया गया, उच्च आवश्यकता और निम्न पर्याप्तता वास्तविक चरण-दर-चरण तर्क को दर्शाते हैं, जबकि निम्न आवश्यकता और उच्च पर्याप्तता उन स्पष्टीकरणों को दर्शाते हैं जिन्हें हटाया, पुनर्व्यवस्थित या कम किया जा सकता है बिना परिणाम को प्रभावित किए।

लेखकों का कहना है कि यह विधि किसी भी आवश्यकता के बिना खुले-वेट मॉडलों के लिए उपयुक्त है, और यह कि पिछले अध्ययनों ने या तो खुले-वेट मॉडलों का उपयोग किया जो आंतरिक विश्लेषण की अनुमति देते थे, या सरल, द्विआधारी हाँ/नहीं उत्तरों का उपयोग किया जो एपीआई मॉडल की आंतरिक तर्क प्रक्रिया के बारे में बहुत कम बताते हैं।

न्यूनतम लागत

लेखकों ने वास्तविक तर्क को आवश्यकता और पर्याप्तता के माध्यम से परिभाषित किया, जिसमें उच्च आवश्यकता और निम्न पर्याप्तता का अर्थ है कि प्रत्येक चरण अद्वितीय महत्व रखता है। इसके विपरीत, सजावटी तर्क में निम्न आवश्यकता और उच्च पर्याप्तता होती है, जिसका अर्थ है कि चरणों को हटाया या अकेले उपयोग किया जा सकता है बिना उत्तर को बदले।

आवश्यकता का उपयोग अकेले यह स्पष्ट नहीं कर सकता है, क्योंकि कई वैध पथ हो सकते हैं। इसलिए, पर्याप्तता का उपयोग यह जांचने के लिए किया जाता है कि क्या कोई एकल चरण अकेले परिणाम को एन्कोड करता है, और क्रम संवेदनशीलता यह जांचती है कि क्या मॉडल क्रम पर निर्भर करता है या केवल सतही संकेतों पर।

दृष्टिकोण हस्तक्षेप-संगत स्पष्टीकरण (आईसीई) फ्रेमवर्क पर आधारित है, और केवल पाठ-इन, पाठ-आउट एपीआई एक्सेस की आवश्यकता होती है, और एक छह-चरण श्रृंखला के लिए 15 मूल्यांकन शामिल हैं, जिसकी लागत लगभग $1-2 प्रति मॉडल है।

आईसीई फ्रेमवर्क मॉडल व्यवहार को आवश्यकता और पर्याप्तता द्वारा तीन पैटर्न में वर्गीकृत करता है: सजावटी में निम्न आवश्यकता और उच्च पर्याप्तता होती है, जिसका अर्थ है कि चरण अनावश्यक हैं और उत्तर को हटाए बिना भी पहुंचा जा सकता है। यह अधिकांश मॉडलों और कार्यों में प्रमुख है; वास्तविक रूप से वफादार में उच्च आवश्यकता और उच्च पर्याप्तता होती है, जिसका अर्थ है कि प्रत्येक चरण वास्तविक संकेत लाता है (और, जैसा कि पहले उल्लेख किया गया है, मिनिमैक्स-एम2.5 में भावना विश्लेषण पर देखा जाता है); और संदर्भ-निर्भर में उच्च आवश्यकता और निम्न पर्याप्तता होती है, जिसका अर्थ है कि चरण केवल क्रम में एक साथ काम करते हैं (जो किमी-क2.5 और मिनिमैक्स में विषय वर्गीकरण पर, और छोटे मॉडलों में गणित के साथ देखा जाता है)।

परीक्षण

परीक्षण किए गए दस मॉडलों में चैटजीपीटी-5.4; क्लॉड ओपस 4.6-आर; डीपसीक-V3.2; जीपीटी-ओएसएस-120बी; किमी-क2.5; क्वेन3.5-397बी; क्वेन3.5-122बी; मिनिमैक्स-एम2.5; जीएलएम-5; और नेमोट्रॉन-अल्ट्रा (253बी पैरामीटर) शामिल थे।

प्रत्येक मॉडल का चार कार्यों पर परीक्षण किया गया था: भावना वर्गीकरण (एसएसटी-2 का उपयोग करके); गणितीय शब्द समस्याएं (जीएसएम8के का उपयोग करके); विषय वर्गीकरण (एजी न्यूज का उपयोग करके); और चिकित्सा प्रश्न-उत्तर (मेडक्यू का उपयोग करके)। प्रारंभिक परीक्षण भावना और गणित पर थे:

<img class=" wp-image-405574" src="https://www.unite.ai/wp-content/uploads/2026/03/table-1-3.jpg" alt="स्टेप-बाय-स्टेप तर्क को कैसे संभालते हैं दस प्रमुख भाषा मॉडलों के परीक्षण। 'आवश्यकता' यह ट्रैक करती है कि क्या चरण को हटाने से उत्तर बदलता है; 'पर्याप्तता' यह जांचती है कि क्या एक चरण अकेले उत्तर प्राप्त कर सकता है; और 'शफल' यह जांचता है कि क्या क्रम मायने रखता है। अधिकांश मॉडल एसएसटी-2 और जीएसएम8के पर आश्वस्त लेकिन गैर-आवश्यक स्पष्टीकरण प्रदान करते हैं, जबकि मिनिमैक्स-एम2.5 भावना पर अपने चरणों पर अधिक निर्भर करता है। दोनों मिनिमैक्स और किमी-क2.5 विषय वर्गीकरण पर अधिक वास्तविक चरण-दर-चरण तर्क दिखाते हैं। स्रोत – https://arxiv.org/pdf/2603.22816

लेखकों का कहना है:

‘अधिकांश मॉडल “सजावटी तर्क” (लकी स्टेप्स इन द आईसीई टैक्सोनॉमी) का प्रदर्शन करते हैं – एक पैटर्न जहां चरण आवश्यकता 17% से नीचे है और चरण पर्याप्तता दोनों भावना और गणित में 60% से अधिक है।

‘साधारण भाषा में: आप किसी भी तर्क चरण को हटा सकते हैं और उत्तर लगभग कभी नहीं बदलता है, फिर भी कोई एक चरण अकेले उत्तर प्राप्त करने के लिए पर्याप्त है। ‘

एसएसटी-2 भावना परीक्षण पर, जीपीटी-5.4 ने अपने लिखित तर्क पर लगभग कभी भी भरोसा नहीं किया, क्योंकि एक चरण को हटाने से 500 में से केवल 0.1% मामलों में उत्तर बदल जाता था, जो दर्शाता है कि स्पष्टीकरण निर्णय लेने के बाद जोड़ा गया था।

क्लॉड ओपस 4.6-आर ने अपने चरणों पर 14.8% तक निर्भर किया, लेकिन 91% चरण अकेले उत्तर प्राप्त कर सकते थे; इसलिए, इसके लंबे स्पष्टीकरण अधिक विस्तृत थे, लेकिन अभी भी मुख्य रूप से ‘सजावटी’ थे।

इसके बाद, शोधकर्ताओं ने अन्य डोमेन जोड़े और फिर से परीक्षण किया:

चार डोमेन में स्टेप-स्तर विश्वास और सटीकता: एसएसटी-2; जीएसएम8के; एजी न्यूज; और मेडक्यू। अधिकांश मॉडल-टास्क जोड़े ‘सजावटी’ रहते हैं尽管 उच्च सटीकता के, कुछ अपवादों के साथ: मिनिमैक्स-एम2.5 और किमी-क2.5 एजी न्यूज पर संदर्भ-निर्भर या वास्तविक चरण-निर्भर तर्क प्रदर्शित करते हैं, जबकि समग्र प्रदर्शन पुष्टि करता है कि निम्न विश्वास यादृच्छिक अनुमान लगाने से नहीं आता है।

लेखकों का कहना है:

‘चार-डोमेन परिणाम केंद्रीय निष्कर्ष को मजबूत करते हैं: सजावटी तर्क सभी डोमेन में छोटे मॉडलों के लिए सार्वभौमिक है। क्लॉड ओपस 4.6-आर मेडक्यू पर 1.7% आवश्यकता दिखाता है (486 उदाहरण, 93.4% सटीकता) – मॉडल 5.8 चरणों के औसत के साथ विस्तृत चिकित्सा तर्क श्रृंखला लिखता है, फिर भी किसी भी चरण को हटाने से निदान लगभग कभी नहीं बदलता है। ‘

एजी न्यूज ने मॉडलों के बीच सबसे बड़े अंतर दिखाए, किमी-क2.5 और मिनिमैक्स वास्तविक चरण-दर-चरण तर्क पर निर्भर करते हुए, जबकि अधिकांश अन्य प्रणालियों ने स्पष्टीकरण प्रदान किए जो अंतिम उत्तर पर बहुत कम प्रभाव डालते हैं।

डीपसीक-V3.2, जिसे सभी चार कार्यों पर परीक्षण किया गया था, सजावटी बना रहा; अपने लंबे स्पष्टीकरण लिखने के बावजूद, इसके उत्तर शायद ही कभी चरणों पर निर्भर करते थे।

आउटपुट जड़ता

परीक्षणों ने एक चौथी घटना की ओर संकेत किया, जिसे लेखकों ने आउटपुट जड़ता कहा है: कुछ मॉडल तर्क प्रक्रियाओं को आउटपुट करने के लिए अनिच्छुक होते हैं, जो विषय और परिस्थितियों पर भी निर्भर करता है। नीचे हम क्लॉड ओपस को एक 61 वर्षीय व्यक्ति की चिकित्सा स्थिति के बारे में एक प्रश्न का उत्तर देते हुए देखते हैं; और नीचे, जीपीटी-ओएसएस-120बी क्या आउटपुट करता है:

वाक्पटुता बनाम संक्षिप्तता.

लेखकों का कहना है कि आउटपुट जड़ता कार्य-निर्भर है:

कार्यों में मॉडलों के ‘काम दिखाने’ की आवृत्ति में तीव्र अंतर। क्लॉड और डीपसीक लगभग हर समय, किसी भी डोमेन में, बहु-चरण स्पष्टीकरण प्रदान करते हैं, जबकि क्वेन3.5-397बी शायद ही कभी ऐसा करता है। अन्य कार्य के आधार पर अपने व्यवहार को बदलते हैं, कुछ वर्गीकरण के लिए विस्तृत तर्क श्रृंखला प्रदान करते हैं, लेकिन चिकित्सा प्रश्नों के लिए बहुत कम।

वे देखते हैं:

‘मॉडल जो तर्क को आंतरिक रूप से बायपास करने के लिए सबसे अधिक इच्छुक होते हैं वे भी उन मॉडल हैं जो बाहरी रूप से तर्क को छोड़ने के लिए सबसे अधिक इच्छुक होते हैं। जीपीटी-ओएसएस-120बी 99% भावना प्रश्नों और 100% विषय वर्गीकरण प्रश्नों के लिए बहु-चरण तर्क प्रदान करता है – लेकिन केवल 38% चिकित्सा प्रश्नों के लिए। 62% चिकित्सा प्रश्नों पर, यह एक अकेले उत्तर अक्षर का आउटपुट देता है। ‘

यह पैटर्न यादृच्छिक नहीं लगता है: जीपीटी-ओएसएस-120बी लगभग सभी भावना और विषय वर्गीकरण आइटम के लिए बहु-चरण तर्क प्रदान करता है, लेकिन अधिकांश चिकित्सा प्रश्नों पर एकल-टोकन उत्तर पर स्विच करता है (जहां यह आमतौर पर दिखाई देने वाला कोई तर्क प्रदान नहीं करता है)।

लेखकों का अनुमान है कि क्योंकि चरण-स्तर के परीक्षण लिखित श्रृंखलाओं का विश्लेषण करने की आवश्यकता है, एक मॉडल जो एकल टोकन में उत्तर देता है उसे इन विधियों द्वारा मूल्यांकन नहीं किया जा सकता है; बाहरी तर्क की अनुपस्थिति सीधे माप को अवरुद्ध करती है।

पेपर यह निष्कर्ष निकालता है कि उच्च-जोखिम वाले अनुप्रयोगों के लिए चयनित मॉडलों का ‘वफादारी’ के साथ-साथ ‘सटीकता’ के लिए भी परीक्षण किया जाना चाहिए, और सुझाव देता है कि एक मॉडल जो 2% कम सटीक हो सकता है, लेकिन वास्तव में तर्क करता है, पसंदीदा हो सकता है – कम से कम इसलिए कि यह यूरोपीय संघ और अन्य उभरते नियमों को पूरा करता है एआई के लिए स्पष्ट। वर्तमान में, अध्ययन में पाए गए साक्ष्य के आधार पर, लगभग सभी एलएलएम जो सीओटी के लिए सक्षम हैं ‘धोखा’ दे रहे हैं, लगभग हमेशा।

निष्कर्ष

यह एक दिलचस्प पेपर है जो इस विषय पर अधिक व्यापक परीक्षण और चर्चा प्रदान करता है, और मैं पाठकों को स्रोत सामग्री की ओर निर्देशित करता हूं।

केंद्रीय संदेश, पिछले वर्ष के विवादों से आगे बढ़ते हुए, यह है कि उच्चतम-जोखिम वाले एआई प्लेटफ़ॉर्म अपने मॉडलों द्वारा पूरे नहीं किए जा सकने वाले मानकों की नकल करने के लिए तेजी से और बेईमानी से झुक सकते हैं।

इसके अलावा, खुले-वेट और बंद-एपीआई मॉडल जैसे चैटजीपीटी के बीच का अंतर इतना बड़ा है कि आमतौर पर खुले-वेट स्थापना से बंद-वजन प्रभावों का कारण नहीं हो सकता है, जो इन प्रक्रियाओं और मानकों की अस्पष्टता को और बढ़ाता है।

हालांकि, जब एक वास्तविक श्वेत-पेट टेस्टिंग विधि उभरती है जो खुले और बंद-स्रोत मॉडल दोनों को शामिल कर सकती है, तो इस तरह के ‘सस्ते तरकीब’ का समाधान केवल तभी हो सकता है जब शक्तिशाली निकाय जैसे यूरोपीय संघ बड़े एआई पोर्टलों की निचली पंक्ति को धमकी देते हैं।

*लेखकों के इनलाइन संदर्भों को हाइपरलिंक में परिवर्तित करने का मेरा रूपांतरण।

^† पेपर इन छोटे मॉडलों की एक सुसंगत सूची का खुलासा नहीं करता है, और एक मॉडल के अतिरिक्त संस्करणों को शामिल करता है, जिससे एक निश्चित सूची एक अनुमान का विषय बन जाती है।

^†† लेखकों के जोर।

बुधवार, 25 मार्च, 2026 को पहली बार प्रकाशित।