Anderson का एंगल

AI से जनित पाठ को समझना आपकी सोच से अधिक कठिन क्यों है

mm
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
AI-generated image: a woman and young child walk together through a maze of tall green hedges shaped into large, randomly oriented alphabet letters. Narrow pathways separate the hedges, with fallen autumn leaves scattered across the ground. Viewed from above. Image created using GPT Image 2.

AI मॉडल को समझना शायद इसलिए कठिन होता जा रहा है, क्योंकि उनके प्रशिक्षण में इंसानों को बातें स्पष्ट रूप से समझाने के बजाय समस्याओं को कुशलता से हल करने को लगातार अधिक महत्त्व दिया जा रहा है।

ऊपर दिया गया, बिना संपादन वाला वाक्य ChatGPT ने विज्ञान से जुड़े एक शोधपत्र का ELI5 शैली में, एक वाक्य में सारांश माँगे जाने पर लिखा था; इसमें उस नए अध्ययन* में बताए गए भाषा को विकृत करने वाले लक्षणों में से कम-से-कम कुछ दिखाई देते हैं। नए अध्ययन का निष्कर्ष है कि यह समस्या सभी अग्रणी मॉडलों, अग्रणी मॉडलों के करीब के मॉडलों और जाँचे गए कुछ खुले-वेट वाले मॉडलों में भी दिखाई देती है।

उदाहरण के लिए, अंश का शुरुआती हिस्सा ‘उनके प्रशिक्षण में समस्याओं को कुशलता से हल करने को लगातार अधिक महत्त्व दिया जाता है’ शोधपत्र के इस तर्क को दर्शाता है कि AI मॉडल कभी-कभी निर्जीव चीज़ों को इंसानों जैसी क्रियाएँ करने वाला बताते हैं (क्योंकि ऊपर के उदाहरण में ‘प्रशिक्षण’ को सक्रिय रूप से किसी चीज़ को पुरस्कृत करते हुए बताया गया है)।

इससे वाक्यांश को तुरंत समझना कठिन हो सकता है, क्योंकि हमें यह मानकर चलना पड़ता है कि यहाँ किसी चीज़ को मानवीय गुण देना केवल उदाहरण के तौर पर किया गया है, न कि उसका शाब्दिक अर्थ लेना है (जो कहीं आसान है)।

बाद का हिस्सा ‘समस्याओं को कुशलता से हल करने को लगातार अधिक महत्त्व दिया जाता है’भी कई विचारों को एक साथ समेट देता है। इससे पाठकों को समझना पड़ता है कि किस चीज़ को महत्त्व दिया जा रहा है, क्या हल किया जा रहा है और किस चीज़ की कार्यकुशलता बढ़ रही है।

शोधपत्र में कहा गया है†:

‘[Readers] पार्सिंग के दौरान सजीवता को एक संकेत के रूप में इस्तेमाल करते हैं, और अतिरिक्त संदर्भ न होने पर, इस असंगति से P600 प्रतिक्रिया उत्पन्न हो सकती है††, जो पुनर्विश्लेषण से जुड़ी है।

‘हालाँकि, निर्जीव कर्ताओं से बचने के लिए इन वाक्यों को नए ढंग से लिखने पर वाक्य लंबा हो सकता है: उदाहरण के लिए, “काटता है” शब्द “समस्या पैदा करता है” की जगह इस्तेमाल किया गया है।

‘हमारा अनुमान है कि प्रशिक्षण के दौरान मॉडल ऐसी रचनाओं को अर्थ व्यक्त करने का कुशल, भले ही गैर-मानक, तरीका मानने लगे होंगे—ऐसा अर्थ व्यक्त करने का तरीका, जिसके लिए अन्यथा अधिक टोकन इस्तेमाल करने पड़ते।’

क्या कहा?

शोधपत्र का मुख्य तर्क यह है कि ChatGPT, Claude और Gemini जैसे आधुनिक AI मॉडल खास तौर पर संवाद के बजाय कई तरह की समस्याएँ हल करने के लिए अनुकूलित हैं। इसलिए वे अक्सर भाषा को बेहद संक्षिप्त रूप में पेश करते हैं, जिसे समझने के लिए कुछ हद तक अर्थ खोलना पड़ता है।

यह बात मुझे हैरान करने वाली लगी, क्योंकि मैं लगातार ChatGPT और उसके जैसे दूसरे मॉडलों को कम शब्दाडंबरपूर्ण और ज़्यादा संक्षिप्त होने के लिए मनाने की कोशिश करता रहता हूँ—यह समस्या शोध-साहित्य में पहचानी भी गई है और इस पर काम भी किया गया है।

इसके बजाय, शोधपत्र शब्दाडंबर को एक तरह के ज़िप-बम के रूप में पेश करता है, जो बहुत लंबे न होने वाले वाक्य को भी आसानी से समझना कठिन बना देता है। इसलिए, डिफ़ॉल्ट रूप से जवाबों का बहुत लंबा होना और शोधपत्र में अत्यधिक संक्षिप्तता के बारे में की गई टिप्पणी—इन दोनों समस्याओं को साथ रखकर देखें, तो हम कल्पना कर सकते हैं कि अग्रणी AI मॉडलों की डिफ़ॉल्ट जवाब-शैली का एक खास पैटर्न है। (और संभवतः, इस अपेक्षाकृत संक्षिप्त शैली का इस्तेमाल कुछ हद तक AI-जनित पाठ की पहचान करने वाले डिटेक्टरों में निर्धारक के रूप में किया जाता है, हालाँकि शोधपत्र इस विषय पर चर्चा नहीं करता।)

लेखक जुड़ी हुई संज्ञाओं के यौगिकों का भी अध्ययन करते हैं। इसका उदाहरण समस्याग्रस्त वाक्यांश दस्ता कुत्ते के काटने के शिकार की मदद करता है† है:

‘अंग्रेज़ी में संज्ञाएँ विशेषण की तरह दूसरी संज्ञाओं की विशेषता बताती हैं: कॉफ़ी की दुकान वाले वाक्यांश में, कॉफ़ी विशेषता बताती है दुकानकी, जबकि कॉफ़ी आम तौर पर संज्ञा के रूप में इस्तेमाल होता है। इस विशेषता से कई संज्ञाओं को जोड़कर ऐसे समृद्ध यौगिक शब्द बनाए जा सकते हैं, जो अत्यंत विशिष्ट अर्थ व्यक्त करते हैं।

हालाँकि, ऐसे जोड़ शब्दों के समूहों के बीच अस्पष्टता पैदा कर सकते हैं, जैसा कि इस शीर्षक में है: दस्ता कुत्ते के काटने के शिकार की मदद करता है; और इससे पढ़ने में बाधा आती है।’

तो अगर LLM संक्षिप्तता के ज़रिए शब्दाडंबरपूर्ण हैं, तो क्या वे किसी सवाल के जवाब में संक्षिप्त पाठ की अत्यधिक मात्रा देकर दोगुने शब्दाडंबरपूर्ण हो रहे हैं? इसका मतलब है कि न सिर्फ़ आपके सवाल के जवाब में पढ़ने के लिए बहुत-सा पाठ होता है, बल्कि पाठ में खुद भी बहुत-सा ‘अंतर्निहित’ अर्थ हो सकता है, जिसे समझने के लिए खोलना पड़ता है।

एक 2023 के शोधपत्र में कहा गया कि प्रशिक्षण के दौरान AI निर्णायकों के इस्तेमाल की वजह से LLM अनावश्यक रूप से शब्दाडंबरपूर्ण हो सकते हैं, क्योंकि ये निर्णायक अक्सर लंबे जवाबों को पुरस्कृत करते हैं—यहाँ तक कि अध्ययन के परीक्षणों में इंसानों ने छोटे जवाबों को प्राथमिकता दी थी।

नए अध्ययन के लेखक अग्रणी मॉडलों की कुछ संक्षिप्त करने की प्रवृत्तियों का कारण टोकन बचाने की वास्तुशिल्पीय प्रवृत्ति को बताते हैं (ऊपर दिया गया उद्धरण देखें)। आजकल इसे बड़ी उदारता से की गई बात कहा जाएगा।

आइए, अध्ययन के लेखकों द्वारा अपनाए गए तरीकों, इस्तेमाल किए गए डेटा और किए गए परीक्षणों पर नज़र डालें।

डेटा और तरीके

असामान्य शब्द-समूहों (जिन्हें एन-ग्राम, यानी शब्दों के अनुक्रमों के ज़रिए मापा गया) की अप्रत्याशितता की जाँच की गई। दुर्लभ शब्द-समूहों का संबंध पढ़ने में अधिक कठिनाई से पाया गया।

निर्भरता की लंबाई (व्याकरण की दृष्टि से जुड़े शब्दों के बीच की दूरी) भी मापी गई, क्योंकि अधिक दूरी कार्यशील स्मृति पर ज़्यादा दबाव डालती है—खासकर तब, जब कर्ता और उसकी क्रिया के बीच कई शब्द आ जाते हैं।

कर्म-संबंधी सापेक्ष उपवाक्यों (जैसे “वह घर जिसे ठेकेदारों ने बनाया” जैसी रचनाओं) की भी जाँच की गई, खासकर तब, जब वैकल्पिक शब्द हटा दिए गए हों (जैसे “वह घर जिसे ठेकेदारों ने बनाया” में “कि” को हटाना)।

पहले बताए गए लगातार जुड़ी संज्ञाओं वाले पदबंधों (तीन या अधिक संज्ञाओं को जोड़कर बनाए गए पदबंध, जैसे “हॉरर फ़िल्म के साउंडट्रैक बनाने वाला”) की भी जाँच की गई, क्योंकि उनके घटक शब्दों के बीच के संबंध अस्पष्ट हो सकते हैं।

संज्ञा-व्युत्पन्न क्रियाओं (क्रिया के रूप में इस्तेमाल की गई संज्ञाएँ, जैसे “इसे काँटे पर रखो” के बजाय “इसे काँटे से उठाओ”) की जाँच की गई। इसके साथ ही, पहले चर्चा के अनुसार, निर्जीव कर्ताओं को आम तौर पर सजीव चीज़ों से जुड़ी क्रियाओं के साथ इस्तेमाल किए जाने की भी पड़ताल की गई। दोनों तरह की रचनाएँ कम शब्दों में अर्थ समेटने में मदद करती हैं, लेकिन पाठकों को उनका अर्थ समझने के लिए अतिरिक्त व्याख्या की ज़रूरत पड़ सकती है।

प्रतिस्पर्धी मॉडल

शोधकर्ताओं ने 14 मॉडलों से एआई-जनित बातचीत जुटाई: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 और Fable 5; GPT-5.6 Luna, Terra और Sol; Olmo Base, Instruct और Think; तथा Llama Base और Instruct।

परीक्षणों में सामान्य बातचीत के लिए शुरुआत में दिए गए दस प्रॉम्प्ट और कोडिंग के लिए पाँच प्रॉम्प्ट शामिल थे। हर काम में मॉडल को GitHub पर मौजूद एक वास्तविक सार्वजनिक रिपॉज़िटरी की प्रतिलिपि बनानी थी, उसमें बग ढूँढ़ने थे और सैंडबॉक्स में उन्हें ठीक करना था।

बातचीत को 12 आदान-प्रदान तक और कोडिंग सत्रों को 11 तक सीमित रखा गया, जिसके बाद एक तय समापन संदेश दिया गया। एक अलग परीक्षण में, हर मॉडल से PERSUADE 2.0 डेटासेट के असाइनमेंट पर आधारित सात निबंध लिखने को कहा गया।

तुलना के लिए, मानव-लिखित पाठ ऐसे स्रोतों से लिए गए जिन्हें एआई के तीनों प्रकार के आउटपुट से यथासंभव मेल खाने के लिए चुना गया था। सामान्य बातचीत के लिए OpenSubtitles (फ़िल्मों और टेलीविज़न के उपशीर्षकों का एक संग्रह, जिसका ओपन सोर्स सब्स प्लेटफ़ॉर्म से कोई संबंध नहीं है) का इस्तेमाल किया गया; कोडिंग संबंधी चर्चाओं के लिए StackExchange (प्रश्नोत्तर मंचों का ऑनलाइन नेटवर्क) का; और लेखन कार्यों के लिए पहले बताए गए PERSUADE 2.0 डेटासेट के छात्र निबंधों का। तुलना के एक अतिरिक्त स्रोत के रूप में Wikipedia का भी इस्तेमाल किया गया।

जहाँ उपयुक्त मानव-लिखित डेटा उपलब्ध था, वहाँ मानव-लिखित और एआई-जनित पाठ में उन्हीं भाषाई विशेषताओं को मापा गया। शब्दों के मेल कितनी बार आते हैं, इसका आकलन करने के लिए भी इन संदर्भ-संग्रहों का उपयोग किया गया।

शैलीगत प्राथमिकताओं और भाषाई आवश्यकता में अंतर करने के लिए, NLLB-200 मॉडल का उपयोग करके पाठ का अंग्रेज़ी से जापानी और फिर वापस अंग्रेज़ी में अनुवाद किया गया। वाक्य संरचना बदलने के बावजूद अर्थ अधिकांशतः बरकरार रहा, जिससे अनावश्यक रूप से जटिल शब्दावली की पहचान करना संभव हुआ।

नतीजे

प्रयोग 1

जैसा कि नीचे दिखाया गया है, मूल एआई-जनित पाठ में कई कठिन भाषाई रचनाएँ अधिक बार मिलीं, खासकर अत्याधुनिक मॉडलों के पाठ में। इसे अनावश्यक रूप से जटिल वाक्यांशों को प्राथमिकता देने का प्रमाण माना गया:

मूल एआई-जनित पाठ की तुलना उन संस्करणों से, जिनका जापानी में और फिर वापस अंग्रेज़ी में अनुवाद किया गया था। हरे बिंदु उन भाषाई पैटर्न को दिखाते हैं जो मूल पाठों में अधिक बार इस्तेमाल हुए; गुलाबी बिंदु उन पैटर्न को दिखाते हैं जो अनुवाद के बाद अधिक बार इस्तेमाल हुए। GPT और Claude मॉडलों में ये अंतर आम तौर पर अधिक थे। स्रोत - https://arxiv.org/pdf/2610.29162

मूल एआई-जनित पाठ की तुलना उन संस्करणों से, जिनका जापानी में और फिर वापस अंग्रेज़ी में अनुवाद किया गया था। हरे बिंदु उन भाषाई पैटर्न को दिखाते हैं जो मूल पाठों में अधिक बार इस्तेमाल हुए; गुलाबी बिंदु उन पैटर्न को दिखाते हैं जो अनुवाद के बाद अधिक बार इस्तेमाल हुए। GPT और Claude मॉडलों में ये अंतर आम तौर पर अधिक थे। स्रोत

छह भाषाई विशेषताओं की तुलना तीन स्थितियों—बातचीत, कोडिंग और निबंध लेखन—में 14 एआई मॉडलों के बीच की गई। बातचीत में 12, कोडिंग में नौ और निबंध लेखन में सभी 14 मॉडलों का परीक्षण किया गया:

बातचीत, कोडिंग और निबंध लेखन में एआई मॉडलों की छह भाषाई विशेषताओं की तुलना। हर हीरा किसी मॉडल के संयुक्त परिणाम को दर्शाता है; क्षैतिज पट्टियाँ 95% विश्वास अंतराल दिखाती हैं। धराशायी खड़ी रेखाएँ मानव-लिखित पाठ के आधार-स्तर दिखाती हैं: बातचीत के लिए OpenSubtitles, कोडिंग के लिए StackExchange और निबंध लेखन के लिए PERSUADE 2.0 के छात्र निबंध। बिंदीदार रेखाएँ Wikipedia से की गई तुलना दर्शाती हैं। आम तौर पर, अधिक मान मापी गई रचना के अधिक बार इस्तेमाल होने या अधिक भाषाई जटिलता का संकेत देते हैं। बेहतर स्पष्टता के लिए मूल शोधपत्र देखें।

बातचीत, कोडिंग और निबंध लेखन में एआई मॉडलों की छह भाषाई विशेषताओं की तुलना। हर हीरा किसी मॉडल के संयुक्त परिणाम को दर्शाता है; क्षैतिज पट्टियाँ 95% विश्वास अंतराल दिखाती हैं। धराशायी खड़ी रेखाएँ मानव-लिखित पाठ के आधार-स्तर दिखाती हैं: बातचीत के लिए OpenSubtitles, कोडिंग के लिए StackExchange और निबंध लेखन के लिए PERSUADE 2.0 के छात्र निबंध। बिंदीदार रेखाएँ Wikipedia से की गई तुलना दर्शाती हैं। आम तौर पर, अधिक मान मापी गई रचना के अधिक बार इस्तेमाल होने या अधिक भाषाई जटिलता का संकेत देते हैं। बेहतर स्पष्टता के लिए मूल शोधपत्र देखें।

वाक्य संरचना में अंतर मापने के लिए, मूल एआई-जनित पाठ की तुलना उसके उन संस्करणों से भी की गई जिन्हें दूसरी भाषा में अनुवादित करके फिर मूल भाषा में अनूदित किया गया था:

मूल एआई-जनित पाठ (ठोस हीरे) और NLLB-200 की मदद से जापानी में अनुवादित करके फिर अंग्रेज़ी में अनूदित संस्करणों (खोखले वृत्त) की तुलना। गुलाबी रेखाएँ उन विशेषताओं को दर्शाती हैं जिनका उपयोग अनुवाद के बाद अधिक बार हुआ; हरी रेखाएँ उन विशेषताओं को दर्शाती हैं जिनका उपयोग मूल पाठों में अधिक बार हुआ। तारांकन सांख्यिकीय महत्त्व दर्शाते हैं (एक, दो या तीन तारांकन बढ़ते हुए सांख्यिकीय साक्ष्य का संकेत देते हैं)। पढ़ने में कठिनाई से जुड़ी ज़्यादातर संरचनाओं का उपयोग अनुवाद के बाद कम हो गया, ख़ासकर अग्रणी मॉडलों में। बेहतर रिज़ॉल्यूशन के लिए कृपया मूल शोधपत्र देखें।

मूल एआई-जनित पाठ (ठोस हीरे) और NLLB-200 की मदद से जापानी में अनुवादित करके फिर अंग्रेज़ी में अनूदित संस्करणों (खोखले वृत्त) की तुलना। गुलाबी रेखाएँ उन विशेषताओं को दर्शाती हैं जिनका उपयोग अनुवाद के बाद अधिक बार हुआ; हरी रेखाएँ उन विशेषताओं को दर्शाती हैं जिनका उपयोग मूल पाठों में अधिक बार हुआ। तारांकन सांख्यिकीय महत्त्व दर्शाते हैं (एक, दो या तीन तारांकन बढ़ते हुए सांख्यिकीय साक्ष्य का संकेत देते हैं)। पढ़ने में कठिनाई से जुड़ी ज़्यादातर संरचनाओं का उपयोग अनुवाद के बाद कम हो गया, ख़ासकर अग्रणी मॉडलों में। बेहतर रिज़ॉल्यूशन के लिए कृपया मूल शोधपत्र देखें।

पाया गया कि अग्रणी और अग्रणी मॉडलों के निकट के मॉडल असामान्य शब्द-युग्मों, संज्ञाओं से बने क्रियापदों, निर्जीव कर्ताओं और वैकल्पिक शब्द हटाए गए कर्मवाचक संबंधवाचक उपवाक्यों का ज़रूरत से ज़्यादा उपयोग करते हैं (ऊपर दिया गया ग्राफ़ देखें)। Llama और Olmo Base में ये प्रवृत्तियाँ आम तौर पर कमज़ोर थीं, जबकि Olmo Think में अधिक स्पष्ट थीं।

निबंध-लेखन में अंतर, चैट या कोडिंग की तुलना में कम देखे गए। इसका कारण निबंधों का एक ही प्रॉम्प्ट पर आधारित होना बताया गया; इसके विपरीत, लंबे समय तक बार-बार होने वाली बातचीत में भाषाई संक्षेपण को अधिक बढ़ावा मिल सकता है।

लेखक ध्यान दिलाते हैं:

‘PERSUADE के निबंधों में, चैट और [coding] की तुलना में, कई श्रेणियों (एन-ग्राम माप, निर्भरता की लंबाई, संज्ञाओं के समूह और संज्ञाओं से बने क्रियापद) में अनुवाद करके फिर मूल भाषा में लौटाने पर कम बदलाव दिखे।

‘हमारा अनुमान है कि ऐसा इसलिए है क्योंकि इनमें एक ही प्रॉम्प्ट होता है, जबकि चैट और कोडिंग में कई बार दोहराए जाने वाले संवाद होते हैं। हमारा मानना है कि लंबी, लगातार आगे-पीछे चलने वाली बातचीत में कुछ खास पैटर्न उभर सकते हैं (जिसमें अधिक जानकारी को संक्षिप्त रूप में समेटने की ज़रूरत पड़ सकती है)।’

अनुवाद के बाद सबसे कम बदलाव Llama और Olmo Base तथा Instruct में देखे गए। शब्दों के संयोजन और क्रियाओं के उपयोग के मामले में भी ये छात्र-निबंधों के सबसे क़रीब थे। इसके विपरीत, Olmo Think का व्यवहार अग्रणी मॉडलों से अधिक मिलता-जुलता पाया गया। Claude Opus 5.5 ने Opus 5 की तुलना में 21 में से 19 तुलनाओं में कठिन संरचनाओं का कम उपयोग किया; इनमें से आठ में 95% विश्वास अंतराल एक-दूसरे से ओवरलैप नहीं हुए।

प्रयोग 2

दूसरे प्रयोग का उद्देश्य यह जाँचना था कि क्या छोटे और अधिक जानकारी-सघन उत्तर देने का अंतर्निहित दबाव मॉडलों को ऐसी भाषाई संरचनाएँ चुनने की ओर ले जा सकता है जिन्हें समझना इंसानों के लिए अधिक कठिन हो।

यहाँ, Qwen2.5-1.5B-Instruct को फ़ाइन-ट्यून करने के लिए Group Relative Policy Optimization (GRPO) का इस्तेमाल किया गया। मॉडल को घटनाओं के संरचित, JSON-स्वरूप वाले विवरणों को अंग्रेज़ी वाक्यों में बदलने का काम दिया गया।

प्रशिक्षण के दो पहलुओं में बदलाव किया गया: मॉडल को अपने शब्दों के सामान्य चयन से कितना हटने दिया गया (β); और लंबे उत्तर देने पर उसे कितनी कड़ी सज़ा दी गई (λ)। हर घटना को व्याकरण की दृष्टि से सही दो तरीकों से व्यक्त किया जा सकता था, जिनमें टोकनों की संख्या का अंतर ज्ञात था।

उदाहरण के लिए, ‘He sent us a photo’ में छह टोकन लगते हैं, जबकि ‘He sent a photo to us’ में सात। एक अलग परीक्षण भी किया गया, जिसमें एक ही बात कहने के दोनों तरीकों में टोकनों की संख्या समान थी, ताकि यह जाँचा जा सके कि अंतर वाक्य की लंबाई के कारण तो नहीं थे।

इस प्रभाव को पहले न देखे गए वाक्यों पर जाँचा गया। इनमें प्रशिक्षण के दौरान सामने आईं चार संरचनाएँ, वैकल्पिक शब्द ‘that’ वाली दो अप्रशिक्षित संरचनाएँ, और संबंधवाचक सर्वनामों, परिमाणवाचकों, कर्मवाच्य तथा उद्देश्यवाचक उपवाक्यों से जुड़ी असंबंधित संरचनाएँ शामिल थीं।

परीक्षणों का उद्देश्य यह पता लगाना था कि क्या छोटे शब्दांकन की पसंद सीखी जाएगी और उन संरचनाओं में भी लागू होगी जिनका प्रशिक्षण के दौरान कभी सामना नहीं हुआ था:

प्रशिक्षण के दौरान लंबे उत्तरों पर दंड लगाने का प्रभाव। A में छोटे और लंबे शब्दांकन का एक उदाहरण दिखाया गया है। छोटे निर्माणों के प्रति पसंद को B में मापा गया है, जबकि पहले अप्रशिक्षित निर्माणों के परीक्षण C और D में दिखाए गए हैं। नारंगी रंग ऐसे प्रशिक्षण को दर्शाता है जिसमें मूल मॉडल में बदलाव पर कोई पाबंदी नहीं थी; नीला रंग ऐसी पाबंदी वाले प्रशिक्षण को दर्शाता है। धराशायी रेखाएँ मूल मॉडल की पसंद दिखाती हैं। अधिक कड़े दंड से आम तौर पर छोटे शब्दांकन की पसंद बढ़ी, यहाँ तक कि उन निर्माणों में भी जो प्रशिक्षण में शामिल नहीं थे। बेहतर रिज़ॉल्यूशन के लिए कृपया मूल शोधपत्र देखें।

प्रशिक्षण के दौरान लंबे जवाबों पर दंड लगाने का प्रभाव। छोटे और लंबे वाक्यांशों का एक उदाहरण A में दिखाया गया है। छोटे वाक्य-विन्यासों के प्रति पसंद को B में मापा गया है, जबकि पहले कभी प्रशिक्षित न किए गए वाक्य-विन्यासों की जाँच C और D में दिखाई गई है। नारंगी रंग उन स्थितियों में प्रशिक्षण दर्शाता है जहाँ मूल मॉडल में बदलाव पर कोई रोक नहीं थी; नीला रंग ऐसी रोक के साथ किए गए प्रशिक्षण को दर्शाता है। टूटी हुई रेखाएँ मूल मॉडल की पसंद दिखाती हैं। अधिक कड़े दंडों से आम तौर पर छोटे शब्दांकन को अधिक पसंद किया गया, यहाँ तक कि उन वाक्य-विन्यासों में भी जो प्रशिक्षण में शामिल नहीं थे। बेहतर रिज़ॉल्यूशन के लिए मूल शोध-पत्र देखें।

लंबे जवाबों पर दंड बढ़ाने के साथ ही छोटे शब्दांकन को ज़्यादा चुना गया (जैसा ठीक ऊपर दिखाया गया है)। KL दंड के बिना (यानी मॉडल के अपने मूल शब्द-पूर्वानुमानों से कितना दूर जाने पर रोक), यह बदलाव तेज़ी से हुआ; इसके साथ वही प्रभाव धीरे-धीरे दिखाई दिया। किसी भी दंड के बिना, अलग-अलग प्रशिक्षण दौरों में पसंद में काफ़ी अंतर था, लेकिन लंबाई पर छोटे से दंड ने भी छोटे विकल्पों के प्रति लगातार पसंद पैदा की।

यह पसंद पहले न देखे गए उन वाक्य-विन्यासों में भी दिखाई दी जिनमें वैकल्पिक शब्द ‘कि’ शामिल था। अधिक भिन्न व्याकरणिक वाक्य-विन्यासों में यह प्रभाव बहुत कम था; KL दंड न होने पर यह केवल संबंधकारक रूपों में पाया गया।

लेखकों का निष्कर्ष है:

‘हम इन नतीजों को इस बात के प्रारंभिक प्रमाण के रूप में देखते हैं कि GRPO के साथ सुदृढीकरण अधिगम के दौरान लगाया गया लंबाई-दंड व्याकरणिक विशेषताओं को सीधे प्रभावित कर सकता है।

‘हम ध्यान दिलाते हैं कि मॉडल को संक्षिप्त या सघन भाषा का इस्तेमाल करने का सीधा निर्देश नहीं दिया गया था, और न ही उसे वाक्य-विन्यास के वैकल्पिक रूपों की उपलब्धता के बारे में सीधे जानकारी दी गई थी।

‘बल्कि, इस दंड से वाक्य-विन्यास के वैकल्पिक रूपों में छोटे रूपों के प्रति एक उभरती हुई पसंद पैदा हुई।’

निष्कर्ष

मुझे कुछ समय से उन आधार-बिंदुओं में दिलचस्पी रही है—चाहे वे अनजाने हों या जानबूझकर बनाए गए हों—जो AI-जनित पाठ की पहचान बनते हैं। इसलिए यह नया अध्ययन LLMs की चर्चित शब्दाडंबरपूर्ण शैली और अब उतनी ही चर्चित इस प्रवृत्ति के बीच दिखने वाले विरोधाभास पर कुछ रोशनी डालता है कि वे जानकारी को ऐसे ढंग से समेटते हैं जो ‘पढ़ने में आसान’ लगता है, सिर्फ़ इसलिए कि उसमें बहुत कम शब्द होते हैं—लेकिन इस संकेत को समझने का यह स्पष्ट रूप से गलत तरीका है।

LLMs में, पाठ का संक्षिप्त होना सारभूत संक्षेपण के बजाय जटिलता का संकेत हो सकता है—मानो AI हमें शब्दों के पीछे की सीधी अवधारणाएँ देने के बजाय कोई पहेली थमा रहा हो। यह सब, जाहिर है, ताकि एक ही मॉडल को कोडिंग और लेखन दोनों करने दिए जा सकें।

 

* शीर्षक था ‘AI-जनित भाषा को समझना इतना कठिन क्यों है?’, और इसके लेखक न्यूयॉर्क यूनिवर्सिटी तथा द यूनिवर्सिटी ऑफ टेक्सास से जुड़े दो शोधकर्ता हैं।

† लेखकों के मूल पाठ में दिए गए संदर्भों को हाइपरलिंक में बदलने का मेरा काम।

†† https://mikeydoes.com/glossary/p600/

पहली बार प्रकाशित: सोमवार, 26 अक्टूबर 2026

mm

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai