एआई ऐतिहासिक भाषा की नकल करने में संघर्ष करता है

संयुक्त राज्य अमेरिका और कनाडा के शोधकर्ताओं के बीच एक सहयोग में पाया गया है कि बड़े भाषा मॉडल (एलएलएम) जैसे कि चैटजीपीटी व्यापक प्रीट्रेनिंग के बिना ऐतिहासिक मुहावरों को पुनः उत्पन्न करने में संघर्ष करते हैं – एक महंगी और श्रमसाध्य प्रक्रिया जो अधिकांश अकादमिक या मनोरंजन पहलों की पहुंच से परे है, जिससे ऐसी परियोजनाएं जैसे चार्ल्स डिकेंस के अंतिम, अधूरे उपन्यास को एआई के माध्यम से प्रभावी ढंग से पूरा करना एक असंभव प्रस्ताव बन जाता है।

शोधकर्ताओं ने ऐतिहासिक रूप से सटीक ध्वनि वाले पाठ उत्पन्न करने के लिए विभिन्न तरीकों का अन्वेषण किया, जिसमें बीसवीं शताब्दी के प्रारंभिक प्रोस का उपयोग करके सरल प्रॉम्प्टिंग शुरू की गई और फाइन-ट्यूनिंग एक वाणिज्यिक मॉडल पर उस अवधि से कुछ पुस्तकों के एक छोटे संग्रह पर की गई।

उन्होंने परिणामों की तुलना एक अलग मॉडल से की, जिसे पूरी तरह से 1880 और 1914 के बीच प्रकाशित पुस्तकों पर प्रशिक्षित किया गया था।

पहले परीक्षण में, चैटजीपीटी-4ो को फिन‑de‑siècle भाषा की नकल करने का निर्देश दिया गया, जिसके परिणामस्वरूप जीपीटी2-आधारित मॉडल की तुलना में बहुत अलग परिणाम मिले, जिसे उस अवधि के साहित्य पर फाइन-ट्यून किया गया था:

<img class="size-full wp-image-216872" src="https://www.unite.ai/wp-content/uploads/2025/05/texts-idiom.jpg" alt="वास्तविक ऐतिहासिक पाठ को पूरा करने के लिए कहा गया, तो भी एक अच्छी तरह से प्राइम किया गया चैटजीपीटी-4ो (निचले बाएं) 'ब्लॉग' मोड में वापस आने में असमर्थ है, अनुरोधित मुहावरे का प्रतिनिधित्व करने में विफल। इसके विपरीत, फाइन-ट्यून किया गया जीपीटी2 मॉडल (निचले दाएं) भाषा शैली को अच्छी तरह से पकड़ लेता है, लेकिन अन्य तरीकों से कम सटीक है। स्रोत: https://arxiv.org/pdf/2505.00030

हालांकि फाइन-ट्यूनिंग आउटपुट को मूल शैली के करीब ले आती है, मानव पाठक अभी भी अक्सर आधुनिक भाषा या विचारों के निशान का पता लगा सकते हैं, जिससे यह सुझाव मिलता है कि यहां तक कि सावधानी से समायोजित मॉडल भी अपने समकालीन प्रशिक्षण डेटा के प्रभाव को प्रतिबिंबित करते हैं।

शोधकर्ता इस निष्कर्ष पर पहुंचे कि ऐतिहासिक रूप से सटीक पाठ या संवाद उत्पन्न करने के लिए कोई आर्थिक रास्ता नहीं है। वे यह भी अनुमान लगाते हैं कि चुनौती स्वयं गलत तरीके से तैयार की जा सकती है:

‘हमें यह भी विचार करना चाहिए कि अनाचार को कुछ हद तक टाला नहीं जा सकता है। चाहे हम ऐतिहासिक मॉडलों को निर्देश-ट्यूनिंग करके उन्हें बातचीत करने में सक्षम बनाते हैं, या समकालीन मॉडलों को एक पुराने युग की नकल करने के लिए सिखाते हैं, प्रामाणिकता और संवादात्मक चिकनाई के बीच कुछ समझौता आवश्यक हो सकता है। ‘

‘वास्तव में, इक्कीसवीं सदी के प्रश्नकर्ता और 1914 से उत्तरदाता के बीच कोई “प्रामाणिक” बातचीत का उदाहरण नहीं है। ऐसी बातचीत बनाने का प्रयास करने वाले शोधकर्ताओं को यह विचार करने की आवश्यकता होगी कि व्याख्या में हमेशा वर्तमान और अतीत के बीच एक समझौता शामिल है। ‘

शोधकर्ताओं का यह नया अध्ययन क्या भाषा मॉडल बिना अनाचार के अतीत का प्रतिनिधित्व कर सकते हैं? शीर्षक से है, और यह इलिनोइस विश्वविद्यालय, ब्रिटिश कोलंबिया विश्वविद्यालय और कॉर्नेल विश्वविद्यालय के तीन शोधकर्ताओं से आया है।

पूर्ण आपदा

शुरू में, एक तीन-भाग अनुसंधान दृष्टिकोण में, लेखकों ने परीक्षण किया कि क्या आधुनिक भाषा मॉडल सरल प्रॉम्प्टिंग के माध्यम से ऐतिहासिक भाषा की नकल करने में निर्देशित किए जा सकते हैं। 1905 और 1914 के बीच प्रकाशित पुस्तकों के वास्तविक अंशों का उपयोग करते हुए, उन्होंने चैटजीपीटी-4ो से इन पारAGRAPHों को उसी मुहावरे में जारी रखने के लिए कहा।

मूल अवधि पाठ यह था:

‘इस अंतिम मामले में लगभग पांच या छह डॉलर प्रति मिनट की बचत होती है, क्योंकि एक व्यक्ति के आराम में या एक परिदृश्य की एक वस्तु को प्रोजेक्ट करने के लिए एक मिनट के दौरान बीस गज से अधिक फिल्म को रील ऑफ करना पड़ता है। इस प्रकार एक स्थिर और गतिमान तस्वीरों का व्यावहारिक संयोजन प्राप्त किया जाता है, जो सबसे कलात्मक प्रभाव पैदा करता है। ‘

‘यह हमें दो सिनेमैटोग्राफ को वैकल्पिक रूप से प्रोजेक्ट करने में भी सक्षम बनाता है, ताकि स्किंटिलेशन से बचा जा सके, या लाल और हरे रंग की छवियों को समानांतर में प्रोजेक्ट किया जा सके और प्राकृतिक रंगों को पुनः प्राप्त किया जा सके, जिससे मानव आंख, जो मूल रंगों को एक साथ प्राप्त करने की आदी है, को शारीरिक थकान से मुक्त किया जा सके। एक शब्द अब तात्कालिक फोटोग्राफी में ठंडे प्रकाश के अनुप्रयोग के बारे में। ‘

आउटपुट की तुलना में कि क्या उत्पन्न पाठ इरादित ऐतिहासिक शैली से मेल खाता है, और यह जानते हुए कि लोग विशेष रूप से उस तारीख का अनुमान लगाने में सक्षम नहीं हैं जब एक पाठ लिखा गया था, शोधकर्ताओं ने एक रोबर्टा मॉडल को फाइन-ट्यून किया प्रकाशन तिथियों का अनुमान लगाने के लिए, ऐतिहासिक अमेरिकी अंग्रेजी के कॉर्पस के एक उपसेट का उपयोग करते हुए, जो 1810 से 2009 तक की सामग्री को कवर करता है।

रोबर्टा क्लासिफायर का उपयोग तब चैटजीपीटी-4ो द्वारा उत्पन्न निरंतरता का मूल्यांकन करने के लिए किया गया था, जिसे 1905 और 1914 के बीच प्रकाशित पुस्तकों के वास्तविक अंशों के साथ प्रेरित किया गया था।

सिस्टम प्रॉम्प्ट (यानी, चैटजीपीटी को कार्य के तरीके के बारे में संदर्भ प्रेरण) यह था:

‘आपका कार्य बीसवीं शताब्दी की शुरुआत की पुस्तकों से अंशों को पूरा करना है। आपको 1913 में प्रकाशित एक पुस्तक से एक अंश दिया जाएगा। इस अंश को उसी शैली में जारी रखें, कम से कम 200 शब्दों के लिए। केवल इस निरंतरता को प्रदान करें; कोई फ्रेमिंग टिप्पणी न करें, जैसे कि ‘यहाँ निरंतरता है’। ‘

दोनों एक-शॉट और 20-शॉट प्रॉम्प्टिंग के बावजूद, चैटजीपीटी-4ो के आउटपुट लगातार 21वीं सदी के शैलीगत रजिस्टर की ओर झुक गए।

कागज़ में दिया गया उदाहरण चैटजीपीटी-4ो के फोटोग्राफी के बारे में वास्तविक अवधि पाठ को जारी रखने के प्रयासों में से एक को दिखाता है:

‘तात्कालिक फोटोग्राफी में ठंडे प्रकाश का उपयोग चित्रों को विभिन्न प्रकाश स्थितियों के तहत कैप्चर करने के दृष्टिकोण को क्रांतिकारी बना दिया है। पारंपरिक रूप से, फोटोग्राफर प्राकृतिक प्रकाश की कठोरता और परिवर्तनशीलता या फ्लैश फोटोग्राफी के आक्रामक स्वभाव के साथ संघर्ष करते थे, जो एक दृश्य के माहौल या विषयों के प्राकृतिक व्यवहार, विशेष रूप से वन्य जीवन और मानव फोटोग्राफी में बाधा डाल सकता था। ‘

‘ठंडा प्रकाश, अपने नरम और अधिक वितरित स्वभाव के साथ… रंगों और बनावट का एक अधिक प्राकृतिक प्रतिनिधित्व की अनुमति देता है, जो अक्सर कठोर कृत्रिम प्रकाश के तहत खो जाता है। ‘

जैसा कि हम आसानी से देख सकते हैं, यह सामान्य, विकि-शैली का पाठ मूल अवधि पाठ की प्रोलिक्स और विस्तृत शैली से मेल नहीं खाता। इसके अलावा, यह वास्तव में मूल सामग्री से आगे नहीं बढ़ता है, बल्कि एक संबंधित उपविषय पर एक टांगेंटियल, अमूर्त चिंतन में शामिल हो जाता है।

टीम ने जीपीटी-1914 का भी परीक्षण किया, जो 1880 और 1914 के बीच साहित्य के 26.5 बिलियन टोकन पर प्रशिक्षित एक छोटे जीपीटी2-वर्ग का मॉडल है।

इसका आउटपुट चैटजीपीटी-4ो की तुलना में कम सुसंगत था, लेकिन यह मूल अवधि की शैली के साथ अधिक संगत था। कागज़ में दिया गया एकमात्र उदाहरण, फिर से वास्तविक दुनिया के ऐतिहासिक पाठ पर फोटोग्राफी के रूप में निरंतरता के रूप में पढ़ा जाता है:

‘इसके कार्य के सिद्धांत को पहले ही समझाया जा चुका है (पी। 4)। हम केवल यह उल्लेख करेंगे कि इसे कोलोडियन से लेपित कागज़ पर बहुत तेज़ फोटोग्राफ लेने के लिए लाभ के साथ-साथ जेलेटिन प्लेटों द्वारा ली गई तस्वीरों के लिए भी लागू किया जा सकता है। ‘

‘ऐसे मामलों में, एक्सपोज़र एक सेकंड से अधिक नहीं होना चाहिए; लेकिन अगर चित्र को आधे सेकंड में विकसित किया जाना है – तो तापमान 20° सी से नीचे नहीं गिरना चाहिए; अन्यथा, छवि विकास के बाद बहुत अधिक गहरी हो जाएगी; इसके अलावा, प्लेट इन परिस्थितियों में अपनी संवेदनशीलता खो देगी। ‘

‘सामान्य उद्देश्यों के लिए, हालांकि, यह पर्याप्त है कि संवेदनशील सतह को कम डिग्री के तापमान के संपर्क में लाया जाए, जिसके लिए कोई विशेष सावधानी की आवश्यकता नहीं है, सिवाय इसके कि इसे…’ [सिक] ‘

चूंकि वास्तविक और मूल सामग्री स्वयं जटिल और कठिन है, यह समझना मुश्किल है कि जीपीटी-1914 ने मूल से कितनी सटीकता से सीखा है; लेकिन आउटपुट निश्चित रूप से अधिक अवधि-विशिष्ट लगता है।

हालांकि, लेखकों ने इस प्रयोग से निष्कर्ष निकाला कि सरल प्रॉम्प्टिंग एक बड़े पूर्व-प्रशिक्षित मॉडल जैसे चैटजीपीटी-4ो के समकालीन पूर्वाग्रहों को दूर करने के लिए बहुत कम करता है।

प्लॉट मोटा हो जाता है

शोधकर्ताओं ने एक सांख्यिकीय वर्गीकारक का उपयोग करके यह मापा कि मॉडल के आउटपुट कितनी बारीकी से वास्तविक ऐतिहासिक लेखन की नकल करते हैं। उन्होंने परिणामों को कर्नेल डेंसिटी प्लॉट का उपयोग करके दृश्य化 किया, जो यह दर्शाता है कि मॉडल प्रत्येक पाराग्राफ को ऐतिहासिक समयरेखा पर कहां रखता है।

वास्तविक और उत्पन्न पाठ के लिए अनुमानित प्रकाशन तिथियां, एक वर्गीकारक द्वारा ऐतिहासिक शैली को पहचानने के लिए प्रशिक्षित (1905–1914 स्रोत पाठों की तुलना जीपीटी-4ो द्वारा एक-शॉट और 20-शॉट प्रॉम्प्ट का उपयोग करके निरंतरता के साथ की जाती है, और 1880–1914 से साहित्य पर प्रशिक्षित जीपीटी-1914 द्वारा।

फाइन-ट्यून किया गया रोबर्टा मॉडल, जिसका उपयोग इस कार्य के लिए किया गया था, लेखकों के अनुसार दोषपूर्ण नहीं है, लेकिन फिर भी सामान्य शैलीगत रुझानों को उजागर करने में सक्षम था। जीपीटी-1914 द्वारा लिखे गए पाराग्राफ, जो पूरी तरह से उस अवधि के साहित्य पर प्रशिक्षित किया गया था, बीसवीं शताब्दी के प्रारंभ में क्लस्टर किए गए – मूल स्रोत सामग्री के समान।

इसके विपरीत, चैटजीपीटी-4ो के आउटपुट, यहां तक कि कई ऐतिहासिक उदाहरणों के साथ प्रेरित किए जाने पर भी, इक्कीसवीं सदी के लेखन की नकल करने की प्रवृत्ति रखते थे, जो मूल रूप से प्रशिक्षित डेटा को प्रतिबिंबित करते थे।

शोधकर्ताओं ने जेंसेन-शैनन विचलन का उपयोग करके इस मिलान को मात्रा में đoया, एक ऐसा उपाय जो यह दर्शाता है कि दो संभावना वितरण कितने अलग हैं। जीपीटी-1914 ने वास्तविक ऐतिहासिक पाठ की तुलना में 0.006 का स्कोर किया, जबकि चैटजीपीटी-4ो के एक-शॉट और 20-शॉट आउटपुट में क्रमशः 0.310 और 0.350 के रूप में बहुत व्यापक अंतर दिखाई दिए।

लेखकों का तर्क है कि ये निष्कर्ष यह दर्शाते हैं कि प्रॉम्प्टिंग अकेले, यहां तक कि कई ऐतिहासिक उदाहरणों के साथ, ऐतिहासिक शैली की नकल करने वाला पाठ उत्पन्न करने का एक विश्वसनीय तरीका नहीं है।

पाराग्राफ पूरा करना

कागज़ तब जांचता है कि क्या फाइन-ट्यूनिंग एक बेहतर परिणाम उत्पन्न कर सकती है, क्योंकि यह प्रक्रिया मॉडल के उपयोगी वजन को सीधे प्रभावित करके शामिल है, जिसे ‘निरंतरता’ के द्वारा प्रशिक्षित किया जा सकता है – एक प्रक्रिया जो मूल कोर कार्यक्षमता को प्रभावित कर सकती है, लेकिन उस डोमेन पर इसके प्रदर्शन में काफी सुधार कर सकती है जिसे ‘पुश’ किया जा रहा है या फाइन-ट्रेनिंग के दौरान जोर दिया जा रहा है।

पहले फाइन-ट्यूनिंग प्रयोग में, टीम ने जीपीटी-4ो-मिनी को 1905 और 1914 के बीच प्रकाशित पुस्तकों से लगभग दो हजार पाराग्राफ-निरंतरता जोड़े पर प्रशिक्षित किया, जिसका उद्देश्य यह देखना था कि क्या एक छोटे पैमाने पर फाइन-ट्यूनिंग मॉडल के आउटपुट को एक अधिक ऐतिहासिक रूप से सटीक शैली की ओर मोड़ सकती है।

उसी रोबर्टा-आधारित वर्गीकारक का उपयोग करके जो पहले परीक्षणों में एक निर्णायक के रूप में कार्य किया था, शोधकर्ताओं ने पाया कि नए प्रयोग में, फाइन-ट्यून किए गए मॉडल ने पाठ उत्पन्न किया जो मूल सामग्री के साथ जुड़ा हुआ था।

इसकी शैलीगत विचलन, जेंसेन-शैनन विचलन द्वारा मापा गया, मूल पाठों से 0.002 तक गिर गया, जो जीपीटी-1914 के साथ सामान्य रूप से था:

वास्तविक और उत्पन्न पाठ के लिए अनुमानित प्रकाशन तिथियां, जीपीटी-1914 और जीपीटी-4ो-मिनी के फाइन-ट्यून संस्करण के साथ 1905 और 1914 के बीच प्रकाशित पुस्तकों के बीच कितनी अच्छी तरह से मेल खाती है।

हालांकि, शोधकर्ता यह चेतावनी देते हैं कि यह माप केवल ऐतिहासिक शैली की सतही विशेषताओं को पकड़ सकता है, न कि गहरे概念ात्मक या तथ्यात्मक अनाचारों को।

‘[यह] एक बहुत ही संवेदनशील परीक्षण नहीं है। यहां उपयोग किया गया रोबर्टा मॉडल केवल एक तिथि का अनुमान लगाने के लिए प्रशिक्षित किया गया है, न कि वास्तविक पाराग्राफों को अनाचारिक लोगों से अलग करने के लिए। यह संभवतः उस अनुमान को बनाने के लिए स्टाइलिस्टिक साक्ष्य का उपयोग करता है। मानव पाठक, या बड़े मॉडल, अभी भी सुपरफिशियली “इन-पीरियड” लगने वाले पाराग्राफ में अनाचारिक सामग्री का पता लगा सकते हैं। ‘

मानव स्पर्श

अंत में, शोधकर्ताओं ने मानव मूल्यांकन परीक्षण किए, जिसमें 1905 और 1914 के बीच प्रकाशित पुस्तकों से 250 हाथ से चुने गए पाराग्राफ शामिल थे, और उन्होंने देखा कि इनमें से कई पाठ आज की तुलना में लिखे जाने के समय से बहुत अलग तरीके से व्याख्या किए जाएंगे:

‘हमारी सूची में जर्मनी (जो उस समय जर्मनी का हिस्सा था) और बेरी-बेरी (जो अक्सर एक फंगल रोग के रूप में समझाया जाता था, न कि एक पोषण संबंधी कमी के रूप में) पर एक विश्वकोश प्रविष्टि शामिल थी। हमने विचारों, दृष्टिकोण, या कल्पना के बारे में अधिक सूक्ष्म अंतर को प्रदर्शित करने वाले पाराग्राफ भी चुने। ‘

‘उदाहरण के लिए, बीसवीं शताब्दी के प्रारंभ में गैर-यूरोपीय स्थानों के विवरण अक्सर नस्लीय सामान्यीकरण में फिसल जाते हैं। 1913 में लिखा गया एक चंद्रमा पर सूर्योदय का वर्णन समृद्ध क्रोमैटिक घटनाओं की कल्पना करता है, क्योंकि किसी ने भी उस समय एक विश्व की तस्वीरें नहीं देखी थीं जिसमें वायुमंडल नहीं था। ‘

शोधकर्ताओं ने प्रत्येक ऐतिहासिक पाराग्राफ के लिए संक्षिप्त प्रश्न तैयार किए जो पाराग्राफ से जवाब दे सकते थे, फिर जीपीटी-4ो-मिनी को इन प्रश्न-उत्तर जोड़ों पर फाइन-ट्यून किया। मूल्यांकन को मजबूत करने के लिए, उन्होंने पांच अलग-अलग मॉडल को प्रशिक्षित किया, प्रत्येक बार प्रशिक्षण के दौरान एक अलग हिस्से को परीक्षण के लिए आरक्षित रखा।

समय में खोया हुआ

मानव मूल्यांकनकर्ताओं से यह मांग करने के लिए कि वे यह निर्धारित करें कि मॉडल कितनी अच्छी तरह से ऐतिहासिक भाषा की नकल कर सकते हैं, शोधकर्ताओं ने तीन विशेषज्ञ अन्नोटेटरों से 120 एआई-उत्पन्न निरंतरता की समीक्षा करने और यह निर्धारित करने के लिए कहा कि क्या प्रत्येक एक 1914 में लिखे गए लेखक के लिए विश्वसनीय लगता है।

यह सीधा मूल्यांकन दृष्टिकोण अपेक्षा से अधिक चुनौतीपूर्ण साबित हुआ:

अन्नोटेटरों ने अपने मूल्यांकन में लगभग अस्सी प्रतिशत समय सहमति व्यक्त की, लेकिन उनके निर्णयों में असंतुलन (जिसमें ‘विश्वसनीय’ को ‘अविश्वसनीय’ की तुलना में दोगुना चुना गया था) ने उनकी वास्तविक सहमति को मध्यम बना दिया, जैसा कि कोहेन के काप्पा स्कोर द्वारा मापा गया था, जो 0.554 था।

रेटर्स ने खुद को कार्य को कठिन बताया, जिसमें अक्सर यह निर्धारित करने के लिए अतिरिक्त शोध की आवश्यकता होती थी कि क्या एक बयान 1914 में ज्ञात या विश्वास के साथ संरेखित था।

कुछ पाराग्राफ टोन और दृष्टिकोण के बारे में कठिन प्रश्न उठाते थे – उदाहरण के लिए, क्या एक प्रतिक्रिया 1914 में विश्वदृष्टि को प्रतिबिंबित करने के लिए पर्याप्त सीमित थी। इस तरह के निर्णय अक्सर नृवंश-केंद्रिकता (यानी, अपनी संस्कृति के माध्यम से अन्य संस्कृतियों को देखने की प्रवृत्ति) के स्तर पर निर्भर करते थे।

इस संदर्भ में, चुनौती यह तय करना थी कि क्या एक पाराग्राफ ने ऐतिहासिक रूप से विश्वसनीय महसूस करने के लिए पर्याप्त सांस्कृतिक पूर्वाग्रह व्यक्त किया था, बिना आधुनिक विचारों को बहुत अधिक प्रतिबिंबित किए या आज के मानकों द्वारा बहुत अधिक अपमानजनक लगे। अन्नोटेटरों ने यह भी नोट किया कि यहां तक कि उस अवधि से परिचित विद्वानों के लिए भी, यह निर्धारित करना मुश्किल था कि भाषा ऐतिहासिक रूप से सटीक लगती है या नहीं।

परिणामों से पता चलता है कि मॉडलों की एक स्पष्ट रैंकिंग है, जिसमें जीपीटी-4ो-मिनी का फाइन-ट्यून किया गया संस्करण सबसे विश्वसनीय है:

अन्नोटेटरों के मूल्यांकन यह दर्शाते हैं कि प्रत्येक मॉडल का आउटपुट कितना विश्वसनीय लगता है।

यह स्पष्ट नहीं है कि क्या यह प्रदर्शन ऐतिहासिक अनुसंधान के लिए विश्वसनीय है, विशेष रूप से तब जब अध्ययन में एक बेसलाइन माप शामिल नहीं था कि वास्तविक अवधि पाठ को कितनी बार गलत तरीके से वर्गीकृत किया जा सकता है।

अनधिकृत प्रवेश

इसके बाद एक ‘अनधिकृत प्रवेश परीक्षण’ आया, जिसमें विशेषज्ञ अन्नोटेटरों को चार गुमनाम पाराग्राफ दिखाए गए जो एक ही ऐतिहासिक प्रश्न का उत्तर दे सकते थे। तीन प्रतिक्रियाएं भाषा मॉडल से आईं, जबकि एक वास्तविक प्रारंभिक बीसवीं सदी के स्रोत से एक वास्तविक अंश था।

कार्य अन्नोटेटरों को यह पहचानने के लिए था कि कौन सा पाराग्राफ मूल एक था, वास्तव में उस अवधि में लिखा गया था।

यह दृष्टिकोण अन्नोटेटरों को सीधे तौर पर विश्वसनीयता का मूल्यांकन करने के लिए नहीं कहता था, बल्कि मॉडल के आउटपुट को वास्तविक पाठ से अलग करने में कितनी बार सफल होते थे, यह मापते थे, जो यह जांचते थे कि मॉडल अपने आउटपुट को प्रामाणिक बनाने में कितने सफल थे।

मॉडलों की रैंकिंग पिछले निर्णय कार्य के परिणामों से मेल खाती थी: जीपीटी-4ो-मिनी का फाइन-ट्यून किया गया संस्करण सबसे अधिक समझ में आने वाला था, लेकिन वास्तविक बातचीत से कम।

प्रत्येक स्रोत को कितनी बार वास्तविक ऐतिहासिक पाराग्राफ के रूप में सही ढंग से पहचाना गया था।

यह परीक्षण एक उपयोगी बेंचमार्क के रूप में भी कार्य किया, क्योंकि वास्तविक पाराग्राफ को अधिक आधे समय पहचाना गया था, मानव पाठकों के लिए स्वाभाविक और सिंथेटिक प्रोस के बीच का अंतर अभी भी ध्यान देने योग्य था।

एक सांख्यिकीय विश्लेषण जिसे मैक्नेमार का परीक्षण कहा जाता है, ने पुष्टि की कि मॉडलों के बीच के अंतर अर्थपूर्ण थे, दो अनट्यून्ड संस्करणों (जीपीटी-4ो और जीपीटी-4ो-मिनी) को छोड़कर, जो समान रूप से प्रदर्शन करते थे।

भविष्य का अतीत

लेखकों ने पाया कि आधुनिक भाषा मॉडलों को एक ऐतिहासिक आवाज अपनाने के लिए प्रेरित करना विश्वसनीय परिणाम नहीं देता है: मानव पाठकों द्वारा कम से कम दो-तिहाई आउटपुट को विश्वसनीय माना जाता है, और यहां तक कि यह आंकड़ा प्रदर्शन को बढ़ा-चढ़ाकर पेश करता है।

अनेक मामलों में, प्रतिक्रियाओं में स्पष्ट संकेत थे कि मॉडल वर्तमान दृष्टिकोण से बोल रहा था – जैसे कि ‘1914 में, यह अभी तक ज्ञात नहीं है कि…’ या ‘1914 के रूप में, मैं इसके बारे में परिचित नहीं हूं…’ जैसे वाक्यांश पर्याप्त बार दिखाई दिए थे कि वे पांचवीं पाराग्राफ में दिखाई दिए। निरंतरता में दिखाई देते हैं। डिस्क्लेमर इस प्रकार के मॉडल को यह स्पष्ट करते हैं कि यह इतिहास के बाहर से अनुकरण कर रहा है, न कि इसके भीतर से।

लेखकों का बयान है:

‘संदर्भ में सीखने का खराब प्रदर्शन दुर्भाग्यपूर्ण है, क्योंकि ये तरीके एआई-आधारित ऐतिहासिक अनुसंधान के लिए सबसे आसान और सस्ते हैं। हम जोर देते हैं कि हमने इन दृष्टिकोणों का व्यापक रूप से अन्वेषण नहीं किया है। ‘

‘यह हो सकता है कि संदर्भ में सीखना – अब या भविष्य में – अनुसंधान के एक उपक्षेत्र के लिए पर्याप्त हो। लेकिन हमारे प्रारंभिक साक्ष्य उत्साहजनक नहीं हैं। ‘

लेखकों का निष्कर्ष है कि जबकि एक वाणिज्यिक मॉडल को ऐतिहासिक पाराग्राफों पर फाइन-ट्यून करने से न्यूनतम लागत पर शैलीगत रूप से विश्वसनीय आउटपुट मिल सकता है, यह पूरी तरह से आधुनिक दृष्टिकोण के निशान को समाप्त नहीं करता है। एक मॉडल को पूरी तरह से उस अवधि के सामग्री पर प्रशिक्षित करने से अनाचारोनिज्म से बचा जा सकता है, लेकिन इसमें बहुत अधिक संसाधनों की आवश्यकता होती है और कम चिकनी आउटपुट का परिणाम होता है।

कोई भी तरीका पूर्ण समाधान प्रदान नहीं करता है, और ऐसा लगता है कि ऐतिहासिक आवाजों की नकल करने का कोई भी प्रयास प्रामाणिकता और सुसंगतता के बीच एक समझौता शामिल करेगा। लेखकों का निष्कर्ष है कि इस तनाव को कैसे नेविगेट करना है, इसे स्पष्ट करने के लिए आगे के शोध की आवश्यकता होगी।

निष्कर्ष

शायद इस नए पत्र से उठने वाले सबसे दिलचस्प प्रश्नों में से एक प्रामाणिकता का है। जबकि वे完र्फेक्ट टूल नहीं हैं, लॉस फंक्शन और मेट्रिक्स जैसे एलपीआईपीएस और एसएसआईएम कंप्यूटर विजन शोधकर्ताओं को कम से कम एक जैसा-जैसा तरीका प्रदान करते हैं ग्राउंड ट्रुथ के खिलाफ मूल्यांकन के लिए।

दूसरी ओर, एक बीते हुए युग की शैली में नए पाठ को उत्पन्न करने का प्रयास, केवल एक विलुप्त सांस्कृतिक दृष्टिकोण को बसने का प्रयास है। साहित्यिक संकेतों से उस मानसिकता का पुनर्निर्माण करना स्वयं एक क्वांटाइजेशन का कार्य है, क्योंकि ऐसे संकेत केवल साक्ष्य हैं, जबकि जिस सांस्कृतिक चेतना से वे उत्पन्न होते हैं वह अनुमान से परे है, और संभवतः कल्पना से भी परे।

व्यावहारिक स्तर पर भी, आधुनिक भाषा मॉडलों की नींव, जो वर्तमान मानकों और डेटा द्वारा आकार दी गई है, उन विचारों को पुनः लिखने या दबाने का जोखिम है जो एक एडवर्डियन पाठक के लिए तर्कसंगत या असाधारण लगते थे, लेकिन जो अब पक्षपात, असमानता या अन्याय के कलाकृतियों के रूप में पंजीकृत होते हैं।

एक आश्चर्य है, इसलिए, कि क्या हम ऐसा संवाद बना सकते हैं, तो क्या यह हमें प्रतिकूल नहीं लगेगा।

पहली बार शुक्रवार, 2 मई, 2025 को प्रकाशित