नए शोध में पाया गया कि राग सिस्टम में सोलह प्रमुख समस्याएं हैं, जिनमें पर्प्लेक्सिटी भी शामिल है

अमेरिका से एक हालिया अध्ययन में पाया गया है कि लोकप्रिय रिट्रीवल ऑगमेंटेड जेनरेशन (राग) शोध प्रणालियों का वास्तविक दुनिया का प्रदर्शन, जैसे कि पर्प्लेक्सिटी और बिंग कोपिलॉट, पिछले 12 महीनों में हेडलाइंस में मिली मार्केटिंग हाइप और लोकप्रिय अपनाने से बहुत कम है।

परियोजना, जिसमें 21 विशेषज्ञ आवाजों की व्यापक सर्वेक्षण भागीदारी शामिल थी, ने पाया कि अध्ययन किए गए राग सिस्टम (यू चैट, बिंग कोपिलॉट और पर्प्लेक्सिटी) ने 16 क्षेत्रों में चिंता का कारण उत्पन्न किया:

1: उत्तरों में वस्तुनिष्ठ विवरण की कमी, जिसमें सामान्य सारांश और संदर्भ गहराई या सूक्ष्मता की कमी होती है।

2. प्रयोगकर्ता पूर्वाग्रह की पुष्टि, जहां एक राग इंजन अक्सर विभिन्न दृष्टिकोण प्रस्तुत करने में विफल रहता है, लेकिन इसके बजाय उपयोगकर्ता के प्रश्न के तरीके के आधार पर उपयोगकर्ता पूर्वाग्रह को अनुमानित और पुष्टि करता है।

3. अत्यधिक आत्मविश्वासी भाषा, विशेष रूप से विषयगत प्रतिक्रियाओं में जो संप्रत्यय रूप से स्थापित नहीं की जा सकती है, जो उपयोगकर्ता को उत्तर पर अधिक विश्वास करने के लिए प्रेरित कर सकती है जितना कि वह योग्य है।

4: सरल भाषा और महत्वपूर्ण सोच और रचनात्मकता की कमी, जहां प्रतिक्रियाएं प्रभावी रूप से उपयोगकर्ता को ‘दिमागी’ और ‘सहमत’ जानकारी के साथ प्रताड़ित करती हैं, बजाय इसके कि सोच-समझकर विचार और विश्लेषण किया जाए।

5: स्रोतों का गलत तरीके से उद्धृत करना और गलत तरीके से उद्धृत करना, जहां उत्तर इंजन अपनी प्रतिक्रिया के लिए स्रोतों का उपयोग करता है जो इसके उत्तर का समर्थन नहीं करते हैं, विश्वसनीयता का भ्रम पैदा करते हैं।

6: संदर्भ से जानकारी चुनना, जहां राग एजेंट अपने उत्पन्न दावे और उपयोगकर्ता की इच्छा के अनुमान का समर्थन करने वाले उत्तरों की तलाश में लगता है, बजाय इसके कि यह अपने उत्तरों को विश्वसनीय स्रोतों के वस्तुनिष्ठ विश्लेषण पर आधारित करता है।

7: बयानों को समर्थन देने वाले उद्धरणों को छोड़ना, जहां प्रतिक्रियाओं के लिए स्रोत सामग्री अनुपस्थित है।

8: अपनी प्रतिक्रियाओं के लिए तार्किक योजना प्रदान नहीं करना, जहां उपयोगकर्ता यह पूछ नहीं सकते कि प्रणाली ने कुछ स्रोतों को अन्य स्रोतों के ऊपर क्यों प्राथमिकता दी।

9: स्रोतों की सीमित संख्या, जहां अधिकांश राग सिस्टम आमतौर पर एक बयान के लिए तीन समर्थन स्रोत प्रदान करते हैं, भले ही अधिक विविध स्रोत लागू हों।

10: अनाथ स्रोत, जहां प्रणाली के समर्थन उद्धरणों से डेटा वास्तव में उत्तर में शामिल नहीं है।

11: अविश्वसनीय स्रोतों का उपयोग, जहां प्रणाली ने एक स्रोत को पसंद किया है जो तथ्यात्मक रूप से सही होने के बजाय लोकप्रिय (अर्थात, एसईओ शब्दों में) है।

12: अतिरिक्त स्रोत, जहां प्रणाली कई उद्धरण प्रस्तुत करती है जिनमें स्रोत पत्र मूल रूप से एक ही सामग्री होते हैं।

13: अफिल्टर्ड स्रोत, जहां प्रणाली उपयोगकर्ता को प्रस्तुत किए गए उद्धरणों का मूल्यांकन या फिल्टर करने का कोई तरीका नहीं देती है, जिससे उपयोगकर्ता को चयन मानदंड पर विश्वास करने के लिए मजबूर किया जाता है।

14: अन्तरक्रियाशीलता या अन्वेषण की कमी, जहां कई उपयोगकर्ता-अध्ययन प्रतिभागियों को यह देखकर निराशा हुई कि राग सिस्टम ने स्पष्टीकरण प्रश्न नहीं पूछे, लेकिन पहले प्रश्न से उपयोगकर्ता के इरादे को मान लिया।

15: बाहरी सत्यापन की आवश्यकता, जहां उपयोगकर्ता राग के उत्तर की स्वतंत्र सत्यापन करने के लिए प्रेरित महसूस करते हैं, जो राग के ‘सर्च के लिए प्रतिस्थापन’ के सुप्रसिद्ध सुविधा को बड़े पैमाने पर हटा देता है।

16: शैक्षणिक उद्धरण विधियों का उपयोग, जैसे कि [1] या [34], जो शैक्षणिक हलकों में मानक अभ्यास है, लेकिन कई उपयोगकर्ताओं के लिए अस्पष्ट हो सकता है।

काम के लिए, शोधकर्ताओं ने 21 विशेषज्ञों को एकत्र किया, जिनमें कृत्रिम बुद्धिमत्ता, स्वास्थ्य सेवा, चिकित्सा, अनुप्रयुक्त विज्ञान और शिक्षा और सामाजिक विज्ञान में पोस्ट-डॉक्टरेट शोधकर्ता या पीएचडी उम्मीदवार शामिल थे। प्रतिभागियों ने परीक्षण किए गए राग सिस्टम के साथ बातचीत की जबकि वे अपनी सोच प्रक्रिया को जोर से बोलते थे, ताकि शोधकर्ताओं के लिए अपनी तर्कसंगत योजना को स्पष्ट किया जा सके।

कागज़ में प्रतिभागियों की शंकाओं और चिंताओं को व्यापक रूप से उद्धृत किया गया है कि तीन सिस्टम का प्रदर्शन कैसा था।

कागज़ के लेखक दावा करते हैं कि दोनों नए और अनुभवी उपयोगकर्ताओं को राग सिस्टम का उपयोग करते समय सावधानी बरतनी चाहिए। वे आगे एक नए मेट्रिक्स प्रणाली का प्रस्ताव करते हैं, जो अध्ययन में पाए गए कमियों पर आधारित हो सकती है, जो भविष्य में अधिक तकनीकी पर्यवेक्षण का आधार बन सकती है।

हालांकि, राग सिस्टम का बढ़ता सार्वजनिक उपयोग लेखकों को भी उपयुक्त कानून और सरकारी नीति के लिए अधिक प्रवर्तन का समर्थन करने के लिए प्रेरित करता है।

अध्ययन पेन्सिलवेनिया स्टेट यूनिवर्सिटी और सेल्सफोर्स के पांच शोधकर्ताओं से आया है, और इसका शीर्षक है एक एआई युग में खोज इंजन: तथ्यात्मक और सत्यापन योग्य स्रोत-उद्धृत प्रतिक्रियाओं का झूठा वादा। काम राग सिस्टम को अगस्त 2024 में राज्य-of-the-आर्ट तक कवर करता है

राग ट्रेड-ऑफ

लेखक अपने काम को चार ज्ञात कमियों के साथ शुरू करते हैं जो बड़े भाषा मॉडल (एलएलएम) में उत्तर इंजन में उपयोग किए जाते हैं।

पहले, वे तथ्यात्मक असंगति का पता लगाने में असमर्थ हैं और जानकारी को हॉलुसिनेट करने के लिए प्रवण होते हैं। दूसरा, उन्हें संदर्भ में एक उद्धरण की सटीकता का मूल्यांकन करने में कठिनाई होती है। तीसरा, वे अपने पूर्व-प्रशिक्षित वजन से डेटा को पसंद करते हैं और बाहरी रूप से पुनर्प्राप्त दस्तावेज़ीकरण से डेटा का विरोध कर सकते हैं, भले ही यह अधिक हाल का या अधिक सटीक हो।

अंत में, राग सिस्टम लोगों को खुश करने की प्रवृत्ति की ओर झुकते हैं, अक्सर सूचना की सटीकता के खर्चे पर।

इन सभी प्रवृत्तियों की पुष्टि दोनों अध्ययनों में हुई, साथ ही राग के पिटफॉल्स के बारे में कई नए अवलोकन भी किए गए।

कागज़ में ओपनएआई के सर्चजीपीटी राग उत्पाद को देखा जाता है, जो राग-आधारित खोज प्रणालियों के उपयोगकर्ता के गोद लेने को बढ़ावा देने की संभावना है, इसके बावजूद कि सर्वेक्षण परिणामों में संकेतित मूलभूत कमियां हैं:

‘ओपनएआई के ‘सर्चजीपीटी’ को ‘गूगल सर्च किलर’ के रूप में विपणन किया जा रहा है, जो चिंताओं को और बढ़ाता है। जैसे ही इन उपकरणों पर निर्भरता बढ़ती है, उनके प्रभाव को समझने की तत्परता बढ़ जाती है। लिंडेमैन सील्ड नॉलेज की अवधारणा को पेश करता है, जो यह बताता है कि कैसे ये सिस्टम विभिन्न उत्तरों तक पहुंच को सीमित करते हैं और जानकारी को सिंगल, अधिकारिक उत्तरों में संक्षिप्त करते हैं, जिससे जानकारी का संदर्भ हट जाता है और उपयोगकर्ता के दृष्टिकोण को सीमित करता है।

‘यह ‘नॉलेज को सील करना’ चयन पूर्वाग्रह को बढ़ावा देता है और हाशिए के दृष्टिकोण को सीमित करता है।’

अध्ययन

लेखकों ने अपने अध्ययन प्रक्रिया को पहले तीन में से तीन प्रतिभागियों पर परीक्षण किया, जिन्हें लिंक्डइन या ईमेल जैसे साधनों के माध्यम से आमंत्रित किया गया था।

पहले चरण में, शेष 21 प्रतिभागियों के लिए, विशेषज्ञता सूचना पुनर्प्राप्ति शामिल थी, जहां प्रतिभागियों ने औसतन 40 मिनट के सत्र में छह खोज प्रश्न पूछे। इस खंड में तथ्यात्मक प्रश्नों और उत्तरों की खोज और सत्यापन पर ध्यान केंद्रित किया गया था, साथ ही साथ संभावित अनुभवजन्य समाधान भी थे।

दूसरा चरण वाद-विवाद सूचना पुनर्प्राप्ति से संबंधित था, जो विषयगत मामलों से निपटता था, जिनमें पारिस्थितिकी, शाकाहारी और राजनीति शामिल थीं।

पर्प्लेक्सिटी (बाएं) और यू चैट (दाएं) से उत्पन्न अध्ययन उत्तर। स्रोत: https://arxiv.org/pdf/2410.22349

चूंकि सभी सिस्टम ने कम से कम कुछ स्तर की अंतरक्रियाशीलता की अनुमति दी थी, जो प्रदान की गई संदर्भों के साथ जुड़ी हुई थी, अध्ययन विषयों को इंटरफ़ेस के साथ यथासंभव बातचीत करने के लिए प्रोत्साहित किया गया था।

दोनों मामलों में, प्रतिभागियों को एक राग सिस्टम के माध्यम से और एक पारंपरिक खोज इंजन (इस मामले में गूगल) के माध्यम से अपने प्रश्न तैयार करने के लिए कहा गया था।

तीन उत्तर इंजन – यू चैट, बिंग कोपिलॉट और पर्प्लेक्सिटी – चुने गए क्योंकि वे सार्वजनिक रूप से सुलभ हैं।

अधिकांश प्रतिभागी पहले से ही राग सिस्टम के उपयोगकर्ता थे, जो अलग-अलग आवृत्ति पर थे।

अवसर की कमी के कारण, हम अध्ययन में पाए गए सोलह प्रमुख कमियों में से प्रत्येक को तोड़ने में असमर्थ हैं, लेकिन यहां कुछ सबसे दिलचस्प और प्रेरक उदाहरण प्रस्तुत किए गए हैं:

वस्तुनिष्ठ विवरण की कमी

कागज़ में यह उल्लेख किया गया है कि उपयोगकर्ता अक्सर पाते हैं कि सिस्टम की प्रतिक्रियाएं दोनों तथ्यात्मक और विषयगत प्रतिक्रियाओं में वस्तुनिष्ठ विवरण की कमी होती है। एक प्रतिभागी ने टिप्पणी की:

‘यह बस उत्तर देने की कोशिश कर रहा था बिना मुझे एक ठोस उत्तर या एक अधिक विचारशील उत्तर दिए, जो मुझे कई गूगल खोजों के साथ प्राप्त करने में सक्षम हूं।’

एक अन्य ने कहा:

‘यह बहुत छोटा है और बहुत सारांशित है। [मॉडल] को मुझे दावे के लिए अधिक डेटा देने की आवश्यकता है, लेकिन यह बहुत सारांशित है।’

संपूर्ण दृष्टिकोण की कमी

लेखक इस कमी और विशिष्टता की कमी के बारे में चिंतित हैं और कहते हैं कि उत्तर इंजन अक्सर एक तर्क के कई दृष्टिकोण प्रस्तुत करने में विफल रहते हैं, उपयोगकर्ता के प्रश्न के शब्दों से अनुमानित पूर्वाग्रह के साथ पक्ष लेते हैं।

एक प्रतिभागी ने कहा:

‘मैं तर्क के दूसरे पक्ष के बारे में अधिक जानना चाहता हूं… यह सब एक नमक के साथ है क्योंकि हम नहीं जानते कि दूसरी तरफ क्या है और साक्ष्य और तथ्य।’

एक अन्य ने टिप्पणी की:

‘यह आपको तर्क के दोनों पक्ष नहीं देता है; यह आपके साथ तर्क नहीं करता है। इसके बजाय, [मॉडल] आपको बता रहा है कि ‘आप सही हैं… और यहाँ कारण हैं।’

आत्मविश्वासी भाषा

लेखकों ने यह भी देखा कि तीनों परीक्षण किए गए सिस्टम ने विषयगत प्रतिक्रियाओं में भी अत्यधिक आत्मविश्वासी भाषा का प्रदर्शन किया। वे तर्क देते हैं कि यह स्वर उपयोगकर्ता को प्रतिक्रिया पर अनुचित विश्वास करने के लिए प्रेरित कर सकता है।

एक प्रतिभागी ने कहा:

‘यह इतनी आत्मविश्वास से लिखता है कि मैं बिना स्रोत देखे ही आश्वस्त महसूस करता हूं। लेकिन जब आप स्रोत देखते हैं, तो यह खराब है और इससे मुझे फिर से संदेह होता है।’

एक अन्य ने कहा:

‘यदि कोई व्यक्ति सही उत्तर को ठीक से नहीं जानता है, तो वे इसके ऊपर विश्वास करेंगे, भले ही यह गलत हो।’

गलत उद्धरण

एक अन्य सामान्य समस्या गलत तरीके से उद्धृत स्रोत थी, जिन्हें उत्तर इंजन की प्रतिक्रियाओं के लिए प्राधिकरण के रूप में उद्धृत किया गया था। एक अध्ययन विषय ने दावा किया:

‘[यह] बयान स्रोत में नहीं लगता है। मेरा मतलब है कि बयान सच है; यह वैध है… लेकिन मुझे नहीं पता कि यह जानकारी कहां से मिल रही है।’

कागज़ के लेखक टिप्पणी करते हैं:

‘प्रतिभागियों को लगता था कि सिस्टम अपने उत्तर को वैध बनाने के लिए उद्धरणों का उपयोग कर रहे थे, जो विश्वसनीयता का भ्रम पैदा कर रहे थे। यह सिर्फ कुछ उपयोगकर्ताओं के लिए ही उजागर हुआ जिन्होंने स्रोतों की जांच की।’

प्रश्न के अनुरूप जानकारी चुनना

राग प्रतिक्रियाओं में लोगों को खुश करने की प्रवृत्ति पर लौटते हुए, अध्ययन में पाया गया कि कई उत्तर एक विशिष्ट दृष्टिकोण को उजागर करते हैं, बजाय इसके कि विषय का एक व्यापक सारांश प्रस्तुत करते हैं, जैसा कि एक प्रतिभागी ने देखा:

‘मुझे लगता है कि [सिस्टम] मुझे मानिपुलेट कर रहा है। यह केवल कुछ जानकारी लेता है और मुझे लगता है कि मैं केवल एक ही पक्ष देखने के लिए मानिपुलेट किया जा रहा हूं।’

एक अन्य ने कहा:

‘[स्रोत] में वास्तव में पेशेवरों और विपक्ष हैं, और यह केवल इस लिंक से आवश्यक तर्क चुनता है, पूरी तस्वीर के बिना।’

अधिक विस्तृत उदाहरणों (और सर्वेक्षण प्रतिभागियों से कई महत्वपूर्ण उद्धरण) के लिए, हम पाठकों को मूल पत्र को देखने के लिए कहते हैं:

स्वचालित राग

अध्ययन के दूसरे चरण में, शोधकर्ताओं ने ब्राउज़र-नियंत्रित सूट का उपयोग करके तीन परीक्षण किए गए राग इंजन से प्रश्नों का स्वचालित मूल्यांकन किया।

फिर उन्होंने एक एलएलएम सिस्टम (जीपीटी-4ओ) का उपयोग करके प्रणाली की प्रतिक्रियाओं का विश्लेषण किया।

बयानों का विश्लेषण प्रश्न प्रासंगिकता और प्रो और विपक्ष बयान (अर्थात, प्रतिक्रिया क्या है – प्रश्न के अंतर्निहित पूर्वाग्रह के संबंध में – प्रो या विपक्ष में) के लिए किया गया था।

एक उत्तर विश्वास स्कोर का भी मूल्यांकन इस स्वचालित चरण में किया गया था, जो लिकर्ट स्केल मनोवैज्ञानिक परीक्षण विधि पर आधारित था। यहां एलएलएम जज को दो मानव अनnotator द्वारा बढ़ाया गया था।

एक तीसरा ऑपरेशन वेब स्क्रैपिंग का उपयोग करके उद्धृत वेब पेजों की पूर्ण-पाठ सामग्री प्राप्त करना शामिल था, जिना डॉट एआई रीडर टूल के माध्यम से। हालांकि, जैसा कि पत्र के अन्य地方 में उल्लेख किया गया है, अधिकांश वेब स्क्रैपिंग टूल भी अधिकांश लोगों की तरह ही पेवाल्ड साइटों तक पहुंच नहीं पा सकते हैं (हालांकि लेखकों ने देखा कि पर्प्लेक्सिटी डॉट एआई ने इस बाधा को पार करने के लिए जाना जाता है)।

अतिरिक्त विचार यह थे कि क्या उत्तरों ने एक स्रोत का हवाला दिया (एक ‘उद्धरण मैट्रिक्स’ के रूप में गणना की गई), साथ ही एक ‘तथ्यात्मक समर्थन मैट्रिक्स’ – एक मीट्रिक जिसे चार मानव अनnotator की मदद से सत्यापित किया गया था।

इस प्रकार 8 मुख्य मेट्रिक्स प्राप्त किए गए: एकपक्षीय उत्तर; अत्यधिक आत्मविश्वासी उत्तर; प्रासंगिक बयान; अनुद्धृत स्रोत; असमर्थित बयान; स्रोत आवश्यकता; उद्धरण सटीकता; और उद्धरण व्यापकता.

सामग्री जिसके खिलाफ इन मेट्रिक्स का परीक्षण किया गया था, वह 303 क्यूरेटेड प्रश्न थे जो उपयोगकर्ता-अध्ययन चरण से आए थे, जिसके परिणामस्वरूप तीन परीक्षण किए गए सिस्टम में 909 उत्तर थे।

तीन परीक्षण किए गए राग सिस्टम पर आठ मेट्रिक्स के आधार पर मात्रात्मक मूल्यांकन।

परिणामों के संबंध में, पत्र में कहा गया है:

‘उत्तर पाठ से संबंधित तीन मेट्रिक्स को देखते हुए, हम पाते हैं कि सभी मूल्यांकित उत्तर इंजन एकपक्षीय उत्तर (50-80%) उत्पन्न करते हैं, जो प्रश्न के एक चार्ज किए गए गठन के साथ सहमत होने की तुलना में कई दृष्टिकोण प्रस्तुत करने में विफल रहते हैं, पर्प्लेक्सिटी अन्य दो इंजनों की तुलना में खराब प्रदर्शन करता है।’

‘यह निष्कर्ष हमारे गुणात्मक परिणामों के अनुरूप है। आश्चर्यजनक रूप से, हालांकि पर्प्लेक्सिटी सबसे अधिक एकपक्षीय उत्तर उत्पन्न करता है, यह सबसे लंबे उत्तर (प्रति उत्तर 18.8 बयान) भी उत्पन्न करता है, जो यह दर्शाता है कि उत्तर विविधता की कमी उत्तर की संक्षिप्तता के कारण नहीं है। ‘

‘दूसरे शब्दों में, उत्तर की लंबाई बढ़ाने से उत्तर विविधता में सुधार नहीं होता है।’

लेखक यह भी बताते हैं कि पर्प्लेक्सिटी सबसे अधिक आत्मविश्वासी भाषा (90% उत्तर) का उपयोग करने की संभावना है, और इसके विपरीत, अन्य दो सिस्टम विषयगत सामग्री के मामले में अधिक सावधानी से और कम आत्मविश्वास से भाषा का उपयोग करते हैं।

यू चैट एकमात्र राग फ्रेमवर्क था जिसने एक उत्तर के लिए शून्य अनुद्धृत स्रोत हासिल किया, पर्प्लेक्सिटी 8% और बिंग चैट 36% पर था।

सभी मॉडल ने असमर्थित बयानों का ‘महत्वपूर्ण अनुपात’ दिखाया, और पत्र घोषित करता है:

‘आरएजी फ्रेमवर्क को एलएलएम के हॉलुसिनेटरी व्यवहार को हल करने के लिए स्रोत दस्तावेजों में आधारित उत्तर उत्पन्न करने के लिए डिज़ाइन किया गया है, लेकिन परिणाम यह दर्शाते हैं कि आरएजी आधारित उत्तर इंजन अभी भी स्रोतों द्वारा समर्थित एक बड़े अनुपात में बयानों वाले उत्तर उत्पन्न करते हैं।‘

इसके अतिरिक्त, सभी परीक्षण किए गए सिस्टम ने अपने बयानों को स्रोतों के साथ समर्थन करने में कठिनाई का अनुभव किया:

‘यू.कॉम और [बिंग चैट] पर्प्लेक्सिटी की तुलना में थोड़ा बेहतर प्रदर्शन करते हैं, जिसमें लगभग दो-तिहाई उद्धरण एक स्रोत की ओर इशारा करते हैं जो उद्धृत बयान का समर्थन करता है, और पर्प्लेक्सिटी खराब प्रदर्शन करता है, जिसमें अपने उद्धरणों में से अधिकांश भाग को गलत तरीके से उद्धृत किया जाता है। ‘

‘यह परिणाम आश्चर्यजनक है: उद्धरण न केवल उन बयानों के लिए गलत है जो किसी भी स्रोत (स्रोत) द्वारा समर्थित नहीं हैं, बल्कि हम यह भी पाते हैं कि जब कोई स्रोत बयान का समर्थन करता है, तो सभी इंजन अक्सर एक अलग गलत स्रोत का हवाला देते हैं, सही जानकारी स्रोत प्रदान करने का अवसर चूक जाते हैं। ‘

‘दूसरे शब्दों में, हॉलुसिनेटरी व्यवहार न केवल उन बयानों में प्रकट होता है जो स्रोतों द्वारा समर्थित नहीं हैं, बल्कि उन बयानों में भी जो स्रोतों द्वारा समर्थित हैं, लेकिन जिन्हें गलत तरीके से उद्धृत किया जाता है, जो उपयोगकर्ताओं को जानकारी की वैधता की जांच करने से रोकता है।‘

लेखक निष्कर्ष निकालते हैं:

‘कोई भी उत्तर इंजन अधिकांश मेट्रिक्स पर अच्छा प्रदर्शन हासिल नहीं करता है, जो उत्तर इंजन में सुधार के लिए बड़ा अवसर दिखाता है।’

* मेरा लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में बदलना। जहां आवश्यक था, मैंने हाइपरलिंक के लिए कई उद्धरणों में से पहले का चयन किया, प्रारूपण व्यावहारिकता के कारण।

^† लेखकों का जोर, मेरा नहीं।

सोमवार, 4 नवंबर, 2024 को पहली बार प्रकाशित।