Anderson का एंगल

AI को प्रकाशस्तंभ के रखवालों के बारे में लिखना क्यों पसंद है?

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
AI-generated image (GPT-2): Infinite identical lighthouse keepers stand screaming along a rain-soaked stone causeway above a violent sea, while matching lighthouses repeat into the distance beneath dark storm clouds, creating a photoreal recursive landscape.
मुख्य बिंदुभाषा मॉडल प्रकाशस्तंभ रक्षक एलियास पर इसलिए एकमत हो जाते हैं क्योंकि कॉपीराइट फ़िल्टरों…
और देखें
  • भाषा मॉडल प्रकाशस्तंभ रक्षक एलियास पर इसलिए एकमत हो जाते हैं क्योंकि कॉपीराइट फ़िल्टरों ने संभवतः अधिक समृद्ध काल्पनिक सामग्री को छाँट दिया होगा।
  • ये बार-बार आने वाले शब्द प्रकाशित काल्पनिक साहित्य या प्रशिक्षण संग्रहों में मुश्किल से दिखाई देते हैं, इसलिए डेटा की व्यापकता इस जुनून की व्याख्या नहीं कर सकती।
  • प्रशिक्षण-पश्चात् कहानियों का एक अत्यंत छोटा अंश सांख्यिकीय रूप से मॉडल के आउटपुट पर उस तरह हावी नहीं हो सकता जैसे प्रकाशस्तंभ का रूपक होता है।

“एक कहानी लिखो” कहे जाने पर ChatGPT और अन्य अग्रणी भाषा मॉडल कॉपीराइट उल्लंघन से बचने के लिए बार-बार उन्हीं कुछ विचित्र पात्रों—जैसे प्रकाशस्तंभ रखवाले, मछुआरे और घड़ीसाज़—का सहारा लेते दिखाई देते हैं।

 

कॉर्नेल विश्वविद्यालय के एक नए अध्ययन में पाया गया कि केवल “एक कहानी लिखो” कहे जाने पर प्रमुख भाषा मॉडल कथात्मक तत्वों के बहुत सीमित समूह के प्रति असामान्य लगाव दिखाते प्रतीत होते हैं। शोधकर्ताओं ने चार LLM से 20,000 कहानियाँ लिखवाईं। इनमें 88% में 11 बहुत विशिष्ट टोकनों में से कम से कम एक था, जो स्थान, नाम या पेशे की श्रेणियों से थे।

20,000 LLM कहानियों में अप्रत्याशित प्रमुख शब्दों की प्रति दस लाख शब्दों पर आवृत्ति।

20,000 LLM-निर्मित कहानियों के विश्लेषण में मिले असंभावित प्रमुख शब्दों की प्रति दस लाख शब्दों में आवृत्ति। स्रोत

अध्ययन के लिए बनाए गए 1.2 करोड़ से अधिक शब्दों में सबसे अधिक दोहराए गए 11 शब्द थे: नाम elias, mara, elara; पेशे keeper, baker, mayor, clockmaker, fisherman, librarian, conductor; और स्थान lighthouse।

परीक्षित मॉडल थे Claude Haiku 4.5, Gemini 3.1 Flash-Lite, GPT-5.4-Mini और OLMo 7b Thinking। हर मॉडल को पाँच में से एक निर्देश मिला: Write a story; Please write a story; Write me a story; Tell me a story; या Please tell a story।

यह जानने के लिए कि शोधपत्र में पहचाना गया सिंड्रोम लेख लिखते समय उपलब्ध मॉडलों में भी है या नहीं, मैंने अपने सामान्य मध्यम शुल्क वाले ChatGPT खाते से प्रयोग दोहराया (वार्तालाप यहाँ)। परिणाम चुनने की जरूरत नहीं पड़ी—ChatGPT-5.5 ने पहली कोशिश में ही वही सामग्री चुनी जिसकी शोधकर्ताओं ने भविष्यवाणी की थी।

ChatGPT-5.5 पहली कोशिश में शोधपत्र के शुरुआती निष्कर्षों की पुष्टि करता है।

ChatGPT-5.5 ने तुरंत शोधपत्र के शुरुआती निष्कर्ष की पुष्टि की। स्रोत

मैंने सोचा कि पहली कोशिश में मिले इस परिणाम का कारण पिछली बातचीत का संदर्भ या अलग सेवाओं के बीच सूचना का संभावित रिसाव तो नहीं। इसलिए Firefox की निजी विंडो में ऐसे मुफ्त ChatGPT खाते से फिर प्रयास किया जिसे कम से कम एक वर्ष से इस्तेमाल नहीं किया था (वार्तालाप यहाँ)। यदि यह मानें कि OpenAI समान IP पते वाले अलग खातों के बीच जानकारी नहीं पहुँचाता, तो ChatGPT ने फिर बिल्कुल निशाने पर परिणाम दिया।

दूसरा ChatGPT खाता भी नामों और विषयों के उसी सीमित ढाँचे का अनुसरण करता है।

दूसरा ChatGPT खाता भी नए शोधपत्र में बताए उन्हीं दोहराते नामों और विषयों के सीमित ढाँचे का अनुसरण करता है। “Mira” शोधकर्ताओं की सूची के 20 सबसे आम नामों में है। स्रोत

ध्यान रहे कि ये GPT संस्करण शोधपत्र में परीक्षित 5.4 से एक स्तर ऊपर थे।

हालाँकि शोधपत्र में Claude Haiku जाँचा गया था, मैंने Anthropic का डिफ़ॉल्ट Sonnet 4.6 आजमाया और निराश नहीं हुआ। परिचित प्रमुख शब्द पहली कोशिश में ही फिर आ गए (वार्तालाप यहाँ)।

Claude Sonnet 4.6 की पहली कोशिश में Mara कहानी की मुख्य पात्र है।

इस बार शीर्ष 11 में शामिल एक और परिचित नाम “Mara” Claude Sonnet 4.6 की पहली कोशिश में कहानी की मुख्य पात्र है। स्रोत

Claude Haiku 4.5 पर वही निर्देश देने से लगभग वही परिणाम मिला।

Google Gemini में शुरुआत में निष्कर्ष दोहरा नहीं सका। जब विशेष रूप से शोधपत्र वाला Gemini 3.1 Flash-Lite चुना, तो कुल तीसरी लेकिन उस मॉडल पर पहली कोशिश में पैटर्न तुरंत उभर आया (लिंक यहाँ)।

Google Gemini 3.1 Flash-Lite का उत्तर।

Google Gemini 3.1 Flash-Lite। स्रोत

अन्य Gemini मॉडलों के प्रयोगों में प्रकाशस्तंभ विषय हर बार आया, हालाँकि शीर्ष 11 से बाहर Thomas जैसे नाम या एक रूप में मेरा अपना नाम नायक बना।

फिर भी लेखन के समय शोधपत्र के निष्कर्ष सिद्ध करना अत्यंत आसान था।

वास्तविक दुनिया में प्रकाशस्तंभ

बड़े विचार अक्सर मिलते हैं: नए शोधपत्र के प्रकाशन से एक सप्ताह पहले सॉफ्टवेयर विषयों पर लिखने वाले Daniel May ने एक संयोग की ओर ध्यान दिलाया था: शोधकर्ताओं द्वारा पहचाने गए Elias और lighthouse keeper के पैटर्न का मेल*। लगता है कि उन्होंने इसे संयोग से देखा था। फिर उन्होंने Gemini, DeepSeek, Qwen और Gemma के आठ रूप जाँचे और पाया कि वे lighthouse के पैटर्न और “Elias Thorne” नामक मुख्य पात्र को पैदा करते हैं*। लेकिन उनकी शुरुआती खोज नए शोधपत्र में बताए दोहराते विषयों के व्यापक दायरे तक नहीं पहुँची।

यह देखने के लिए कि ये दोहराते विषय, नाम और स्थान चैट से बाहर आए हैं या नहीं, मैंने शीर्ष 11 शब्दों और विषयों में से कुछ को Google पर खोजा और ऐसे आश्चर्यजनक रूप से कई पोस्ट पाए जो इन्हें अपनाते दिखे।

सार्वजनिक सामग्री में दोहराते पैटर्न के तीन उदाहरण; स्रोत लिंक लेख में हैं।

सार्वजनिक सामग्री में इस दोहराते पैटर्न के तीन उदाहरण। स्रोत लिंक नीचे दिए गए हैं।

May ने केवल Elias नहीं, पूरे Elias Thorne को स्थायी LLM मीम माना और Amazon के स्क्रीनशॉट दिखाए जहाँ यह नाम चिकित्सा पुस्तकों सहित कई किताबों के लेखक नाम के रूप में प्रयुक्त हुआ प्रतीत होता है।

मुझे ऐसी सामग्री भी मिली जिससे लगता था कि किसी LLM ने ये दोहराते विषय अपनाए हैं: एक कहानी की X पोस्ट (संग्रह यहाँ), एक काल्पनिक रचना (संग्रह यहाँ) और YouTube पर वाचन वाली कहानी (संग्रह यहाँ)। और भी बहुत था, पर समय नहीं था।

अतीत के प्रति आकर्षण

इतना तो आकस्मिक अवलोकन था। प्रशिक्षण डेटा में सभी या अधिकांश स्थायी तत्वों वाला कोई एक “जादुई दस्तावेज़” नहीं मिला, लेकिन कॉर्नेल के दो शोधकर्ताओं का नया शोधपत्र “Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories” के लेखक अनुमान लगाते हैं कि AI के विकास में इस्तेमाल होने वाले कॉपीराइट फ़िल्टर LLM की कथाओं को ऐसी सामग्री तक सीमित कर सकते हैं जिसकी कॉपीराइट अवधि समाप्त हो चुकी है।

लेखक कहते हैं:

“हमने पाया कि ‘प्रकाशस्तंभ में Elias’ कहानियों के प्रभुत्व को प्रशिक्षण-पूर्व या प्रशिक्षण-पश्च डेटा में उनकी व्यापकता से नहीं समझाया जा सकता। हमारा अनुमान है कि संरेखण के दौरान मॉडलों को कॉपीराइट-संरक्षित पात्रों और वयस्क सामग्री के उल्लेख से बचना सिखाया जाता है, लेकिन हम यह प्रश्न भविष्य के शोध के लिए छोड़ते हैं।”

श्रेणी टोकन हमारा अध्ययन साहित्य पूर्व-प्रशिक्षण गैर-कथा पूर्व-प्रशिक्षण कथा पश्च-प्रशिक्षण गैर-कथा पश्च-प्रशिक्षण कथा
नाम elias 2,428 2.7 2.2 4.0 0.4 52.7
नाम mara 5,200 3.9 2.5 8.7 0.4 21.7
नाम elara 1,221 0.0 0.4 1.2 0.9 108
पेशा keeper 1,495 7.2 6.3 14.7 3.5 10.0
पेशा baker 161 20 11.8 10.56 1.7 11.9
पेशा mayor 198 28 11.5 16.1 1.4 27.4
पेशा clockmaker 108 0.1 0.18 0.0 0.3 1.4
पेशा fisherman 62 4.2 3.0 7.6 0.0 9.3
पेशा librarian 68 5.3 7.6 5.9 2.3 11.5
पेशा conductor 96 5.0 5.9 5.7 4.7 7.5
स्थान lighthouse 3,005 5.5 3.5 4.6 4.6 10.1

AI-निर्मित कहानियों के दोहराते शब्दों की प्रकाशित साहित्य, वेब कथा और प्रशिक्षण-पश्च डेटा में आवृत्ति की तुलना। Elias और lighthouse जैसे शब्द चैटबॉट कथा में कहीं अधिक आते हैं।

11 प्रमुख शब्द 20,000 कहानियों के 88% में आए और मॉडलों के बीच बहुत कम अंतर था। लेखक जोर देते हैं कि ये शब्द प्रकाशित अंग्रेज़ी साहित्य में असामान्य हैं और मॉडल को “स्वीकार्य” उपयोग के लिए ढालने तथा संरेखित करने वाला प्रशिक्षण-पश्च डेटा इसका कारण हो सकता है।

शोधपत्र कहता है:

“नीचे का सामान्य उदाहरण लगभग सभी 20,000 कहानियों में साझा तीन तत्व दिखाता है: स्थान (19,864), पात्र का नाम (19,864) और पेशा (15,807)।”

“विशिष्ट स्थान ‘lighthouse’, नाम ‘Elias’ और पेशा ‘keeper’ किसी न किसी संयोजन में 66.6% कहानियों में हैं। प्रकाश भी सामान्य विषय है: Claude की 56% कहानियों का शीर्षक ‘The Lighthouse Keeper’s Secret’ है और ‘light’ 16,784 कहानियों में औसतन 3.2 बार आता है।”

शोधपत्र के अनुसार Google Gemini 3.1 Flash-Lite ने Write a story पर यह उदाहरण लिखा।

शोधपत्र के अनुसार Google Gemini 3.1 Flash-Lite ने यह उदाहरण “Write a story” निर्देश के जवाब में लिखा।

शोधकर्ता पहचाने गए सभी प्रमुख शब्दों और नामों में अतीत के प्रति लगाव या आदिम प्रवृत्तियों की ओर लौटने का रुझान भी देखते हैं।

विशेषताओं के स्रोत की तलाश

यह जाँचने के लिए कि प्रकाशस्तंभ कहानियाँ सामान्य कथा-पाठ से समझाई जा सकती हैं या नहीं, पसंदीदा शब्दों की कई बड़े अंग्रेज़ी कॉर्पस से तुलना हुई। आधुनिक कथा के लिए CONLIT का उपयोग किया गया। इसमें 2007–2021 में प्रकाशित 12 विधाओं के 2,700 अंग्रेज़ी उपन्यास हैं, जिनमें लगभग 28.7 करोड़ शब्द हैं।

“Elias” प्रकाशित कथा की तुलना में उत्पन्न कहानियों में लगभग 900 गुना अधिक आया। Reddit के /r/writingprompts समुदाय की शौकिया कथाओं में भी प्रकाशित साहित्य जैसी आवृत्तियाँ मिलीं। इससे संकेत मिलता है कि यह पैटर्न मनुष्यों की सामान्य कहानी कहने की आदतों को भी नहीं दर्शाता।

प्रशिक्षण-पूर्व डेटा में भी यही परिणाम था। सार्वजनिक OLMo 3 कॉर्पस में लगभग 3.89 अरब मुख्यतः मानव-लिखित दस्तावेज़ हैं, जिनमें कुछ Common Crawl से आए हैं। शोधकर्ताओं ने पाया कि दोहराते “Core” शब्द लगभग दिखाई ही नहीं दिए।

OLMo 3 का बड़ा भाग गैर-कथा है, इसलिए GPT-OSS 20b की दी हुई श्रेणियों और 200,000 संतुलित नमूनों पर प्रशिक्षित FastText मॉडल से कथा-वर्गीकारक बनाया गया। केवल कथात्मक सामग्री छाँटने पर भी Elara जैसे शब्द AI की कहानियों की तुलना में नगण्य थे। फिर कथा लिखने के सबसे साधारण निर्देश में ये शब्द क्यों हावी हो जाते हैं?

लेखक कहते हैं:

“यदि Core शब्द वेब डेटा में सामान्य नहीं हैं तो शेष स्रोत प्रशिक्षण-पश्च डेटा हो सकता है। लेकिन OLMo के प्रशिक्षण-पश्च डेटा में हमारे टोकनों की दर CONLIT से कम है।”

OLMo 3 के प्रशिक्षण-पश्च डेटा की 78,958 कहानियों में Elias प्रति दस लाख शब्दों पर 52.7 बार आया, जबकि CONLIT में 2.7 बार। लेकिन अध्ययन की उत्पन्न कहानियों में यह दर 2,428 तक पहुँची।

दोहराती Core कहानियों का स्रोत जानने के लिए OLMo 3 के प्रशिक्षण-पश्च डेटा की हर कहानी को एक या अधिक Core टोकनों, जैसे Elara, Mara आदि, की मौजूदगी के आधार पर आँका गया। अधिकांश के पर्यवेक्षित फ़ाइन-ट्यूनिंग (SFT) डेटा में मिलने की अपेक्षा थी, क्योंकि WildChat और संबंधित स्रोतों ने OLMo 3 को 59,266 कहानियाँ दी थीं।

मगर केवल 1,803 में Core शब्द थे, जबकि DPO और रीइन्फोर्समेंट लर्निंग डेटा में सांद्रता अधिक थी।

कुल मिलाकर दोहराती Core शब्दावली केवल 3,053 कहानियों तक पहुँची—सभी प्रशिक्षण-पश्च कहानियों का 3.8%। इतनी छोटी उपश्रेणी का देखे गए तरीके से हावी होना सांख्यिकीय रूप से संभव नहीं है।

शोधपत्र निष्कर्ष देता है:

“बहुत कम निर्देश मिलने पर आज के अग्रणी मॉडल नामों, स्थानों और पेशों की सीमित सूची से कहानियाँ लिखते हैं। दोहराते पात्रों में प्रकाशस्तंभ का रखवाला Elias शामिल है। Elias असामान्य है: यह नाम साहित्य, वेब डेटा और प्रशिक्षण-पश्च डेटा में भी दुर्लभ है।”

निष्कर्ष

शीर्ष 11 शब्दों को समेटने वाली कोई एक साहित्यिक रचना या श्रृंखला न होने पर यह बिल्कुल स्पष्ट नहीं है कि अलग प्रशिक्षण डेटा और विधियों वाले कई LLM की सबसे निचली परतों में यही शब्द कैसे इकट्ठे होकर आपस में जुड़ गए।

कॉपीराइट फ़िल्टर के सीमित करने वाले प्रभाव के बारे में शोधकर्ताओं का दावा सही भी हो, तो प्रशिक्षण डेटा में क्लासिक साहित्य के विशाल महासागर को इन पुराने शब्दों के विचित्र समूह को बिना अतिरिक्त शर्त वाले “लिखो” निर्देश के उत्तर पर हावी होने से रोकना चाहिए था।

पर यह सिद्धांत मानता है कि क्लासिक साहित्य की विशाल मात्रा प्रशिक्षण में शामिल थी। यह कम संभावित लगता है क्योंकि लक्ष्य नकली Dickens शैली लिखने वाले नहीं, बल्कि आधुनिक शब्दावली और व्यवसाय की जरूरतें सँभालने वाले मॉडल हैं। औद्योगिक युग से पहले के साहित्य की विशाल मात्रा ही उसे शामिल करने में बाधक होती।

किसी भी स्थिति में, यदि इन “जुनूनी” तत्वों के किसी संयोजन वाली कोई विशिष्ट रचना होती, तो उसे खोजना शायद आसान होता। शोधकर्ता भी उसे नहीं खोज पाए और AI-पूर्व युग की सामग्री में साधारण खोजों से कोई उम्मीदवार नहीं मिला। शायद “लाइटहाउस सिंड्रोम” AI के लंबे डैश जितना प्रसिद्ध हो जाए, तो कोई विद्वान जवाब दे सके।

 

* May के लेख में और आगे नहीं जा सकता; कारण उसे पढ़ने पर स्पष्ट हो सकता है।

पहली बार बुधवार, 27 मई 2026 को प्रकाशित। Anthropic लिंक ठीक करने के लिए पहले 30 मिनट में संशोधित।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai