एआई प्रशिक्षण संबंधी साझा robots.txt संकेत का सम्मान करेगा OpenAI

OpenAI ने 30 अक्टूबर 2026 को घोषणा की कि वह robots.txt में दिए गए साझा संकेत का सम्मान करेगा। वेबसाइटें इस फ़ाइल का उपयोग यह बताने के लिए करती हैं कि उनकी सामग्री का इस्तेमाल कैसे किया जाए। इससे साइट संचालक एक ही एआई प्रशिक्षण संबंधी पसंद को एक साथ कई भाग लेने वाले प्रदाताओं तक पहुँचा सकेंगे।

प्रदाताओं के बीच साझा किया जाने वाला स्वैच्छिक संकेत

अपनी घोषणा में OpenAI ने इस पहल को स्वैच्छिक बताया और कहा कि यह पहले से मौजूद एक समस्या का समाधान करती है: अब तक वेबसाइट संचालकों को हर प्रदाता के लिए अलग-अलग क्रॉलर की पहचान करनी पड़ती थी और अलग नियम बनाए रखने पड़ते थे। कंपनी के मुताबिक, साझा संकेत से प्रकाशक और वेबसाइट संचालक एक ही पसंद को एक साथ कई भाग लेने वाले प्रदाताओं तक पहुँचा सकते हैं। OpenAI ने कहा कि उसका लक्ष्य आने वाले महीनों में इस संकेत को लागू करना है और ऐसा होने पर वह इसे लागू करने के विवरण के साथ एक और अपडेट साझा करेगा।

कंपनी ने कहा कि नया संकेत robots.txt के ज़रिए पहले से उपलब्ध कराए गए नियंत्रणों की जगह नहीं लेगा; वे लागू रहेंगे और उनका सम्मान किया जाता रहेगा। OpenAI ने इस कदम को इंटरनेट इंजीनियरिंग टास्क फ़ोर्स के AI Preferences कार्यसमूह के जारी काम पर आधारित बताया। उसने कहा कि वह घोषणा करने में कार्यसमूह के अन्य प्रतिभागियों के साथ शामिल हो रहा है और दूसरे एआई प्रदाताओं को भी इस संकेत का सम्मान करने के लिए प्रोत्साहित किया। कंपनी के मुताबिक, यह कदम ऐसे खुले वेब की दिशा में बढ़ने का हिस्सा है जहाँ लोग जानकारी प्रकाशित और खोज सकें और वेबसाइट मालिकों के पास यह बताने के अधिक स्पष्ट और सरल तरीके हों कि उनकी सामग्री का इस्तेमाल कैसे किया जाए। उसने यह भी कहा कि मानकों पर चर्चा आगे बढ़ने के साथ वह अपनी प्रक्रियाओं को ढालता रहेगा।

यह संकेत कैसे काम करता है

इस संकेत को एक व्यक्तिगत इंटरनेट-मसौदे में परिभाषित किया गया है, जिसका शीर्षक मशीन-पठनीय प्रशिक्षण-पसंद संकेत है (draft-kelley-aipref-training-preference-signal-00)। इसे Anthropic के Kevin Kelley ने लिखा है। यह 30 अक्टूबर 2026 का है और 3 मई 2027 को इसकी वैधता समाप्त हो जाएगी। IETF के डेटाट्रैकर के अनुसार, किसी व्यक्तिगत इंटरनेट-मसौदे को IETF का समर्थन प्राप्त नहीं होता और IETF की मानक-निर्धारण प्रक्रिया में उसका कोई औपचारिक दर्जा नहीं होता।

मसौदे के अनुसार, सेवा संचालक User-Agent पंक्ति में हर उद्देश्य के लिए निर्धारित नीति टोकन का इस्तेमाल करते हुए सामान्य robots.txt समूह लिखकर उपयोग संबंधी पसंद—जैसे “एआई प्रशिक्षण नहीं”—को अलग-अलग पथों से जोड़ सकता है। मसौदे में न तो किसी नए निर्देश का नाम जोड़ा गया है, न ही कोई नया व्याकरण: RFC 9309 के रूप में प्रकाशित robots.txt मानक की पथ-भाषा, सबसे लंबे मेल को प्राथमिकता देने का नियम और समूह संरचना अपरिवर्तित हैं। मसौदे के मुताबिक, इसलिए इंटरनेट पर पहले से इस्तेमाल हो रहे पार्सर ट्रैफ़िक-प्रबंधन संकेतों की व्याख्या पहले की तरह करते रहेंगे और नीति-टोकन वाले समूहों को उसी तरह नज़रअंदाज़ करेंगे, जैसे वे ऐसे किसी भी समूह को नज़रअंदाज़ करते हैं जो किसी ऐसे उपयोगकर्ता एजेंट का नाम बताता हो जिसे वे पहचानते नहीं हैं।

मसौदे में अलग-अलग प्रदाताओं के लिए इस्तेमाल होने वाला नीति टोकन __usage_ai-training परिभाषित किया गया है। इसके उदाहरण में “User-Agent: __usage_ai-training” पंक्ति के साथ “Disallow: /” और “Allow: /press-kit/” दिया गया है। इससे /press-kit/ के तहत आने वाले पथों को छोड़कर बाकी सभी पथों के लिए एआई प्रशिक्षण की मनाही की पसंद व्यक्त होती है। वाइल्डकार्ड समूहों—यानी “User-Agent: *”—की व्याख्या इस तरह नहीं की जानी चाहिए कि वे नीति टोकन से मेल खाते हों। अगर किसी फ़ाइल में कोई भी समूह यह टोकन शामिल नहीं करता, तो कोई पसंद व्यक्त नहीं की गई है।

मसौदे में यह भी कहा गया है कि नीति टोकन क्रॉलिंग के व्यवहार के लिए कोई निर्देश नहीं है। इसमें कहा गया है कि सामग्री के उपयोग संबंधी पसंद और क्रॉलर के ट्रैफ़िक-प्रबंधन संकेत एक-दूसरे से स्वतंत्र और अलग हैं, और निजी समझौते इस व्यवस्था के ज़रिए व्यक्त की गई पसंदों को बदल सकते हैं। बताए गए लक्ष्यों में पथ-विशिष्ट संबद्धताएँ, RFC 9309 से न्यूनतम विचलन, बड़े पैमाने पर नियमों की नकल से बचना, इस व्यवस्था को लागू न करने वाले पार्सर का व्यवहार अपरिवर्तित रखना और सभी उपयोगकर्ताओं के बीच एकसमान व्याख्या सुनिश्चित करना शामिल है।

इस संकेत के पीछे की शब्दावली

इस टोकन का अर्थ कार्यसमूह के शब्दावली-मसौदे से मेल खाता है, जिसका शीर्षक एआई उपयोग संबंधी पसंद व्यक्त करने की शब्दावली है (draft-ietf-aipref-vocab-08)। इसे Open Future के Paul Keller और Mozilla के Martin Thomson ने लिखा है। सितंबर 2026 में इसका आख़िरी अपडेट किया गया था और यह प्रस्तावित मानक बनने के उद्देश्य से तैयार किया गया कार्यसमूह दस्तावेज़ है। इस शब्दावली में एआई प्रशिक्षण को किसी जनरेटिव एआई मॉडल के सीखे हुए पैरामीटर बदलने के लिए किसी परिसंपत्ति के इस्तेमाल के रूप में परिभाषित किया गया है। इसमें पूरी तरह गैर-जनरेटिव कार्यों के लिए इस्तेमाल होने वाले मॉडलों का प्रशिक्षण शामिल नहीं है। इसमें जनरेटिव एआई मॉडल को ऐसे मॉडल के रूप में परिभाषित किया गया है जिसका इस्तेमाल किसी एक या अधिक माध्यमों में कृत्रिम सामग्री तैयार करने के लिए किया जाता है या जिसे इस उद्देश्य से इस्तेमाल के लिए उपलब्ध कराया जाता है।

इस शब्दावली में एआई उपयोग की एक अलग श्रेणी भी परिभाषित की गई है। इसमें ऐसी परिसंपत्तियाँ शामिल हैं जिन्हें उपयोगकर्ता द्वारा सीधे उपलब्ध कराने के बजाय जनरेटिव एआई मॉडल के इनपुट के रूप में इस्तेमाल किया जाता है। इसमें खोज श्रेणी भी है, जो उन अनुप्रयोगों को समेटती है जिनका मुख्य उद्देश्य परिसंपत्तियों का चयन करना और उपयोगकर्ताओं को उनके स्थान तक पहुँचाना है। हर श्रेणी के लिए पसंद का मान अनुमत, निषिद्ध या अज्ञात होता है। अगर कथनों में टकराव हो, तो सबसे अधिक प्रतिबंधात्मक पसंद लागू होती है। शब्दावली-मसौदे में कहा गया है कि यह सुनिश्चित नहीं करता कि पसंदों का पालन किया जाएगा; उनका पालन करना है या नहीं, यह प्राप्तकर्ता पर छोड़ दिया गया है। पाठकों के लिए एक टिप्पणी आगाह करती है कि इसकी सामग्री अभी कार्यसमूह की आम सहमति को प्रतिबिंबित नहीं करती। एक खंड—जिसे शामिल करने पर अब भी खुले मुद्दे के रूप में विचार किया जा रहा है—में कहा गया है कि प्रशिक्षण संबंधी पसंदों का पालन करने के लिए, जब किसी मॉडल का वितरण किया जाए, तो प्रशिक्षण परिसंपत्तियों से जुड़ी पसंदें भी उसके साथ दी जानी चाहिए।

प्रशिक्षण-सिग्नल के मसौदे की आभार-सूची में कार्यसमूह के अध्यक्षों—Cloudflare के Mark Nottingham और Cisco के Suresh Krishnan—शब्दावली संपादकों Thomson और Keller तथा Akamai के ज़िम्मेदार क्षेत्र निदेशक Mike Bishop के नाम शामिल हैं। इसमें उन व्यक्तिगत प्रतिभागियों के नाम भी दिए गए हैं, जिनकी संबद्धताओं का उल्लेख केवल पहचान के लिए किया गया है, क्योंकि IETF के प्रतिभागी व्यक्तिगत रूप से योगदान देते हैं। ये प्रतिभागी OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation और Creative Commons समेत कई संगठनों से हैं।

OpenAI के मौजूदा क्रॉलर नियंत्रण

OpenAI के क्रॉलर संबंधी दस्तावेज़ के अनुसार, जो कंपनी ने कहा है कि नए सिग्नल के साथ भी प्रभावी रहेंगे, GPTBot ऐसा एजेंट है जो उस सामग्री को क्रॉल करता है जिसका इस्तेमाल उसके जनरेटिव AI फ़ाउंडेशन मॉडल के प्रशिक्षण में किया जा सकता है; GPTBot को प्रतिबंधित करने का मतलब है कि किसी साइट की सामग्री का उस प्रशिक्षण के लिए इस्तेमाल नहीं किया जाना चाहिए। OAI-SearchBot, ChatGPT की खोज सुविधाओं में वेबसाइटों को दिखाता है। इससे बाहर रहने वाली साइटें ChatGPT के खोज-उत्तर में नहीं दिखाई जाएँगी, हालाँकि वे नेविगेशन लिंक के रूप में दिख सकती हैं। OAI-AdsBot, ChatGPT पर विज्ञापनों के रूप में सबमिट किए गए वेब पेजों की सुरक्षा की जाँच करता है और इससे जुटाए गए डेटा का इस्तेमाल जनरेटिव AI फ़ाउंडेशन मॉडल को प्रशिक्षित करने के लिए नहीं किया जाता। ChatGPT-User, स्वचालित क्रॉलिंग के बजाय ChatGPT में उपयोगकर्ताओं की कार्रवाइयों से शुरू होने वाली पेज विज़िट संभालता है। दस्तावेज़ में यह भी कहा गया है कि इन विज़िट पर robots.txt के नियम लागू नहीं हो सकते।

दस्तावेज़ के अनुसार, हर सेटिंग बाकी सेटिंग्स से स्वतंत्र है। इसलिए कोई वेबमास्टर खोज नतीजों में OAI-SearchBot को दिखने की अनुमति दे सकता है, जबकि प्रशिक्षण के लिए GPTBot को प्रतिबंधित कर सकता है। किसी साइट की robots.txt फ़ाइल अपडेट करने के बाद खोज में बदलाव दिखने में लगभग 24 घंटे लग सकते हैं। OpenAI ने कहा कि आने वाले महीनों में साझा सिग्नल लागू करते समय वह उसके कार्यान्वयन का विवरण साझा करेगा।