Google की साझा robots.txt AI प्रशिक्षण नियंत्रण को समर्थन देने की योजना

Google ने 30 अक्टूबर, 2026 को घोषणा की कि वह robots.txt में AI प्रशिक्षण के लिए साझा नियंत्रण का समर्थन करने की योजना बना रहा है। इससे वेबसाइट मालिक कई AI प्रदाताओं के लिए प्रशिक्षण संबंधी प्राथमिकताएँ बताने का एक ही तरीका इस्तेमाल कर सकेंगे। यह प्रतिबद्धता उसी दिन Microsoft और OpenAI की घोषणाओं के साथ सामने आई।

Google इस नियंत्रण को कैसे लागू करेगा

इस योजना की जानकारी Google Search के एडवोकेट John Mueller ने Google Search Central ब्लॉग पोस्ट में दी। यह नियंत्रण Internet Engineering Task Force (IETF) के AI Preferences कार्यसमूह के काम पर आधारित है और Google-Extended को आगे बढ़ाता है—यह AI प्रशिक्षण नियंत्रण है, जिसे Google के मुताबिक वह 2023 से उपलब्ध करा रहा है।

हर AI डेवलपर के लिए अलग-अलग निर्देश तय करने के बजाय, वेबसाइट मालिक robots.txt में साझा नीति टोकन का इस्तेमाल करके भाग लेने वाले AI प्रदाताओं के लिए व्यापक प्राथमिकताएँ तय कर सकेंगे। यदि कोई वेबसाइट इस टोकन के ज़रिए प्रशिक्षण से बाहर रहने का विकल्प चुनती है और उसने Google-Extended के बारे में स्पष्ट रूप से कुछ नहीं बताया है, तो Google इसे ऐसे मानेगा मानो प्रकाशक ने Google-Extended को अस्वीकार किया हो। अन्य AI प्रदाता भी इस संकेत को इसी तरह समझ सकते हैं। इससे वेबसाइट मालिक एक ही बार में सभी भाग लेने वाले प्रदाताओं से बाहर रह सकते हैं या चुनिंदा प्रदाताओं के लिए ऐसा कर सकते हैं।

पोस्ट के मुताबिक, कंपनियों के लिए पहले से मौजूद अलग-अलग नियंत्रण साझा संकेत के साथ काम करते रहेंगे। इस तरह वेबसाइट मालिक उद्योग के साझा संकेत के ज़रिए अपनी व्यापक पसंद बता सकेंगे और Google-Extended जैसे नियंत्रणों के माध्यम से अलग-अलग डेवलपर के लिए निर्देश भी तय कर सकेंगे। जिन वेबसाइटों पर Google-Extended की स्पष्ट रूप से अनुमति है, वे Gemini Apps में ग्राउंडिंग के ज़रिए दिए गए जवाबों में दिखाई देने और क्लिक प्राप्त करने के पात्र हैं।

Google ने कहा कि इस प्रस्ताव में प्रकाशकों, नागरिक समाज संगठनों, नियामकों और अन्य हितधारकों की प्रतिक्रिया झलकती है। इन सभी ने AI प्रशिक्षण के लिए पूरे उद्योग पर लागू होने वाले नियंत्रणों की माँग की है। कंपनी ने कहा कि प्रमुख AI प्रदाताओं का समर्थन मिलने से ऐसा टिकाऊ मानक बनेगा जो पूरे उद्योग में काम करेगा। कंपनी के मुताबिक, यह प्रस्ताव EU AI Act के तहत सामान्य-उद्देश्य वाले AI मॉडल प्रदाताओं के लिए EU Code of Practice के अनुरूप भी है। इसमें robots.txt को वेब प्रकाशकों के लिए मशीन-पठनीय प्राथमिकताएँ बताने का एक प्रमुख तरीका माना गया है। Google का लक्ष्य 2027 में अन्य AI प्रदाताओं के साथ इस नए नियंत्रण का समर्थन करना है। उसने अपनी प्रगति के बारे में जानकारी देने की बात भी कही।

OpenAI ने भी उसी दिन ऐसी ही प्रतिबद्धता जताई। OpenAI की घोषणा के मुताबिक, कंपनी robots.txt के साझा संकेत का सम्मान करेगी, आने वाले महीनों में इसे लागू करने का लक्ष्य रखती है और अपने मौजूदा क्रॉलर नियंत्रणों को लागू तथा प्रभावी बनाए रखेगी। OpenAI ने कहा कि इस घोषणा के साथ वह AI Preferences कार्यसमूह के अन्य प्रतिभागियों से जुड़ रहा है और उसने अन्य AI प्रदाताओं को भी इस संकेत का सम्मान करने के लिए प्रोत्साहित किया।

इस संकेत से जुड़ा IETF मसौदा

इस व्यवस्था का विवरण इंटरनेट मसौदे में दिया गया है, जिसका शीर्षक “Machine-Readable Training Preference Signal” है। इसे Anthropic के Kevin Kelley ने लिखा है और इस पर 30 अक्टूबर, 2026 की तारीख दर्ज है। यह दस्तावेज़ मानक-निर्धारण प्रक्रिया के लिए तैयार किया गया है और 3 मई, 2027 को इसकी अवधि समाप्त हो जाएगी। IETF datatracker के मुताबिक, यह एक व्यक्ति की ओर से जमा किया गया मसौदा है, जिसे IETF का समर्थन प्राप्त नहीं है और मानक-निर्धारण प्रक्रिया में इसका कोई औपचारिक दर्जा नहीं है।

मसौदे के तहत, कोई सेवा संचालक User-Agent पंक्ति में हर उद्देश्य के लिए निर्धारित नीति टोकन, __usage_ai-training, का इस्तेमाल करके robots.txt के सामान्य समूहों में पथों के लिए उपयोग संबंधी प्राथमिकताएँ तय करता है। मसौदे में दिया गया उदाहरण पूरे साइट के लिए AI प्रशिक्षण के विरुद्ध प्राथमिकता जताता है, लेकिन /press-kit/ के अंतर्गत आने वाले पथों को इससे बाहर रखता है। इस व्यवस्था में न तो निर्देशों के नए नाम जोड़े गए हैं, न ही नया व्याकरण: robots.txt मानक RFC 9309 की पथ-भाषा, सबसे लंबे मेल की प्राथमिकता और समूह संरचना अपरिवर्तित हैं। इसलिए इंटरनेट पर पहले से इस्तेमाल हो रहे पार्सर उन नीति-टोकन समूहों को अनदेखा करेंगे जिन्हें वे पहचानते नहीं हैं। वाइल्डकार्ड समूहों—जिनमें User-Agent: * होता है—को नीति टोकन से मेल खाने वाला नहीं माना जाना चाहिए। जिस robots.txt फ़ाइल में __usage_ai-training समूह नहीं है, वह कोई प्राथमिकता व्यक्त नहीं करती।

इस टोकन का अर्थ AIPREF शब्दावली में AI प्रशिक्षण की दी गई परिभाषा से तय होता है: “किसी जनरेटिव AI मॉडल के सीखे हुए पैरामीटरों में बदलाव करने के लिए किसी परिसंपत्ति का इस्तेमाल करना।” इस परिभाषा में केवल गैर-जनरेटिव कार्यों के लिए इस्तेमाल किए जाने वाले मॉडलों का प्रशिक्षण शामिल नहीं है, भले ही मॉडल जनरेटिव कार्य करने में सक्षम हो। मसौदे में यह भी ज़ोर दिया गया है कि टोकन सामग्री के उपयोग के बारे में प्राथमिकता बताता है, क्रॉलिंग के व्यवहार के लिए निर्देश नहीं; हालाँकि, इसका उपयोग करने वाले पक्ष क्रॉलिंग के फैसलों में इन प्राथमिकताओं को ध्यान में रख सकते हैं। विशिष्ट रूप से व्यक्त की गई प्राथमिकताओं को सामान्य प्राथमिकताओं पर वरीयता मिलनी चाहिए, और निजी समझौते व्यक्त की गई प्राथमिकताओं को बदल सकते हैं।

Kelley ने 30 अक्टूबर, 2026 को IETF की ai-control मेलिंग सूची पर मसौदे की घोषणा करते हुए लिखा कि Anthropic ने इसके लिए समर्थन लागू करना पहले ही शुरू कर दिया है। उन्होंने इस काम को Anthropic के मौजूदा क्रॉलर नियंत्रणों का विकल्प नहीं, बल्कि उनका पूरक बताया।

Microsoft द्वारा इसे अपनाना और लागू होने की तारीखें

Microsoft ने उसी दिन Microsoft Bing के प्रधान उत्पाद प्रबंधक Krishna Madhavan की Bing ब्लॉग पोस्ट में इसे अपनाने की घोषणा की। Microsoft ने कहा कि AI प्रशिक्षण और ग्राउंडिंग के लिए प्रकाशक नियंत्रण देने वाली वह पहली कंपनी थी। इस दावे के समर्थन में उसने 2023 में पेश किए गए NoArchive और NoCache टैग का उल्लेख किया।

Microsoft वेबसाइटों और पाथ के लिए साझा AI Training प्राथमिकता अपना रहा है और इसे मेटा टैग तथा HTTP रिस्पॉन्स हेडर के ज़रिए पेज स्तर तक विस्तारित कर रहा है। साथ ही, वह पेज स्तर पर AI Grounding की एक अलग प्राथमिकता भी जोड़ रहा है। Allow और Disallow के साथ, grounding प्राथमिकता में नया DisallowExtended विकल्प भी शामिल है। यह grounding के उपयोग को Microsoft द्वारा संचालित अनुभवों—जैसे AI Mode, AI Overview, Copilot और Microsoft 365—तक सीमित करता है और उन grounding सेवाओं को इससे बाहर रखता है जो Microsoft तीसरे पक्षों को उपलब्ध कराता है, जैसे Web IQ और Foundry में API एक्सेस के ज़रिए grounding। यदि कोई प्राथमिकता प्रकाशित नहीं की जाती, तो दोनों प्राथमिकताओं का डिफ़ॉल्ट मान Allow होता है। Microsoft ने आगाह किया कि grounding के लिए Disallow या DisallowExtended चुनने से AI अनुभवों में ब्रांड की दृश्यता घटती है; इन प्राथमिकताओं से पारंपरिक Bing खोज परिणामों में पात्रता नहीं बदलती और न ही लाइसेंसिंग या भुगतान की व्यवस्था तय होती है।

नई प्राथमिकताएँ training और grounding के लिए NoArchive और NoCache की जगह लेंगी और Microsoft के क्रॉल करने पर 1 फरवरी, 2027 से प्रभावी होंगी। पुराने टैग का उपयोग कर रही वेबसाइटों के लिए अस्थायी grounding संक्रमण प्राथमिकताएँ 15 दिसंबर, 2026 को Bing Webmaster Tools में उपलब्ध होंगी। इन वेबसाइटों को 1 मार्च, 2027 से पहले अपनी नई प्राथमिकताएँ प्रकाशित करनी होंगी और एक अस्थायी grounding प्राथमिकता दर्ज करनी होगी। इसके बाद NoArchive और NoCache को training या grounding की प्राथमिकताओं के रूप में पढ़ा नहीं जाएगा। अस्थायी प्राथमिकताएँ तब तक प्रभावी रहेंगी, जब तक Microsoft किसी पेज को दोबारा क्रॉल करके नई grounding प्राथमिकता नहीं खोज लेता या 30 सितंबर, 2027 तक—इनमें से जो भी पहले हो।