Anderson का एंगल
AI ट्रैफ़िक का खुलासा करने वाली कैनरी

मुख्य बिंदुकेवल DuckDuckGo के बॉट ने robots.txt का सम्मान किया, जबकि Kimi ने पहचान से बचने के लिए…
और देखें
- केवल DuckDuckGo के बॉट ने robots.txt का सम्मान किया, जबकि Kimi ने पहचान से बचने के लिए नकली ब्राउज़र आईडी घुमाई।
- क्लॉड और ग्रोक जैसे कई AI सिस्टम ने सार्वजनिक खुलासा किए बिना गुप्त रूप से तीसरे पक्ष के सर्च इंजन स्क्रेपर्स का उपयोग किया।
- लगातार कैशिंग के कारण स्रोत पृष्ठों को हटाने से चैटबॉट्स को लगाए गए डेटा को पुन: उत्पन्न करने से रोकने में विफलता हुई।
एक नए अध्ययन में शोधकर्ताओं ने वेबसाइटों पर अनोखे वाक्यांश छिपाए और AI चैटबॉट को उन्हें दोहराते हुए पकड़ा। इससे डेटा संग्रह की छिपी शृंखलाएँ और, ऐसा प्रतीत होता है, कुछ सबसे बड़ी AI कंपनियों की भ्रामक कार्यप्रणालियाँ सामने आईं।
AI कंपनियाँ एक ऐसी दौड़ में बढ़त पाने के लिए संघर्ष कर रही हैं जिसमें प्रतिस्पर्धियों की संख्या में निर्मम कटौती होने का अनुमान है। इसलिए वे वास्तव में, वास्तव में अपने AI मॉडल के प्रशिक्षण के लिए आपकी वेबसाइटों से डेटा इकट्ठा करना चाहती हैं। कभी-कभी लगातार; अक्सर उल्लंघन करते हुए आपकी स्पष्ट रूप से बताई इच्छाओं का; और अक्सर भेष में सामान्य मानव पाठकों या अपेक्षाकृत मित्रवत बॉट के, जैसे GoogleBot, बजाय इसके कि वे AI डेटा संग्राहक के रूप में अपनी असली पहचान बताएँ।
फिलहाल अनुमान है कि नया प्रशिक्षण डेटा जुटाने और उपयोगकर्ताओं की ताज़ा समाचारों की तत्काल माँग को RAG के ज़रिए पूरा करने के लिए बनाए गए स्वचालित AI डेटा संग्राहकों की संख्या एक वर्ष के भीतर मनुष्यों से अधिक हो जाएगी।
डेटा जुटाने की यह उग्र, लगातार और दोहरावपूर्ण होड़ आंशिक रूप से इसलिए है कि हर AI संस्था इंटरनेट की अपनी अद्यतन प्रति चाहती है, न कि Common Crawl जैसे लगातार पुराने पड़ते भंडार पर निर्भर रहना। शायद कंपनियाँ आने वाले कानूनी प्रतिबंधों से भी डरती हैं और बौद्धिक संपदा की धुलाई जल्द से जल्द शुरू करना चाहती हैं।
इसके अलावा, जितनी अधिक संभावित रूप से उपयोगी साइटों को हो सके लगातार जाँचकर AI कंपनियाँ अपनी फिलहाल बहुत अच्छी न होने वाली क्षमता को सुधारने की उम्मीद कर सकती हैं, ताकि वे ताज़ा घटनाक्रम और उभरती स्थितियों पर जानकारीपूर्ण तथा सटीक जवाब दे सकें।
बहरहाल, इस दावे में कुछ दम लगता है कि ये प्रथाएँ कुछ समय से नियंत्रण और प्रबंधन के बाहर रही हैं।
समस्या यह है कि AI कंपनियाँ ताज़ा डेटा की प्यास बुझाने के लिए कितनी दूर जा रही हैं, यह साबित करना आसान नहीं है।
डेटा का पीछा करें
अमेरिका के एक नए शोधपत्र में जासूसों, मुखबिरों और अन्य संदिग्ध गलत काम करने वालों को पहचानने की सदियों पुरानी विधि का एक रूप सुझाया गया है: उन्हें ऐसी विशेष जानकारी दें जिसे कोई और न जानता हो, फिर देखें कि वह कहीं और सामने आती है या नहीं और कहाँ आती है। यदि कोई और उस जानकारी को नहीं जानता था तो रिसाव का स्रोत सिद्ध हो जाता है:

नए शोधपत्र में बताया गया मूल विचार यह है कि आने वाले हर बॉट को उसी पृष्ठ का थोड़ा अलग संस्करण दिया जाए। फिर चैटबॉट से पृष्ठ के बारे में पूछकर देखा जाए कि कौन-सा संस्करण लौटता है। इससे पता लगाया जा सकता है कि उत्तर के पीछे कौन-सी छिपी वेब खोजें थीं। स्रोत
यह लोकप्रिय तरीका शायद सबसे अधिक उन पायरेसी-रोधी उपायों के कारण जाना जाता है जिन्हें अकादमी पुरस्कार समिति ने 2000 के दशक में अपनाया था। मतदान करने वाले सदस्यों को दिए जाने वाले स्क्रीनर DVD पर अनोखे डिजिटल पहचान-चिह्न लगाए जाने लगे। दावा था कि फिल्म इंटरनेट पर लीक हो तो इन चिह्नों से मूल प्राप्तकर्ता का पता लगाया जा सकता है। जासूसी में इसे बेरियम मील कहा जाता है। यह नाम चिकित्सा स्कैन में रक्त वाहिकाओं को रोशन करने और रुकावटें पहचानने के लिए रेडियोधर्मी समस्थानिक वाले तरल के इस्तेमाल की प्रथा से लिया गया है।
(विडंबना यह है कि चुना गया कैनरी रूपक शोधपत्र की स्थिति पर बहुत सटीक नहीं बैठता, हालांकि ऊपर बताए अन्य रूपकों से अधिक आसानी से पहचाना जाता है।)
नए शोध में लेखकों ने बीस जाल के रूप में काम करने वाले वेब डोमेन बनाए और हर विशिष्ट आगंतुक को अलग टोकन दिए, ताकि हर व्यक्ति को अलग तथ्य मिलें (ऊपर चित्र में बाएँ से दूसरा स्तंभ देखें)।
उद्देश्य LLM के लिए डेटा जुटाने वाले बॉट की असली पहचान और व्यवहार जानना था। व्यवहार में इस्तेमाल हो रहे 22 LLM सिस्टम पर इस तकनीक से भरोसेमंद ढंग से पता चला कि कौन-सा संग्राहक किस मॉडल को डेटा देता है: अनोखे डेटा संकेतक लगाने के बाद थोड़ा धैर्य रखकर एक या दो महीने बाद सही प्रश्न पूछने पर AI से वही टोकन मिल जाते थे।
अनुचित व्यवहार
यदि हम अब भी AI V3 के बेकाबू शुरुआती दौर में न होते और कंपनियाँ सच में छोटी टेक्स्ट फ़ाइलों के निर्देश मानतीं तो इसकी आवश्यकता ही नहीं होती। डोमेन संचालक इन फ़ाइलों से AI कंपनियों को अपना डेटा न जुटाने के लिए कह सकते हैं।
शोधकर्ताओं के परीक्षण में केवल एक AI कंपनी अपनी घोषित कार्यप्रणाली और सिद्धांतों का सम्मान करती दिखाई दी: DuckDuckbot नामक DuckDuckGo बॉट। वही अकेला एजेंट था जिसने अपनी सही पहचान बताई और लक्ष्य डोमेन बंद होते ही या robots.txt बदलकर AI डेटा संग्रह रोकते ही गुप्त डेटा बताना बंद कर दिया। अन्य AI कंपनियाँ कैश की गई प्रतियों और दूसरे तरीकों का सहारा लेती रहीं।
इसके बजाय कई बड़ी कंपनियों ने नकल की सामान्य ब्राउज़र पहचान-चिह्नों की, जो किसी वेबसाइट को हमारे जाने पर दिखाई देते। 2025 में Perplexity द्वारा शुरू किए गए चलन के अनुसार उन्होंने GoogleBot की भी नकल की। GoogleBot को लंबे समय से साइट डेटा तक विशेष पहुँच मिलती रही, क्योंकि वह डेटा के बदले वेबसाइटों को ट्रैफ़िक लौटाता था। भूतकाल पर ध्यान दें, क्योंकि यह बदल रहा है।
शोधपत्र के अनुसार सबसे खराब उल्लंघनकर्ता वह संग्राहक था जो Kimi AI पारिस्थितिकी तंत्र को डेटा देता था:
«Kimi इस व्यवहार का सबसे चरम उदाहरण लगता है: कई User-Agent, Kimi के उत्तरों में आने वाले डेटा से संबंधित दिखाई दिए। हमारा निष्कर्ष है कि Kimi डेटा जुटाते समय User-Agent स्ट्रिंग की लंबी सूची को बदल-बदलकर इस्तेमाल करता है, संभवतः बॉट की पहचान से बचने के लिए।»
यह समस्या इसलिए बड़ी चुनौती बन जाती है क्योंकि ChatGPT या ऐसे उपकरण जब कुछ खोजते हैं तो प्रक्रिया अधिकतर अदृश्य रहती है। कंपनियाँ केवल आंशिक विवरण या स्वयं बताई जानकारी देती हैं कि उनके सिस्टम ताज़ा सूचना कैसे जुटाते हैं। साइट मालिक स्पष्ट रूप से नहीं जान पाते कि कौन-से बॉट वास्तव में पृष्ठों पर आते हैं, वे सीधे आते हैं या खोज इंजनों के ज़रिए, और डेटा अंतिम उत्तर तक कैसे पहुँचता है।
नए अध्ययन के निष्कर्ष बताते हैं कि LLM किसी डोमेन की अपनी कैश की गई प्रविष्टियाँ और आंतरिक SEO जैसी सूचियाँ इस्तेमाल कर सकते हैं। वे अक्सर दूसरी कंपनियों के खोज परिणामों से भी जानकारी लेते हैं, जबकि कई मामलों में उनके साथ कोई सार्वजनिक संबंध या दिखाई देने वाला उपयोग समझौता नहीं होता।
लेखकों के अनुसार यह पहला अध्ययन है जो RAG सिस्टम की अनचाही घुसपैठ पर केंद्रित है: LLM द्वारा उत्तर बनाते समय किए गए लाइव कॉल, जिन्हें कोई मानव उपयोगकर्ता चला सकता है या जिनके पीछे कोई मानव न भी हो। यह प्रशिक्षण डेटासेट के लिए ताज़ा सामग्री खोजने वाले बॉट से अलग है।
नए शोधपत्र का शीर्षक है कैनरी टोकन से AI वेब डेटा संग्राहकों की पहचान और इसे ड्यूक विश्वविद्यालय, पिट्सबर्ग विश्वविद्यालय तथा कार्नेगी मेलन के छह शोधकर्ताओं ने लिखा है।
विधि
शोधकर्ताओं ने कला पोर्टफ़ोलियो या कंपनी की वेबसाइट जैसे सामान्य टेम्पलेट पर लगभग समान वेबसाइटों वाले बीस .com डोमेन बनाए। हर टेम्पलेट में 10 स्थान थे जिन्हें प्रत्येक आगंतुक के सिस्टम द्वारा पहचाने गए प्रोफ़ाइल के अनुसार अलग टोकन से भरा जाना था। प्रोफ़ाइल IP पते, कैनवास फ़िंगरप्रिंट और अन्य पहचान विधियों पर आधारित थी:

प्रयोग में इस्तेमाल टेम्पलेट और वेरिएबल के स्थानों का उदाहरण। सिस्टम द्वारा अलग पहचाने गए हर आगंतुक को स्थायी और व्यक्तिगत रूप से तय किए गए वेरिएबल मिलते थे।
हर अलग पहचाने गए आगंतुक को विशेष वेरिएबल दिए जाते थे। किसी पुराने आगंतुक की वापसी पहचानने पर सिस्टम उसे पहले वाले ही वेरिएबल फिर दिखाता था। ये वेरिएबल Python Faker लाइब्रेरी और अनिर्दिष्ट यादृच्छिक संख्या जनरेटर से बनाए गए।
फिर इन जाल-डोमेन को Google और Bing जैसे खोज सूचकांकों में जमा किया गया और लेखकों के नियंत्रण वाले पहले से मौजूद दूसरे डोमेन से इनकी ओर लिंक दिए गए।
विभिन्न खोज इंजन तथा ऐसे अन्य बॉट की अलग-अलग स्कैन आवृत्ति और संभावित सामान्य आगंतुकों को ध्यान में रखते हुए दो महीने इंतज़ार किया गया। अब शोधकर्ता नीचे दिए गए लक्ष्य चैटबॉट से प्रश्न पूछ सकते थे:
|
|
जहाँ संभव था, हर सिस्टम से API के ज़रिए प्रश्न पूछने के लिए स्क्रिप्ट बनाई गईं। जहाँ यह संभव नहीं था और Selenium जैसे स्वचालित समाधान AI पोर्टल की पहचान प्रणालियों द्वारा रोक दिए जाते थे, वहाँ LLM के आधिकारिक ग्राफ़िकल इंटरफ़ेस से हाथ से संवाद किया गया।
टेम्पलेट पर आधारित शुरुआती आदान-प्रदान के बाद (ऊपर चित्र देखें) लेखकों ने दूसरा प्रॉम्प्ट दिया, ताकि संबंधित टोकन में मौजूद कंपनी या व्यक्ति का नाम सामने आए।
प्रयोग तीन स्थितियों में हुए: वेबसाइट पूरी तरह उपलब्ध; वेबसाइट ऑफ़लाइन; वेबसाइट पर डेटा संग्रह रोकने वाला robots.txt प्रतिबंध। ये ठीक इसी क्रम में किए गए, क्योंकि बाद के चरण पहले वाले चरणों पर निर्भर थे।
अंत में सभी साइटों को फिर ऑनलाइन किया गया और अंतिम चरण में हर सप्ताह LLM के उत्तरों की दोबारा जाँच की गई।
परिणाम
लक्षित LLM में से चार पर शोधकर्ताओं की विधियाँ पूरी तरह अप्रभावी रहीं, इसलिए इनसे कोई परिणाम नहीं मिल सका: DeepSeek, Hunyuan, GLM और Liquid।
कई AI बॉट द्वारा सामान्य ट्रैफ़िक की नकल करने की प्रवृत्ति पर लेखक कहते हैं:
«प्रदाताओं द्वारा स्वयं घोषित एजेंट के अलावा कई AI सिस्टम ने सामान्य ब्राउज़र User-Agent स्ट्रिंग से संबंधित सामग्री लौटाई। जिन 18 सिस्टम के लिए हमें User-Agent की जानकारी मिली, उनमें से छह में हमने ऐसा व्यवहार देखा।
यह परिणाम संकेत देता है कि कुछ AI सिस्टम सामान्य ब्राउज़र ट्रैफ़िक जैसे दिखाई देने वाले अनुरोधों से वेबसाइट सामग्री ले सकते हैं, जिससे User-Agent पर आधारित रोक लगाना कठिन होता है।»
ERNIE ने Baiduspider और Chrome पहचान दोनों लौटाईं; Grok ने Googlebot के साथ दो ब्राउज़र एजेंट जोड़े; Solar ने केवल ब्राउज़र पहचान इस्तेमाल की; Qwen ने Googlebot और Chrome को मिलाया; Kimi कई ब्राउज़र जैसे एजेंट से जुड़ा था।
कई सिस्टम तीसरे पक्ष के खोज इंजन संग्राहकों पर निर्भर दिखाई दिए, और ये संबंध हमेशा घोषित नहीं थे। विश्लेषित 18 सिस्टम में से दस ने Googlebot, Bingbot या Bravebot से जुड़ी सामग्री लौटाई। अक्सर AI प्रदाता और खोज इंजन के बीच कोई सार्वजनिक संबंध नहीं था। हालांकि कुछ संबंध, जैसे Claude द्वारा Brave का इस्तेमाल, दर्ज हैं।
लेखकों का तर्क है कि यह सीधे डेटा जुटाने के बजाय खोज परिणामों को ग्रहण करना दर्शाता है, क्योंकि ASN की जाँच से पता चला कि ट्रैफ़िक अपेक्षित खोज इंजन नेटवर्क से आया था, न कि नकली पहचान से।
शोधपत्र के अनुसार इससे वेब से AI तक की शृंखला में अस्पष्टता की एक और परत जुड़ती है: ज्ञात AI क्रॉलर को रोकना डेटा का इस्तेमाल न भी रोक पाए, और इससे बाहर रहने के लिए खोज सूचकांकों से पूरी तरह हटना पड़ सकता है। यह अवांछनीय विकल्प है, जबकि पारंपरिक SEO और LLM आधारित खोज के बीच तनाव अब भी सुलझने से बहुत दूर है।
केवल कैश
फिर लेखकों ने जाँचा कि स्रोत हटाने से चैटबॉट के उत्तर बदलते हैं या नहीं। उन्होंने परीक्षण साइटों को ऑफ़लाइन किया और एक सप्ताह बाद फिर प्रश्न पूछे। शोधपत्र के अनुसार कई चैटबॉट एक सप्ताह की बंदी के बाद भी लगाई गई सामग्री दोहराते रहे। इससे संकेत मिला कि उत्तर लाइव खोज के बजाय कैश में रखे डेटा से आ रहे थे।
यह निरंतर उपलब्धता खोज इंजन क्रॉलर से जुड़े सिस्टम में सबसे स्पष्ट थी: स्रोत पृष्ठ उपलब्ध न रहने पर भी पहले से सूचकांकित सामग्री मिलती रही। ब्राउज़र जैसे एजेंट से जुड़े सिस्टम में भी ऐसा व्यवहार दिखा, जिससे संकेत मिलता है कि कैशिंग खोज-आधारित शृंखलाओं से आगे भी हो सकती है।
शोधपत्र का सुझाव है कि सामग्री एक बार कैश में पहुँच जाए—चाहे वह चैटबॉट का अपना कैश हो या खोज सूचकांक से सुलभ हो—तो मूल पृष्ठ हटाने से बाद के उत्तरों से उसका विश्वसनीय रूप से हटना सुनिश्चित नहीं होता।
निष्कर्ष
लेखक स्वीकार करते हैं कि इस पारंपरिक अलग-अलग रखे गए तंत्र से कुछ रिसाव होगा। एक LLM के लिए निर्धारित अलग टोकन कभी-कभी उन खोज परिणामों में पहुँच सकते हैं जिन्हें टोकन का वास्तविक मालिक बनाता है और जिन्हें बाद में दूसरा LLM ग्रहण कर लेता है। ऐसी व्यवस्था में इस तरह का फैलाव अपरिहार्य है; पहली बार सामने आने पर सतर्क निगरानी ही महत्वपूर्ण और खुलासा करने वाला क्षण है।
यह देखना बाकी है कि व्यवस्था को कितने बड़े पैमाने पर लागू किया जा सकेगा। लेखकों के अनुसार संदर्भ के अनुकूल टोकन बहुत जल्दी समाप्त हो जाएँगे।
हालांकि यह कुछ हद तक मुख्य बात से चूकता है: AI कंपनियों के साहस की भी सीमा हो सकती है, जब उन्हें डेटा संग्रह नीतियों पर अपने झूठ के स्पष्ट प्रमाणों को अनदेखा करना पड़े। इसके अलावा, जब तक वे पहचान छिपाने के लिए घरेलू आवासीय IP पते बदलते रहने का संभावित रूप से महँगा रास्ता नहीं अपनातीं, एक ही संगठन का SpamHaus जैसी काली सूची बनाकर प्रकाशित करना काफ़ी होगा। इसमें भ्रामक AI बॉट के IP पते या ASN पहचाने जाएँगे। प्रभावी होने के लिए प्रक्रिया का औद्योगिक पैमाने पर होना ज़रूरी नहीं है।
पहली बार गुरुवार, 14 मई 2026 को प्रकाशित












