Anderson का एंगल
कैनरी जो एआई ट्रैफिक का खुलासा करता है
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
एक नए अध्ययन में, शोधकर्ताओं ने वेबसाइटों पर अद्वितीय वाक्यांश छिपाए और एआई चैटबॉट्स को उन्हें दोहराते हुए पकड़ा, छिपे हुए स्क्रैपिंग पाइपलाइनों को उजागर करते हुए, और कथित तौर पर कुछ सबसे बड़ी एआई कंपनियों से धोखाधड़ी वाले अभ्यासों को उजागर करते हुए।
एआई कंपनियां एक दौड़ में प्रतिस्पर्धा कर रही हैं जो कथित तौर पर बहुत ही कमजोर होने वाली है; इसलिए वे वास्तव में अपने एआई मॉडलों को प्रशिक्षण डेटा के लिए अपनी वेबसाइट/वेबसाइटों को स्क्रैप करने के लिए बहुत उत्सुक हैं और अक्सर बहुत उत्सुक हैं। कभी-कभी लगातार; अक्सर अपनी घोषित इच्छाओं के उल्लंघन में और अक्सर एक सामान्य मानव पाठक या ‘मित्र’ बॉट के रूप में जैसे कि गूगलबॉट के रूप में।
वर्तमान में अनुमान है कि स्वचालित एआई स्क्रैपर, जो नए प्रशिक्षण डेटा को चूसने और उपयोगकर्ताओं की तत्काल मांग के लिए नवीनतम समाचार वाया आरएजी के माध्यम से प्रतिक्रिया करने के लिए डिज़ाइन किए गए हैं, एक वर्ष के भीतर मानवों को पार कर जाएंगे।
यह तीव्र, निरंतर और पुनरावृत्ति डेटा ग्रैब आंशिक रूप से इसलिए हो रहा है क्योंकि प्रत्येक एआई इकाई को अपनी वर्तमान प्रतिलिपि की आवश्यकता है इंटरनेट, सामान्य क्रॉल जैसे बढ़ते पुराने भंडार के बजाय; और शायद इसलिए कि कंपनियां कानूनी प्रतिबंधों के आने से डरती हैं, और जल्द से जल्द आईपी-वॉशिंग करने की आवश्यकता है।
इसके अलावा, जितनी संभव हो उतनी साइटों को लगातार पोल करके, एआई कंपनियां अपनी वर्तमान नहीं-बहुत-महान क्षमता में सुधार करने की उम्मीद कर सकती हैं ताकि वे तोड़-फोड़ और उभरते हुए स्थितियों में सूचित और सटीक रूप से प्रतिक्रिया दे सकें।
किसी भी मामले में, ऐसा लगता है कि इन प्रथाओं के बाहर नियंत्रण से और अव्यवस्थित होने के लिए कुछ मेरिट है।
समस्या यह है कि यह साबित करना आसान नहीं है कि एआई कंपनियां अपने लिए नवीनतम डेटा की प्यास बुझाने के लिए क्या कर रही हैं।
डेटा का पालन करें
एक सुझाव, जो एक नए पत्र में प्रस्तुत किया गया है, एक पुराने तरीके का एक संस्करण प्रस्तुत करता है जासूसों, सूचनादाताओं और अन्य कथित दुर्भाग्यों का पता लगाने के लिए: उन्हें कस्टम-तैयार की गई जानकारी के संपर्क में लाना जो किसी और को नहीं पता है, और देखना कि क्या और कहां वह जानकारी दिखाई देती है। यदि किसी और को वह जानकारी नहीं पता थी, तो रिसाव का स्रोत सिद्ध है:
शोधकर्ताओं का मुख्य विचार, नए पत्र में रेखांकित, यह है कि प्रत्येक दौरे वाले बॉट को एक ही पृष्ठ का एक अलग संस्करण दें, फिर चैटबॉट से उस पृष्ठ के बारे में पूछें और देखें कि कौन सा संस्करण वापस आता है, जिससे यह पता लगाना संभव हो जाता है कि कौन से छिपे हुए वेब लुकअप ने उत्तर दिया। स्रोत
यह लोकप्रिय दृष्टिकोण शायद एंटी-पायरेसी उपायों के माध्यम से सबसे अच्छी तरह से जाना जाता है जो अकादमी पुरस्कार समिति द्वारा 2000 के दशक में अपनाया गया था, जिसमें मतदान सदस्यों को दी जाने वाली स्क्रीनर डीवीडी डिजिटल रूप से अद्वितीय आईडी के साथ छापी जाने लगीं जो कथित तौर पर मूल प्राप्तकर्ता को वापस दिलाई जा सकती थीं यदि फिल्म को कभी इंटरनेट पर लीक किया जाता है। जासूसी में, इस तकनीक को बेरियम भोजन के रूप में जाना जाता है, जो एक चिकित्सा स्कैन में रक्त वाहिकाओं को रोशन करने और रुकावटों की पहचान करने के लिए एक रेडियोधर्मी आइसोटोप तरल का उपयोग करने की प्रथा के बाद है।
(वास्तव में, चुना गया ‘कैनरी’ रूपक उस परिदृश्य के लिए बहुत उपयुक्त नहीं है जिसे पत्र संबोधित करता है, हालांकि यह उपरोक्त सभी रूपकों से अधिक पहचानने योग्य है)
नए शोध के मामले में, लेखकों ने बीस ‘शहद के छत्ते’ वेब डोमेन बनाए और प्रत्येक अद्वितीय आगंतुक को अद्वितीय टोकन परोसे, ताकि प्रत्येक को अलग-अलग तथ्य (ऊपर दिए गए चित्र में बाएं से दूसरे स्तंभ में देखें) परोसे जाएं।
लक्ष्य एलएलएम (एआई) स्क्रैपर की सच्ची पहचान और व्यवहार को उजागर करना था। 22 उत्पादन एलएलएम सिस्टम में, तकनीक एलएलएम को खिलाने वाले स्क्रैपर की पहचान करने में सक्षम थी, क्योंकि – थोड़ी देर के बाद ‘विशिष्ट डेटा संकेतक’ को ‘प्लांट’ करने के बाद – एआई से सही प्रश्न पूछना महीने या दो बाद में अद्वितीय टोकन का उत्पादन करेगा।
गलत खेल
बिल्कुल, यह जरूरी नहीं होगा अगर हम एआई के ‘वाइल्ड वेस्ट’ चरण में नहीं होते और अगर कंपनियां वास्तव में छोटे पाठ फ़ाइलों का पालन करती हैं जो डोमेन एआई कंपनियों को अपना डेटा स्क्रैप न करने के लिए उपयोग कर सकते हैं।
जैसा कि शोधकर्ताओं के परीक्षणों में सामने आया, केवल एक एआई कंपनी अपने स्वयं के घोषित व्यवहार और सिद्धांतों का सम्मान करने के लिए दिखाई दी: डकडकगो का डकडकबॉट एकमात्र एजेंट था जिसने खुद को सटीक रूप से प्रस्तुत किया और लक्ष्य डोमेन को बंद करने के तुरंत बाद या डोमेन की रोबोट्स.टेक्सट फ़ाइल को बदलने के बाद एआई स्क्रैपिंग से इनकार करने के बाद ‘गुप्त डेटा’ की रिपोर्ट करना बंद कर दिया।
बड़े खिलाड़ियों ने इसके बजाय सामान्य ब्राउज़र आईडी की नकल की (जैसा कि एक वेबसाइट आपको या मुझे देखेगी यदि हम इसे देखते हैं), और – पर्प्लेक्सिटी के 2025 के नेतृत्व के अनुसार – गूगलबॉट की नकल की, जिसे लंबे समय से वेबसाइट डेटा तक पहुंच के लिए ‘गोल्डन पास’ मिला है क्योंकि यह बदले में ट्रैफिक लौटाता है डेटा के लिए (नोट करें कि यह वर्तमान काल है, क्योंकि यह बदल रहा है)।
सबसे खराब अपराधी, पत्र के अनुसार, किमी एआई इकोसिस्टम को खिलाने वाला स्क्रैपर था:
‘किमी इस व्यवहार का सबसे चरम मामला प्रतीत होता है: कई यूज़र-एजेंट दिखाई दिए जो किमी द्वारा आउटपुट किए गए डेटा से संबंधित थे। हम यह निष्कर्ष निकालते हैं कि किमी स्क्रैपिंग के दौरान यूज़र-एजेंट स्ट्रिंग्स की एक बड़ी सूची के माध्यम से घूमता है, संभावित रूप से बॉट डिटेक्शन से बचने के लिए।’
यह समस्या एक बड़ी चुनौती है क्योंकि जब चैटजीपीटी या इसी तरह के टूल ‘कुछ देखते हैं’, तो यह प्रक्रिया बड़े पैमाने पर अदृश्य है, जिसमें कंपनियां अपनी प्रणालियों को लाइव जानकारी कैसे एकत्र करती हैं, इसके बारे में केवल आंशिक या स्व-रिपोर्ट किए गए खाते प्रदान करती हैं। यह साइट मालिकों को यह स्पष्ट करने के लिए कोई स्पष्ट तरीका नहीं छोड़ता है कि कौन से बॉट वास्तव में उनके पृष्ठों पर जा रहे हैं, चाहे वे सीधे हों या खोज इंजनों के माध्यम से रूट किए गए हों, या उस डेटा का अंतिम उत्तर में कैसे समाप्त होता है।
नई अध्ययन के निष्कर्षों से पता चलता है कि एलएलएम अपने स्वयं के कैश्ड प्रविष्टियों का उपयोग एक डोमेन से, अपने स्वयं के आंतरिक एसईओ-शैली की सूची से, और अक्सर उन कंपनियों के खोज इंजन परिणामों से जानकारी का उपयोग करते हैं जिनके साथ, कई मामलों में, उनका कोई सार्वजनिक संबंध नहीं है और कोई स्पष्ट उपयोग समझौता नहीं है।
लेखकों का मानना है कि यह उजागर करना पहली बार है कि एक काम ने आरएजी प्रणालियों (एलएलएम से लाइव कॉल जो मानव उपयोगकर्ता के साथ या उसके बिना हो सकती हैं) द्वारा अवांछित घुसपैठ को संबोधित किया है, न कि प्रशिक्षण डेटासेट के लिए ताज़ा सामग्री की तलाश में डेटा-स्क्रैपिंग बॉट्स।
नया पत्र शीर्षक है कैनरी टोकन का उपयोग करके एआई वेब स्क्रैपर की पहचान करना, और यह ड्यूक विश्वविद्यालय, पिट्सबर्ग विश्वविद्यालय और कार्नेगी मेलन से छह शोधकर्ताओं से आता है।
विधि
शोधकर्ताओं ने बीस.com डोमेन स्थापित किए जिनमें व्यापक रूप से समान वेबसाइटें थीं जो सामान्य टेम्पलेट्स के तहत थीं, जैसे कि एक कलात्मक पोर्टफोलियो या एक कंपनी की वेबसाइट। प्रत्येक टेम्पलेट में 10 प्लेसहोल्डर थे जिन्हें अंततः प्रत्येक आगंतुक के अनुमानित प्रोफाइल (जैसे आईपी पते, कैनवास फिंगरप्रिंटिंग और विभिन्न अन्य ‘सूंघने’ विधियों के आधार पर) के लिए अद्वितीय टोकन से भरा जाना था:
प्रयोग में उपयोग किए गए टेम्पलेट और वेरिएबल प्लेसहोल्डर का एक उदाहरण। प्रत्येक अनुमानित अद्वितीय आगंतुक को स्थायी रूप से अनुकूलित कस्टम वेरिएबल प्राप्त होंगे।
प्रत्येक अनुमानित अद्वितीय आगंतुक को कस्टम वेरिएबल प्राप्त होंगे। यदि प्रणाली ने पहले के आगंतुक की वापसी का पता लगाया, तो पहले की तरह ही वेरिएबल प्रस्तुत किए जाएंगे। वेरिएबल पाइथन फ़ेकेर लाइब्रेरी का उपयोग करके उत्पन्न किए गए थे, साथ ही (अनिर्दिष्ट) यादृच्छिक संख्या जनरेटर।
शहद के छत्ते डोमेन विभिन्न इंडेक्स जैसे गूगल और बिंग में जमा किए गए थे, और अन्य पूर्व-मौजूदा डोमेन से लिंक किए गए थे जिन्हें लेखक नियंत्रित करते थे।
दो महीने की अनुमति दी गई, एक आवश्यक अंतराल के रूप में खोज इंजन और अन्य बॉट्स से स्कैनिंग आवृत्ति की अनुमति देने के लिए, साथ ही साथ (संभावित रूप से) जैविक यात्राएं। इस बिंदु पर, शोधकर्ता अब लक्षित एआई चैटबॉट (नीचे सूचीबद्ध) को पूछताछ करने की स्थिति में थे:
|
|
स्क्रिप्ट बनाई गई थी ताकि प्रत्येक प्रणाली को एपीआई के माध्यम से पूछताछ की जा सके, जहां संभव हो। जब यह संभव नहीं था, और जब स्वचालित समाधान जैसे सेलेनियम को एआई पोर्टल के पता लगाने वाले द्वारा अवरुद्ध किया गया था, तो एलएलएम के आधिकारिक जीयूआई के माध्यम से मैनुअल इंटरैक्शन किए गए थे।
प्रारंभिक टेम्पलेटेड एक्सचेंज (ऊपर दिए गए चित्र देखें) के बाद, लेखकों ने एक द्वितीयक प्रॉम्प्ट तैयार किया जो एक संबद्ध टोकन में एक कंपनी या व्यक्ति का नाम प्राप्त करने के लिए डिज़ाइन किया गया था।
प्रयोग तीन स्थितियों में किए गए थे: एक पूरी तरह से सुलभ वेबसाइट; वेबसाइट ऑफलाइन ले जाया गया; और वेबसाइट के साथ एक रोबोट्स.टेक्सट प्रतिबंध जो स्क्रैपिंग को प्रतिबंधित करता है। ये प्रयोग क्रमिक रूप से एक के बाद एक किए गए थे, क्योंकि बाद के चरण पहले के लोगों पर निर्भर करते थे।
अंत में, सभी साइटों को ऑनलाइन वापस लाने के साथ, अंतिम चरण एलएलएम आउटपुट का परीक्षण सप्ताह के अंतराल पर करेगा।
परिणाम
चार लक्ष्य एलएलएम पूरी तरह से शोधकर्ताओं की विधियों के प्रतिरोधी साबित हुए, और इसलिए डीपसीक, हुन्युआन, जीएलएम, और लिक्विड के लिए कोई परिणाम प्राप्त नहीं किए जा सके।
एआई बॉट्स की प्रवृत्ति के संबंध में जो गैर-एआई ट्रैफिक की नकल करते हैं, लेखक कहते हैं:
‘पहले पार्टी के घोषित एजेंटों के अलावा, कई एआई सिस्टम ने सामान्य ब्राउज़र यूज़र-एजेंट स्ट्रिंग्स से जुड़ी सामग्री लौटा दी। हमने 18 एआई सिस्टम में से छह के लिए यह व्यवहार देखा, जिनके लिए हमें यूज़र-एजेंट जानकारी प्राप्त की। ‘
‘यह परिणाम यह सुझाव देता है कि कुछ एआई सिस्टम वेबसाइट सामग्री प्राप्त कर सकते हैं जो सामान्य ब्राउज़र ट्रैफिक के समान अनुरोधों के माध्यम से दिखाई देती है, जो यूज़र-एजेंट-आधारित ब्लॉकिंग को कठिन बना देती है।’
अर्नी ने बaiduस्पाइडर और एक क्रोम पहचान लौटाई; ग्रोक ने गूगलबॉट के साथ दो ब्राउज़र एजेंटों को जोड़ा; सोलर ने केवल ब्राउज़र पहचान का उपयोग किया; क्वेन ने गूगलबॉट के साथ क्रोम को मिलाया; और किमी को कई ब्राउज़र-शैली के एजेंटों से जोड़ा गया था।
कई प्रणालियों को तीसरे पक्ष के खोज इंजन स्क्रैपर पर निर्भर दिखाई दिया, जिन संबंधों का खुलासा नहीं किया गया था। गूगलबॉट, बिंगबॉट और ब्रेवबॉट से जुड़ी सामग्री 18 विश्लेषित प्रणालियों में से दस द्वारा लौटाई गई, अक्सर ऐसे मामलों में जहां एआई प्रदाता और खोज इंजन के बीच कोई सार्वजनिक संबंध नहीं था – हालांकि कुछ लिंक, जैसे क्लॉड का ब्रेव का उपयोग, दस्तावेज हैं।
लेखकों का तर्क है कि यह वेब-से-एआई पाइपलाइन में एक अतिरिक्त परत की अस्पष्टता को दर्शाता है, जहां ज्ञात एआई क्रॉलर को ब्लॉक करना डेटा के उपयोग को रोकने के लिए पर्याप्त नहीं हो सकता है, और समावेश से बचने के लिए खोज इंडेक्सिंग से完全 बाहर निकलने की आवश्यकता हो सकती है – एक अवांछनीय विकल्प जब पारंपरिक एसईओ और एलएलएम-आधारित खोज के बीच तनाव अभी भी दूर से सुलझा हुआ नहीं है।
कैश केवल
लेखकों ने तब परीक्षण किया कि स्रोत को हटाने से चैटबॉट के आउटपुट पर क्या प्रभाव पड़ेगा, साइटों को ऑफलाइन ले जाकर और एक सप्ताह के अंतराल के बाद प्रणालियों को फिर से पूछताछ करके। पत्र के अनुसार, कई चैटबॉट ने साइटों को ऑफलाइन ले जाने के एक सप्ताह बाद भी ‘प्लांट’ की गई सामग्री का पुन: उत्पादन जारी रखा, जिससे पता चलता है कि प्रतिक्रियाएं लाइव पुनर्प्राप्ति के बजाय कैश्ड डेटा से आ रही थीं।
यह दृढ़ता खोज इंजन क्रॉलर से जुड़ी प्रणालियों में सबसे अधिक स्पष्ट थी, जहां पहले से इंडेक्स की गई सामग्री स्रोत पृष्ठों के अधिक उपलब्ध होने के बावजूद उपलब्ध रही, हालांकि समान व्यवहार ब्राउज़र-जैसे एजेंटों से जुड़ी प्रणालियों में भी देखा गया था, जिससे पता चलता है कि कैशिंग खोज-समर्थित पाइपलाइनों से परे हो सकती है।
पत्र सुझाव देता है कि एक बार सामग्री कैश में प्रवेश कर जाए, चाहे वह चैटबॉट द्वारा बनाए रखा जाए या खोज इंडेक्स के माध्यम से एक्सेस किया जाए, तो मूल पृष्ठ को हटाने से सामग्री को बाद के आउटपुट से विश्वसनीय रूप से हटाया नहीं जा सकता है।
निष्कर्ष
लेखक स्वीकार करते हैं कि इस ‘सिलो’ दृष्टिकोण से कुछ ‘रिसाव’ होगा, क्योंकि एक एलएलएम को निर्देशित टोकन कभी-कभी दूसरे एलएलएम द्वारा सेवा में लिए जा सकते हैं जो टोकन के ‘वास्तविक’ मालिक द्वारा उत्पन्न खोज परिणामों को अंतर्ग्रहण करता है। हालांकि, ऐसी योजनाओं में, इस तरह के प्रसार की अपरिहार्यता है, और पहली बार होने का क्षण महत्वपूर्ण है।
जो देखने की बात है वह यह है कि इस तरह की योजना को बड़े पैमाने पर कितनी अच्छी तरह से लागू किया जा सकता है, खासकर जब लेखकों का तर्क है कि एक बार संदर्भ-सही टोकन के साथ बाहर निकल जाएगा, क्योंकि ऐसे टोकन बहुत जल्दी समाप्त हो जाएंगे।
हालांकि, यह थोड़ा मुद्दे से चूक जाता है, क्योंकि ऐसी कंपनियों की हिम्मत की सीमा हो सकती है जो अपनी स्क्रैपिंग नीतियों के बारे में अपने स्वयं के झूठ के स्पष्ट प्रमाण के माध्यम से ब्रेज़ करने के लिए तैयार हैं। इसके अलावा, जब तक कि ऐसी कंपनियां अपनी पहचान को मास्क करने के लिए घरेलू आईपी पते के माध्यम से रोल करने के लिए संभावित रूप से महंगे मार्ग पर नहीं जाती हैं, तो यह केवल एक संगठन को पहचानने और प्रकाशित करने के लिए पर्याप्त होगा एक स्पैमहाउस-शैली की ब्लैकलिस्ट मेंढ़क एआई-बॉट आईपी या एएसएन; प्रक्रिया को औद्योगिक बनाने की आवश्यकता नहीं है ताकि यह प्रभावी हो।
पहली बार गुरुवार, 14 मई, 2026 को प्रकाशित
