AI Trafiklerini Açığa Çıkaran Kanarya

Yeni bir çalışmada, araştırmacılar web sitelerine benzersiz ifadeler gizledi ve AI sohbet botlarının bunları tekrar ettiğini yakaladı, gizli veri madenciliği boru hatlarını açığa çıkardı ve görünüşe göre bazı büyük AI şirketlerinden aldatıcı uygulamalar yaptı.

AI şirketleri, çetin bir şekilde azaltıcı olduğu öngörülen bir yarışta avantaj için mücadele ediyor; bu nedenle gerçekten, gerçekten web sitenizi/eğitim veri setlerine beslemek için AI modellerinizi beslemek amacıyla web sitenizi/sitelerinizi kazımak istiyor. Bazen sürekli; sık sık istediğiniz şekilde değil; ve sık sık görünüşte insan okuyucuların veya ‘dostane’ botların GoogleBot gibi gerçek kimliklerini açığa çıkarmak yerine casual insan okuyucuları gibi davranıyorlar.

Şu anda tahmin edildiği gibi, yeni haberler için kullanıcıların taleplerine anında cevap verebilmek amacıyla yeni eğitim veri setleri toplamak için tasarlanmış otomatik AI kazıcılar, bir yıl içinde insanları aşacak.

Bu hızlı, acımasız ve tekrarlı veri madenciliği, kısmen her AI varlığının kendi güncel internet kopyasına sahip olmasının gerekliliği nedeniyle gerçekleşiyor; ve belki de şirketlerin yaklaşan yasal kısıtlamalardan korktukları ve IP-washing ile mümkün olduğunca erken başlamak istedikleri için.

Ek olarak, AI şirketleri, mümkün olduğunca fazla (potansiyel olarak verimli) siteyi sürekli olarak sorgulayarak, şu anda kötü olan canlı ve ortaya çıkan durumlara bilgilendirici ve doğru bir şekilde cevap vermelerini sağlayabilir.

Her durumda, bu uygulamaların uzun süredir kontrolsüz ve yönetilemez olduğu konusunda bazı geçerli argümanlar var gibi görünüyor.

Sorun, AI şirketlerinin veri iştahını gidermek için neler yaptığını kanıtlamanın kolay olmadığıdır.

Verileri Takip Edin

Bir öneri, ABD’den yeni bir makalede önerilen, casuslar, muhbirler ve diğer kötü niyetlilerin keşfedilmesinde kullanılan eski bir yöntemin varyasyonudur: onlara kimse bilmeyen özel bilgiler sunmak ve bu bilginin nerede ortaya çıkacağını görmek. Eğer kimse bu bilgiyi bilmiyorsa, o zaman sızıntının kaynağı kanıtlanmıştır:

Araştırmacıların temel fikri, yeni makalede açıklanan, her ziyaretçi botuna aynı sayfanın biraz farklı bir sürümünü verme ve sonra sohbet botlarına bu sayfa hakkında soru sormak ve hangi sürümün geri döndüğünü görmek, böylece gizli web aramalarının cevabı sağladığını belirlemek. Kaynak

Bu popüler yaklaşım belki de korsanlıkla mücadele önlemleri aracılığıyla bilinir; Academy Awards komitesi, 2000’lerin başlarında, oy kullanma üyelerine verilen screener DVD’leri dijital olarak benzersiz kimliklerle işaretlemeye başladı ve film sızdırıldığında orijinal alıcıya geri atanabilecekti. Casuslukta, bu teknik barium meal olarak bilinir; tıbbi bir taramada kan damarlarını aydınlatmak için radyoaktif bir izotop sıvısı kullanma uygulamasından sonra.

(İronik olarak, seçilen ‘kanarya’ metaforu, makalenin ele aldığı senaryo için çok uygun değil, ancak önceki tropelerden daha tanınabilir)

Araştırmada, yazarlar yirmi ‘bal peteği’ web alan adı oluşturdu ve her benzersiz ziyaretçiye benzersiz token’ler sundu, böylece her biri farklı gerçekleri (yukarıdaki resmin solundan ikinci sütunda görüldüğü gibi) alacaktı.

Amaç, LLM (AI) kazıcılarının gerçek kimliklerini ve davranışlarını açığa çıkarmaktı. Yirmi iki üretim LLM sistemi üzerinde, teknik, hangisinin hangi kazıcıyı beslediğini güvenilir bir şekilde belirleyebildi, çünkü – biraz sabırla, benzersiz verileri ‘ekledikten’ sonra – AI’a bir ay veya iki ay sonra doğru soruları sormak, benzersiz token’leri verecekti.

Hile

Tabii ki, hiçbiri gerekli olmazdı, eğer hala AI V3 ‘in ‘vahşi batı’ aşamasındaysak ve şirketler gerçekten küçük metin dosyalarını saygı gösterseydi; alan adları, AI şirketlerinin verilerini kazımaması için kullanabileceği dosyalar.

Çalışmada, yalnızca bir AI şirketi kendi davranışını ve ilkelerini saygı gösterdiği görüldü: DuckDuckGo’nun DuckDuckbot, doğru bir şekilde kendini temsil eden ve ‘gizli verileri’ yayınlamayı bırakan tek ajan oldu; ya hedef alan adı kapatıldığında (diğer AI şirketleri, önbelleğe alınan sürümler ve diğer hileler kullanmaya başvurdu) veya alan adının robots.txt dosyası AI kazımını reddetmek için değiştirildiğinde.

En büyük oyuncuların çoğu, sahte generic browser ID’lerini (bir web sitesi sizin veya benim gibi ziyaret ettiğimizde gördüğü gibi) ve – Perplexity’nin 2025 liderliğinde – GoogleBot’u sahte etti; uzun süredir web sitesi verilerine ‘altın geçiş’ sağlayan bir golden pass’a sahipti (geçmiş tense, çünkü bu değişiyor).

En kötü suçlu, makaleye göre, Kimi AI ekosistemi ni besleyen kazıcıydı:

‘Kimi, bu davranışın en aşırı örneği gibi görünüyor: birçok kullanıcı-aracısı, Kimi tarafından üretilen verilerle ilişkili görünüyor. Kimi’nin, kazım yaparken User-Agent dizeleri listesini döndürdüğünü varsayıyoruz; muhtemelen bot tespitinden kaçınmak için.’

Bu problemi büyük bir zorluk yapan şey, ChatGPT veya benzer araçların ‘bir şeyleri arama’ süreci büyük ölçüde görünmezdir; şirketler, sistemlerinin canlı bilgi toplama şekli hakkında yalnızca kısmi veya self-rapor edilen hesaplar sunar. Bu, site sahiplerinin hangi botların gerçekten sayfalarını ziyaret ettiğini, bu ziyaretlerin doğrudan mı yoksa arama motorları aracılığıyla mı yönlendirildiğini veya bu verilerin nihai cevaba nasıl girdiğini belirlemek için net bir yol bırakmaz.

Çalışmanın bulguları, LLM’lerin kendi önbelleğe alınan girişlerini bir alan adından, kendi dahili SEO-stil listelerinden ve sık sık, kamu derneği olmayan şirketlerin arama motoru sonuçlarından bilgi kullandığını gösteriyor.

Yazarlar, bu açığa çıkarmayı, RAG sistemleri (LLM’lerden canlı çağrılar, bir insan kullanıcısı çalıştırıyor olabilecek veya olmayabilecek) tarafından istenmeyen girişi ele alan ilk çalışma olarak görüyor; değil, eğitim veri setleri için taze malzeme arayan veri kazıcı botları.

Yeni makale, AI Web Kazıcılarını Canary Token’ları Kullanarak Tanımlama olarak adlandırıldı ve Duke Üniversitesi, Pittsburgh Üniversitesi ve Carnegie Mellon’dan altı araştırmacıyla birlikte geldi.

Yöntem

Araştırmacılar, geniş olarak benzer web siteleri olan yirmi.com alan adı kurdu; her şablon, nihayetinde her ziyaretçinin algılanan profiline göre benzersiz token’lerle doldurulacak on yer tutucu içeriyordu (IP adresi, canvas parmak izi ve diğer ‘koku alma’ yöntemleri gibi faktörler temelinde):

Deneyde kullanılan şablon ve değişken yer tutucularının bir örneği. Her algılanan benzersiz ziyaretçi, kalıcı, bireysel, özel değişkenler alacaktı.

Her algılanan benzersiz ziyaretçi, özel değişkenler alacaktı. Sistem, önceki bir ziyaretçinin geri dönüşünü tespit ettiğinde, öncekilerle aynı değişkenler sunulacaktı. Değişkenler, Python Faker kütüphanesi ve (belirtilmeyen) rastgele sayı üreticileri kullanılarak oluşturuldu.

Bal peteği alan adları, çeşitli dizinlere zoals Google ve Bing’e sunuldu ve araştırmacıların kontrol ettiği diğer önceden var olan alan adlarına da bağlandı.

Geniş bir arama motoru ve benzer botlardan tarama sıklığına izin vermek için iki ay geçti. Bu noktada, araştırmacılar, hedeflenen AI sohbet botlarına (aşağıda listelenmiştir) sorgu göndermeye hazırdı:

API aracılığıyla, mümkün olduğunda, her sistemi sorgulamak için betikler oluşturuldu. Bu mümkün değildi ve otomatik çözümler Selenium gibi AI portalının algılama rutinleri tarafından engellenirse, LLM’lerin resmi GUI’leri aracılığıyla manuel etkileşimler yapıldı.

İlk şablonlu değişimden (yukarıdaki resme bakın) sonra, yazarlar, bir iliştirilmiş token’da bir şirket veya bir kişinin adını ortaya çıkarmak üzere tasarlanmış bir ikincil.prompt ile devam ettiler.

Deneyler, üç koşulda gerçekleştirildi: tam olarak erişilebilen bir web sitesi; web sitesi kapatıldı; ve web sitesi, kazıma karşı bir robots.txt kısıtlaması ile. Bu deneyler, genau olarak birbiri ardına gerçekleştirildi, çünkü sonraki aşamalar önceki aşamalara bağlıydı.

Son olarak, tüm siteler yeniden çevrimiçi olduğunda, son aşama, bir hafta arayla LLM çıkışını yeniden test edecekti.

Sonuçlar

Dört hedef LLM, araştırmacıların yöntemlerine tamamen dirençli çıktı ve DeepSeek, Hunyuan, GLM ve Liquid için sonuçlar alınamadı.

AI botlarının çoğunun non-AI trafiğini taklit etme eğilimine ilişkin olarak, yazarlar şöyle diyor:

‘İlkin ilan edilen ajanlara ek olarak, birkaç AI sistemi, generic browser User-Agent dizeleri ile ilişkili içerik döndü. Bu davranışı, User-Agent bilgilerini elde ettiğimiz 18 AI sisteminden altısında gözlemledik.

‘Bu sonuç, bazı AI sistemlerinin, ordinary browser trafiğine benzer isteklerle web sitesi içeriğini alabileceğini gösterir; bu da User-Agent tabanlı engelleme zorlaştırır.’

ERNIE, Baiduspider ve bir Chrome kimliği döndürdü; Grok, Googlebot ile iki browser ajanını birleştirdi; Solar, yalnızca browser kimliklerini kullandı; Qwen, Googlebot ile Chrome’u karıştırdı ve Kimi, birden fazla browser-stil ajanıyla bağlantılıydı.

Çok sayıda sistem, üçüncü taraf arama motoru kazıcılarına güveniyordu; bu ilişkiler her zaman açıklanmadı. Googlebot, Bingbot ve Bravebot ile ilişkili içerik, analiz edilen 18 sistemden on tanesi tarafından döndürüldü; çoğu durumda, AI sağlayıcıları ve arama motoru arasında kamu derneği yoktu – ancak bazı bağlantılar, Claude’un Brave’ı kullanması gibi, belgelenmiştir.

Yazarlar, bunun, doğrudan kazıma yerine arama sonuçlarının yutulmasını yansıttığını iddia ediyor; ASN kontrolleri, trafiğin beklenen arama motoru ağlarından geldiğini gösterdi, sahte kimliklerden değil.

Bu, makaleye göre, web-AI boru hattında ek bir şeffaf olmayan katmanı önerir; AI kazıcılarını engelleme, veri kullanımını önlemek için yeterli olmayabilir ve dahil olmaktan kaçınmak, arama indekslemesinden tamamen çıkarmayı gerektirebilir – bu, geleneksel SEO ve LLM tabanlı arama arasındaki gerilim henüz çözülmediği sürece istenmeyen bir seçimdir.

Sadece Önbellek

Yazarlar, bir kaynağın kaldırılmasının sohbet botlarının çıkışını nasıl etkileyebileceğini test etti; test sitelerini çevrimdışı olarak aldı ve bir hafta sonra sistemleri yeniden sorguladı. Makaleye göre, birçok sohbet botu, bir hafta süren kapalı kalma rağmen, ‘ekilen’ içeriği yinelemeye devam etti; bu, cevapların canlı geri çağırma yerine önbelleğe alınan verilerden alındığını gösteriyor.

Bu kalıcılık, arama motoru tarayıcılarına bağlı sistemlerde en belirgindi; önceden dizinlenen içerik, kaynak sayfaların artık erişilemez olmasına rağmen masih mevcuttu – ancak benzer bir davranış, browser-like ajanlarla ilişkili sistemlerde de gözlemlendi; bu, önbelleğin, arama motoru destekli boru hatlarının ötesine geçebileceğini gösteriyor.

Makale, bir kez içerik bir önbelleğe girerse, orijinal sayfanın kaldırılması, bu içeriğin sonraki çıkışlardan güvenilir bir şekilde kaldırılmasını sağlamaz.

Sonuç

Yazarlar, bazı ‘sızıntılar’ olacağını kabul ediyor; bu, klasik ‘silo’ yaklaşımın bir sonucu. Ancak, böyle bir şemanın geniş ölçekte uygulanabileceği ölçüde, özellikle de yazarların gözlemlediği gibi, kısa sürede bağlamsal olarak doğru token’lerden vazgeçilebilir.

Ne olursa olsun, AI şirketlerinin veri iştahını gidermek için yalanlarını kanıtlamak için çok cesur olamayacakları görülmektedir. Ayrıca, bu şirketlerin, kimliklerini gizlemek için ev içi IP adreslerini döndürmeye çok para harcamak zorunda kalmadan, bir organizasyonun, SpamHaus-stil bir kara liste yayınlaması yeterli olacaktır; bu işlem, endüstriyel ölçekte olmak zorunda değildir.

İlk olarak 14 Mayıs 2026 Perşembe günü yayımlandı