Yapay Zekânın Aldığı Tüm ‘OK’ Web Yanıtlarının Yüzde 20’si Tamam Değil

Yapay zekâ destekli web kazımaya yönelik son deneylerim, web’in giderek daha fazla “kilit altına alındığını” gözler önüne serdi. Bu geri çekilmenin arkasındaki itici güç elbette, yapay zekâ destekli web kazımadaki şaşırtıcı artış; yeni verilere yönelik dinmek bilmeyen talep, sonunda alan adlarını çevrimdışı bırakabiliyor.

Bu durum, alan adlarının uzun zamandır yapmak istediklerini hayata geçirmeleri için iyi bir gerekçe sunuyor: içeriklerine yalnızca oturum açmış kullanıcıların erişebilmesini sağlamak (tabii Googlebot genellikle bu kuraldan muaf tutuluyor). Facebook bu politikayı kademeli olarak benimseme sürecini 2023’te tamamladı; Twitter/X de aynı yıl aynı yolu izledi. Reddit ise bu uygulamayı bu ayın ilerleyen günlerinde benimseyecek.

Bu sayede, kullanıcı zaten kayıtlı olduğundan, alan adının ülkeye özgü yaş sınırlamalarını uygulama yükümlülüğünü yerine getirmesi biraz daha kolaylaşıyor. Daha da önemlisi, kullanıcı verileri kaydedilebiliyor, yerel analizlerde kullanılabiliyor ve —yerel mevzuatın izin vermesi hâlinde— veri simsarlarına ve yapay zekâ şirketlerine satılabiliyor.

Öte yandan, kullanıcıları sisteme kaydetmek yerine doğrudan botlara karşı korunmayı amaçlayan önlemler, Cloudflare’a göre, yıllık bazda %58’den fazla arttı; bot faaliyetlerindeki bu artış da doğal olarak web sitelerini incelemeye VPN ve proxy adreslerini yöneltiyor ve bu durum, meşru kullanıcıların da “kötü amaçlı” trafikle birlikte erişiminin engellenmesine yol açabiliyor.

Bunun anekdot niteliğindeki yanı şu: “engelleme” yanıtlarıyla ya da doğrulama adımlarıyla giderek daha sık karşılaşıyor gibiyim; öyle ki bu tür sayfaları yüklemeye başlayan bir siteden vazgeçebilirim. CAPTCHA duvarlarının kullanıcıları ve potansiyel müşterileri caydırdığı bilindiğine göre, bu olumsuzluğa rağmen alan adı sahiplerini bu yöntemi benimsemeye iten baskıyı anlamak mümkün.

Aşırı sayıda otomatik (insan kaynaklı olmayan) isteğe karşılık olarak sık sık doğrulama adımları uygulayan pek çok siteden biri olan archive.is’ten bir CAPTCHA.

Bu yeni ve artan sürtünme kısmen lojistik nedenlerden kaynaklanıyor (çünkü her alan adı bu yoğun talebe dayanamayabiliyor); ancak çoğu zaman, yapay zekâ şirketlerinin çaresizce arzuladıkları ve şimdiye dek uzun süre ücretsiz olan tüm bu veriler için tekil ya da toplu bir ödeme biçimi sunup sunmayacağını görmeye yönelik bir pazarlık taktiği niteliği de taşıyor.

Yapay zekâ tarayıcılarının büyük ölçekte çalışması gerektiğinden, genellikle Playwright çatısı altında Chrome’un “başsız” örneklerini kullanırlar. Günümüzde giderek daha fazla alan adında bu yöntem, 403 (“yasak”) hatası almanıza yol açıyor (yani sunucu, trafiğin otomatik olduğunu anlıyor ve size artık gitmenizi söylüyor):

changedetection.io’nun yerel kurulumu bir siteyi yoklamaya çalışıyor; ancak site, çatının kullandığı ve tespit ettiği tarayıcıdan hoşlanmıyor ve 403 (“Yasak”) yanıtı döndürüyor.

İstenen yanıt, onu alabilmek için başka çeşitli sinsi, insan kaynaklı olmayan yöntemlere başvurmanın yanı sıra bir konut IP’leri kullanan proxy havuzuna yüklü miktarda para ödemek gerekse bile, ‘200’ (‘TAMAM’) istemci yanıtıdır.

200 yanıtından daha iyisi yoktur; başka bir deyişle, bundan daha güçlü olumlu sinyal taşıyan bir istemci yanıt kodu bulunmaz. Üstelik bu yanıt belirsiz de değildir: hiçbir zaman ‘neredeyse tamam’, ‘sonra tamam olacak’ ya da ‘giderek daha da tamam oluyor’ anlamına gelmez; doğrudan ‘tamam!’ demektir. Tamam değilse, 200 yanıtı değildir.

Merhaba! Uzak Dur

Ancak yeni bir makaleye göre, bu ayrıntı eksikliği yapay zekâ veri kümelerini ve istatistiksel tahminleri ciddi ölçüde çarpıtabilir; ayrıca gerçekte öyle olmadığı hâlde bir yanıtın “iyi” olarak raporlanmasına yol açabilir.

Araştırma*, 200 kategorisindeki yanıtların yaklaşık beşte birinin kullanılabilir hiçbir sayfa içeriği barındırmadığını; bunun yerine boş web sitesi iskeletleri, CAPTCHA doğrulamaları, erişim kısıtlamaları veya ikame sayfalar sunduğunu tahmin ediyor.

Makalede şöyle deniyor:

‘Statik bir istemcinin 200 durum koduyla aldığı sayfaların %20,9’u sayfanın ana içeriğini barındırmıyor: uygulama iskeletleri, bot doğrulamaları, engelleme sayfaları, hata ve yer tutucu sayfaları ile kısmi içerik.’

Bu açıdan bakıldığında, sabırsız otomatik sistemler kendi sınırlı yaklaşımlarının kurbanı oluyor; çünkü “200” yanıtı, istek yalnızca bir CAPTCHA duvarı, ödeme duvarı ya da başka bir engelle sonuçlansa bile başarılı veri alımıyla eş tutulabiliyor.

Makale, 200 yanıtını sıklıkla karmaşıklaştırdığı belirlenen yedi içerik türünü sıralıyor:

200 yanıtında “tamam” olmaktan çok uzak olan yedi içerik kategorisi. Kaynak

Çalışma kapsamında üç gün boyunca 10.307 web adresi, hem temel bir web içeriği alma programı hem de JavaScript yükleyebilen bir tarayıcı kullanılarak test edildi; yanıtlar HTTP durum kodlarına göre değil, alınan içeriğe göre sınıflandırıldı.

“Kullanılamaz” 202 yanıtlarının en büyük kategorilerini boş web sitesi iskeletleri ile hata veya ikame sayfaları oluşturuyordu; bunlar başarısızlıkların üçte ikisinden fazlasını teşkil ediyordu.

Boş site iskeletlerinde web sitesi menülerini ve gezinme öğelerini görüntülerken istenen makale ya da ürün listesini boş bırakabilir; ikinci durumda, istenen içerik yerine ilgisiz bir sayfa veya ana sayfa görüntülenebilir. Ancak her iki durum da kullanılabilir ve yararlı içerik sunan başarılı bir alımda olduğu gibi aynı HTTP 200 durum kodunu alabilir.

Çözüm olarak makale, web içeriği alma araçlarının HTTP durum kodlarına güvenmek yerine gerçekte neyin alındığını bildirmesini öneriyor; çünkü olağan dışı kısalıktaki sayfaları, şüpheli yönlendirmeleri ve mevcut olmayan sayfalara benzeyen içerikleri basitçe kontrol etmek, başarısızlıkların çoğunu saptayabilir.

Daha sonra, daha fazla kaynak tüketen tarayıcı araçları yalnızca bir sayfanın düzgün yüklenmemiş gibi göründüğü durumlarda kullanılabilir. Ayrıca yapay zekâ değerlendirmeleri, HTTP 200 yanıtının içeriğin başarıyla alındığı anlamına geldiğini varsaymak yerine, alıntılanan kaynakların beklenen bilgileri gerçekten içerip içermediğini kontrol edebilir.

Yeni çalışmanın yazarı ayrıca sayfa uzunluğu, yönlendirmeler ve mevcut olmayan sayfalara benzerlikler üzerinde yapılan temel kontrollerle “basit sezgisel yöntemlerin” kullanılamaz yanıtların yaklaşık %86’sını kolayca belirleyebileceğini belirtiyor:

Web içeriği alma stratejilerinin karşılaştırması: Yalnızca şüpheli olarak işaretlenen sayfaları görüntülemek, tüm sayfaları görüntülemeye kıyasla biraz daha fazla kullanılabilir içerik sağladı (%81,4’e karşı %80,3); ayrıca sayfa başına ortalama alım süresini 20,6 saniyeden 5,8 saniyeye düşürdü. 

Hatalı 200 Yanıtları Neden Bu Kadar Yaygın?

Yıllar içinde geliştirici topluluklarında, bazı tartışmalar, 202 (“Kabul Edildi”) hatasının (“İstek kabul edildi ancak henüz tamamlanmadı”) bu “başarısız” 200 durum kodlu istekleri birbirinden ayırt etmeye yardımcı olabileceği yönünde yürütüldü; ancak gerçekte 202, yeni makalede açıklanan tüm durumları kapsayamaz ve bunu yapabilecek mevcut bir kod da yok.

Makale bu konuyu derinlemesine ele almasa da alan adı sahiplerinin 200 hatalarına neden izin verdiği, gelecekteki ilgili çalışmalarda daha fazla araştırılmaya değer olabilir.

Bunun bir nedeni, 200 dışındaki her şeyin özünde bir tür hata sayfası veya engel olması olabilir. Buna en yaygın olan 404 (“bulunamadı”) hataları da dahildir; bu durumda hedef içerik tamamen eksiktir. Bazı kullanıcılar, bu tür hataların çok fazla olmasının SEO’da (ve muhtemelen GEO’da) cezalara yol açacağına inanıyor, ancak Google bunu reddediyor.

Google, hatalı 200 yanıtlarını “yumuşak” 404’ler olarak değerlendiriyor. Bunların, kasıtlı olsun ya da olmasın, özünde “aldatıcı” sonuçlar olması nedeniyle basit 404 hatalarından daha büyük bir sorun olarak ele alınmaları da oldukça muhtemel.

Atıf Kayması

Bütün bunlar gereksiz bir titizlik gibi görünüyorsa, yapay zekâ eğitimi amacıyla düzenli olarak toplanan (ya da toplanmaya çalışılan) verilerin petabaytlar düzeyindeki ölçeğini göz önünde bulundurmak gerekir. Bu verilerin tam beşte biri güvenilmez ya da doğrudan yanıltıcıysa, sonraki aşamalarda ortaya çıkacak sonuçları bir tür “ikincil yanlışlık” olarak geçiştirmek zordur; bu tür yanlış yanıtlar, veri kümelerindeki dağılımı ve bu verilerle yapay zekâ modellerini eğitmenin sonuçlarını önemli ölçüde ve olumsuz yönde etkileyebilir.

Örneğin, hatalı 200 yanıtlarıyla ilgili dikkat çekici sorunlardan biri “atıf kayması”dır. Bu durumda, yapay zekânın oluşturduğu bir yanıt artık kanıt olarak başlangıçta atıfta bulunulan web sayfasıyla desteklenmiyordur; başka bir deyişle sayfa değişmiş, ilgili metin kaldırılmış ya da bağlantı artık başka bir yere yönlendiriyor olabilir.

Yeni çalışma, tüm HTTP 200 yanıtları içerikleri ne olursa olsun başarılı alımlar olarak kabul edildiğinde, görünürdeki atıf kaymasının %5,8’den %21,9’a çıktığını ortaya koydu.

Bu, özgün materyalin yerine CAPTCHA, boş bir sayfa veya başka bir engel alınmış olduğu için bir kaynağın değiştiğinin, ortadan kaybolduğunun ya da yapay zekâ tarafından oluşturulan bir iddiayı artık desteklemediğinin yanlışlıkla düşünülmesine yol açabilir.

Öyle Olduğunu Söyle Yeter!

Sorun, kasıtlı olarak mevcut olmayan web adresleri içeren testlerle de ortaya kondu. Web sitelerinden rastgele, uydurma yollar istendiğinde yanıt verenlerin %13,1’i, istenen sayfalar mevcut olmadığı hâlde 200 (“OK”) durum kodu döndürdü^†.

“Rastgele yol sorgusuna yanıt veren sitelerin %13,1’i 200 döndürdü (S1 %10,5, S2 %13,3, S3 %17,3, S4 %13,7, S5 %13,1). Bu yanıtların tümü, tanım gereği yumuşak 404’tür; ancak hepsi bunu belirtmez.

“172 soft 404 yanıtının keşif amaçlı bir dökümünde, etiketleyici 98 yanıtı hata veya ikame sayfa, 32’sini kabuk, 28’ini ise içerik olarak sınıflandırdı: rastgele bir yolda sunulan ana sayfa ya da listeleme sayfası, normal bir sayfa gibi görünür.”

Sonuç

Sorun daha üst düzeyde fark edilseydi, IANA muhtemelen yeni ve daha uygun bir HTTP durum kodu oluşturabilirdi; örneğin [X] (“İstek başarılı oldu ancak istenen içerik sunulmadı”). Bu, gerçekte ne olduğunu açıklasa da, doğal olarak ana sunucu tarafında işlem hakkında pek olası olmayan ölçüde bir kavrayış gerektirirdi.

Benzer kodlar zaten mevcut, ancak hiçbiri tam olarak uygun değil: 451 (“Yasal Nedenlerle Kullanılamıyor”) belirsiz ve hayli ürkütücü (!); 206 (“Kısmi İçerik”) teknik açıdan uygun, ancak tamamlanmamış veriler (getirme işlemleri) için tasarlanmış; varlığının şaşırtıcı olduğu 203 (“Yetkili Olmayan Bilgi”) ise 1997’de oluşturulmuştur ve söz konusu kullanım alanıyla yalnızca dolaylı olarak ilgilidir.

Belki de en yakın aday, aslında sezgisel olmayan biçimde adlandırılmış 103 (“Erken İpuçları”) kodudur. Bu kod, URL’deki kaynakların henüz tümünün yüklenmediğini belirtir (ancak bu, kodun amacının açıkça büyük ölçüde yanlış yorumlanması olurdu).

* Başlığı “200 OK Yanıt Olmadığında: Ajan Tabanlı Web İçeriği Ediniminde Sessiz Getirme Hataları”dır. Makalenin görünüşe göre öncelikle makineler tarafından okunabilir, belki de yapay zekâ tarafından sorgulanmak üzere yazıldığını ve kendi başına okunmasının kolay olmadığını lütfen unutmayın.

^†Mekanik üsluplu bu alıntı için özür dilerim; ancak yukarıda da belirttiğim gibi, makalenin tamamı insanlar tarafından yorumlanabilir olmaktan ziyade “makine tarafından okunabilir” olacak şekilde yazılmıştır, yine de JSON biçiminde sunulma noktasına varmamıştır.

İlk yayımlanma tarihi: 4 Kasım 2026 Çarşamba