Google, robots.txt üzerinden ortak bir yapay zekâ eğitimi denetimini desteklemeyi planlıyor

Google, 30 Ekim 2026’da robots.txt üzerinden ortak bir yapay zekâ eğitimi denetimini desteklemeyi planladığını duyurdu. Bu denetim, web sitesi sahiplerine birden fazla yapay zekâ sağlayıcısı için eğitim tercihlerini tek bir yöntemle belirtme olanağı sunacak. Bu taahhüt, aynı gün Microsoft ve OpenAI tarafından yapılan duyurularla birlikte geldi.

Google bu denetimi nasıl uygulayacak?

Plan, Google Arama Savunucusu John Mueller’ın Google Arama Merkezi Blog yazısında açıklandı. Denetim, Internet Engineering Task Force (IETF) bünyesindeki AI Preferences çalışma grubunun çalışmalarını temel alıyor ve Google’ın 2023’ten bu yana sunduğunu belirttiği yapay zekâ eğitimi denetimi Google-Extended’ı geliştiriyor.

Web sitesi sahipleri, her yapay zekâ geliştiricisi için ayrı talimatlar yönetmek yerine robots.txt içinde ortak bir politika belirteci kullanarak katılımcı yapay zekâ sağlayıcılarının tümüne yönelik genel tercihlerini belirtebilecek. Bir web sitesi bu belirteci kullanarak eğitime izin vermediğini bildirir ve Google-Extended’ı açıkça belirtmezse Google, yayıncının Google-Extended’ı devre dışı bırakmış olduğunu varsaymayı planlıyor. Diğer yapay zekâ sağlayıcıları da bu sinyali benzer şekilde ele alabilir; böylece site sahipleri tüm katılımcı sağlayıcılardan aynı anda çıkabilir veya sağlayıcıları tek tek seçebilir.

Yazıya göre, mevcut şirkete özgü denetimler ortak sinyalle birlikte çalışmaya devam edecek. Böylece web sitesi sahipleri sektör genelindeki sinyal aracılığıyla genel bir tercih belirtirken Google-Extended gibi denetimlerle talimatlarını geliştiricilere göre özelleştirebilecek. Google-Extended’a özellikle izin veren web siteleri, Gemini Apps’teki temellendirme aracılığıyla yanıtlarda yer almaya ve tıklama almaya uygun olacak.

Google, önerinin; yayıncıların, sivil toplum kuruluşlarının, düzenleyici kurumların ve yapay zekâ eğitimi için sektör genelinde denetim çağrısında bulunan diğer paydaşların geri bildirimlerini yansıttığını belirtti. Şirket, büyük yapay zekâ sağlayıcılarının desteğinin sektör genelinde işleyen, kalıcı bir standart ortaya çıkaracağını da söyledi. Ayrıca önerinin, AB Yapay Zekâ Yasası kapsamındaki genel amaçlı yapay zekâ modeli sağlayıcılarına yönelik AB Uygulama Kuralları’yla tutarlı olduğunu belirtti. Söz konusu kurallar, robots.txt’yi web yayıncılarının makine tarafından okunabilir tercihlerini belirtmeleri için başlıca yöntemlerden biri olarak kabul ediyor. Google, diğer yapay zekâ sağlayıcılarıyla birlikte yeni denetimi 2027’de desteklemeyi hedefliyor ve ilerleme durumu hakkında güncellemeler paylaşacağını söylüyor.

OpenAI de aynı gün benzer bir taahhütte bulundu. OpenAI’ın duyurusunda, şirketin robots.txt’deki ortak sinyale uyacağı, önümüzdeki aylarda bu sinyali uygulamaya koymayı hedeflediği ve mevcut tarayıcı denetimlerini yürürlükte tutup bunlara uymayı sürdüreceği belirtildi. OpenAI, duyuruda AI Preferences çalışma grubunun diğer katılımcılarına katıldığını söyledi ve diğer yapay zekâ sağlayıcılarını da sinyale uymaya teşvik etti.

Sinyalin temelindeki IETF taslağı

Mekanizma, Anthropic’ten Kevin Kelley’nin kaleme aldığı ve 30 Ekim 2026 tarihini taşıyan “Makine Tarafından Okunabilir Eğitim Tercihi Sinyali” başlıklı bir İnternet Taslağında tanımlanıyor. Belgenin standartlar sürecine alınması amaçlanıyor ve taslağın geçerliliği 3 Mayıs 2027’de sona eriyor. IETF datatracker’a göre bu, IETF tarafından onaylanmamış ve standartlaştırma sürecinde resmî bir statüsü bulunmayan bireysel bir gönderim.

Taslağa göre bir hizmet operatörü, User-Agent satırında amaca özgü bir politika belirteci olan __usage_ai-training’i kullanarak robots.txt içinde standart gruplar yazar ve kullanım tercihlerini yollarla ilişkilendirir. Taslaktaki örnek grup, /press-kit/ altındaki yollar dışında sitenin tamamında yapay zekâ eğitimi yapılmasını istemediğini belirtir. Mekanizma yeni yönerge adları veya yeni bir söz dizimi getirmiyor: robots.txt standardı RFC 9309’daki yol söz dizimi, en uzun eşleşmenin önceliği ve grup yapısı değişmiyor. Bu nedenle internette hâlihazırda kullanılan ayrıştırıcılar, tanımadıkları politika belirteci gruplarını yok sayacak. User-Agent: * içeren joker karakter grupları, politika belirteciyle eşleşiyor şeklinde yorumlanmamalı. __usage_ai-training grubu içermeyen bir robots.txt dosyası ise herhangi bir tercih belirtmiyor.

Belirtecin anlamı, AIPREF söz varlığında yapay zekâ eğitimi için verilen tanıma dayanıyor: “Üretken bir yapay zekâ modelinin öğrenilmiş parametrelerini değiştirmek için bir varlığın kullanılması.” Bu tanım, model üretken görevler yapabilse bile yalnızca üretken olmayan görevlerde kullanılan modellerin eğitimini kapsamıyor. Taslak ayrıca belirtecin tarama davranışına yönelik bir talimat değil, içeriğin kullanımına ilişkin bir tercih belirttiğini vurguluyor; ancak bu tercihleri kullananlar tarama kararlarına yön vermek için bunlardan yararlanabilir. Belirli tercihler genel olanlara üstün gelmeli; özel anlaşmalar ise ifade edilmiş tercihleri geçersiz kılabilir.

Kelley, taslağı 30 Ekim 2026’da IETF’nin ai-control posta listesinde duyururken Anthropic’in desteği uygulamaya koymaya çoktan başladığını yazdı. Bu çalışmayı, Anthropic’in mevcut tarayıcı denetimlerinin yerine geçecek bir çözüm değil, onları tamamlayıcı bir unsur olarak tanımladı.

Microsoft’un benimsemesi ve geçiş tarihleri

Microsoft, benimseme kararını aynı gün Microsoft Bing’de Baş Ürün Yöneticisi olan Krishna Madhavan’ın Bing blog yazısında duyurdu. Şirket, 2023’te kullanıma sunduğu NoArchive ve NoCache etiketlerine işaret ederek, yayıncılara yapay zekâ eğitimi ve temellendirme üzerinde denetim sağlayan ilk şirket olduğunu söyledi.

Microsoft, siteler ve yollar için ortak AI Training tercihini benimsiyor ve bunu meta etiketleri ile HTTP yanıt başlıkları aracılığıyla sayfa düzeyine taşıyor; ayrıca sayfa düzeyinde ayrı bir AI Grounding tercihi ekliyor. Allow ve Disallow seçeneklerinin yanı sıra grounding tercihi, kullanımı AI Mode, AI Overview, Copilot ve Microsoft 365 gibi Microsoft tarafından işletilen deneyimlerle sınırlayan, Microsoft’un Web IQ ve Foundry’de API erişimi üzerinden grounding gibi üçüncü taraflara sunduğu hizmetleri ise kapsam dışında bırakan yeni bir DisallowExtended seçeneği ekliyor. Herhangi bir tercih yayımlanmadığında her iki tercih de varsayılan olarak Allow değerini alıyor. Microsoft, grounding için Disallow veya DisallowExtended seçilmesinin yapay zekâ deneyimlerinde marka görünürlüğünü azaltacağı uyarısında bulundu; bu tercihler, geleneksel Bing arama sonuçlarında görünmeye uygunluğu değiştirmiyor ve lisanslama ya da ödeme düzenlemeleri oluşturmuyor.

Yeni tercihler, eğitim ve grounding için NoArchive ile NoCache’in yerini alacak ve Microsoft tarama yaptıkça 1 Şubat 2027’den itibaren yürürlüğe girecek. Eski etiketleri 15 Aralık 2026 itibarıyla kullanan siteler için geçici grounding geçiş tercihleri, 15 Aralık 2026’da Bing Webmaster Tools’ta kullanıma açılacak. Bu sitelerin yeni tercihlerini yayımlamaları ve 1 Mart 2027’den önce geçici bir grounding tercihi kaydetmeleri gerekiyor. Bu tarihten sonra NoArchive ve NoCache, eğitim veya grounding tercihleri olarak artık okunmayacak. Geçici tercihler, Microsoft bir sayfayı yeniden tarayıp yeni grounding tercihini bulana ya da 30 Eylül 2027’ye kadar geçerli olacak; hangisi önce gerçekleşirse.