OpenAI, yapay zekâ eğitimi tercihleri için ortak robots.txt sinyaline uyacak

OpenAI, web sitelerinin içeriklerinin nasıl kullanılacağına ilişkin tercihlerini belirtmek için kullandığı robots.txt dosyasındaki ortak bir sinyale uyacağını ve böylece site işletmecilerinin birden fazla katılımcı sağlayıcıya aynı anda tek bir yapay zekâ eğitimi tercihini iletebileceğini 30 Ekim 2026’da duyurdu.

Sağlayıcılar arasında paylaşılan gönüllü bir sinyal

OpenAI, duyurusunda bu çalışmanın gönüllü olduğunu belirtti ve mevcut bir yükü hafifleteceğini söyledi: Web sitesi işletmecileri şimdiye kadar her bir sağlayıcının tarayıcısını ayrı ayrı belirlemek ve her sağlayıcı için ayrı kurallar tutmak zorundaydı. Şirkete göre ortak bir sinyal, yayıncıların ve web sitesi işletmecilerinin aynı tercihi aynı anda birden fazla katılımcı sağlayıcıya iletmesini sağlıyor. OpenAI, sinyali önümüzdeki aylarda uygulamaya koymayı hedeflediğini ve uygulamaya geçtiğinde ayrıntıları içeren yeni bir güncelleme paylaşacağını söyledi.

Şirket, yeni sinyalin robots.txt aracılığıyla hâlihazırda sunduğu kontrollerin yerini almayacağını ve bu kontrollerin geçerliliğini koruyup uygulanmaya devam edeceğini belirtti. OpenAI, bu adımın Internet Engineering Task Force’un AI Preferences çalışma grubunun sürmekte olan çalışmalarından yararlandığını ifade etti; duyuruyu diğer çalışma grubu katılımcılarıyla birlikte yaptığını söyledi ve diğer yapay zekâ sağlayıcılarını da sinyale uymaya teşvik etti. Şirket, bu adımı insanların bilgi yayımlayıp keşfedebildiği, web sitesi sahiplerinin ise içeriklerinin nasıl kullanılacağına ilişkin tercihlerini daha açık ve kolay biçimde iletebildiği açık bir web’e doğru atılmış bir adım olarak nitelendirdi. Ayrıca standartlara ilişkin görüşmeler ilerledikçe uygulamalarını uyarlamayı sürdüreceğini söyledi.

Sinyal nasıl çalışıyor?

Sinyal, Kevin Kelley (Anthropic) tarafından kaleme alınan, 30 Ekim 2026 tarihli ve 3 Mayıs 2027’de süresi dolacak bireysel bir İnternet Taslağı olan Makine Tarafından Okunabilir Eğitim Tercihi Sinyali (draft-kelley-aipref-training-preference-signal-00) içinde tanımlanıyor. IETF’nin datatracker’ı, bireysel bir İnternet Taslağı’nın IETF tarafından onaylanmadığını ve IETF standartları sürecinde resmî bir statüsü bulunmadığını belirtiyor.

Taslağa göre bir hizmet işletmecisi, “yapay zekâ eğitimi yok” gibi kullanım tercihlerini, User-Agent satırında amaca özgü bir politika belirteciyle tanımlanan standart robots.txt gruplarını yazarak belirli yollara bağlar. Taslak yeni yönerge adları veya yeni bir dilbilgisi kuralı getirmiyor: RFC 9309 olarak yayımlanan robots.txt standardındaki yol dili, en uzun eşleşmeye öncelik verme kuralı ve grup yapısı değişmiyor. Taslağa göre bunun sonucunda, internette kullanılan mevcut ayrıştırıcılar trafik yönetimi sinyallerini eskisi gibi yorumlamayı sürdürecek ve politika belirteci içeren grupları, tanımadıkları bir kullanıcı aracısını belirten herhangi bir grubu yok saydıkları gibi yok sayacak.

Taslak, sağlayıcılar arası politika belirtecini __usage_ai-training olarak tanımlıyor. Örnek grupta “User-Agent: __usage_ai-training” satırı, “Disallow: /” ve “Allow: /press-kit/” satırlarıyla birlikte yer alıyor. Bu yapı, /press-kit/ altındaki yollar dışındaki tüm yollar için yapay zekâ eğitimi yapılmaması tercihini ifade ediyor. “User-Agent: *” anlamına gelen joker karakterli gruplar, politika belirteciyle eşleşiyor şeklinde yorumlanmamalı. Dosyadaki hiçbir grup bu belirteci içermiyorsa herhangi bir tercih belirtilmiş sayılmıyor.

Taslak ayrıca politika belirtecinin tarama davranışına yönelik bir yönerge olmadığını belirtiyor. Taslağa göre içerik kullanım tercihleriyle tarayıcı trafiği yönetimi sinyalleri birbirinden bağımsızdır ve farklı konuları düzenler; özel anlaşmalar, bu mekanizma aracılığıyla belirtilen tercihleri geçersiz kılabilir. Taslakta belirtilen hedefler arasında yollara özgü bağlamalar oluşturmak, RFC 9309’dan mümkün olduğunca az sapmak, kuralların büyük ölçekte yinelenmesini önlemek, mekanizmayı uygulamayan ayrıştırıcıların davranışını değiştirmemek ve tüketiciler arasında tutarlı yorum sağlamak yer alıyor.

Sinyalin dayandığı söz dağarcığı

Belirtecin anlamı, çalışma grubunun söz dağarcığı taslağı Yapay Zekâ Kullanım Tercihlerini İfade Etmek İçin Bir Söz Dağarcığı (draft-ietf-aipref-vocab-08) ile uyumludur. Open Future’dan Paul Keller ile Mozilla’dan Martin Thomson’ın kaleme aldığı ve Eylül 2026’da çalışma grubu belgesi olarak son kez güncellenen bu taslak, Önerilen Standart olma amacı taşıyor. Söz dağarcığı, Yapay Zekâ Eğitimi’ni, yalnızca üretken olmayan görevlerde kullanılan modellerin eğitimi hariç olmak üzere, üretken bir yapay zekâ modelinin öğrenilmiş parametrelerini değiştirmek için bir varlığın kullanılması olarak tanımlıyor. Üretken yapay zekâ modelini ise bir veya daha fazla biçimde sentetik içerik üretmek için kullanılan ya da bu amaçla kullanıma sunulan model olarak tanımlıyor.

Söz dağarcığı ayrıca, bir kullanıcı tarafından doğrudan sağlanmak yerine üretken bir yapay zekâ modeline girdi olarak kullanılan varlıkları kapsayan ayrı bir Yapay Zekâ Kullanımı kategorisi ile temel amacı varlıkları seçmek ve kullanıcıları bunların bulunduğu yerlere yönlendirmek olan uygulamalara ilişkin bir Arama kategorisi tanımlıyor. Her kategoriye izin verildi, izin verilmedi veya bilinmiyor değerlerinden biri atanıyor; ifadelerin çelişmesi durumunda en kısıtlayıcı tercih geçerli oluyor. Söz dağarcığı taslağı, tercihlere uyulmasını garanti etmediğini belirtiyor ve bunlara uyup uymama kararını alıcıya bırakıyor. Okurlara yönelik bir notta ise içeriğinin henüz çalışma grubu görüş birliğini yansıtmadığı uyarısı yapılıyor. Taslakta, hâlen açık bir konu olarak izlenen bir bölüm, eğitim tercihlerine uymanın, eğitim varlıklarıyla ilişkili tercihlerin model dağıtılırken modelle birlikte iletilmesini de kapsadığını belirtiyor.

Eğitim sinyali taslağının teşekkür bölümünde, çalışma grubu eş başkanları olarak Cloudflare’dan Mark Nottingham ve Cisco’dan Suresh Krishnan, söz varlığı editörleri olarak Thomson ve Keller, sorumlu alan direktörü olarak da Akamai’den Mike Bishop’ın adı geçiyor. Ayrıca, IETF katılımcıları bireysel olarak katkıda bulunduğundan, kuruluş bağlantılarının yalnızca kimlik belirleme amacıyla belirtildiği bireysel katılımcılar da sıralanıyor. Bu kişilerin bağlantılı olduğu kuruluşlar arasında OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation ve Creative Commons bulunuyor.

OpenAI’nin Mevcut Tarayıcı Botu Denetimleri

Şirketin yeni sinyalle birlikte yürürlükte kalacağını belirttiği OpenAI tarayıcı botlarına ilişkin belgeleri, GPTBot’u üretken yapay zekâ temel modellerinin eğitiminde kullanılabilecek içerikleri tarayan araç olarak tanımlıyor; GPTBot’un engellenmesi, bir sitenin içeriğinin bu eğitimde kullanılmaması gerektiğini gösteriyor. OAI-SearchBot, web sitelerinin ChatGPT’nin arama özelliklerinde görünmesini sağlıyor. Bu botu devre dışı bırakan siteler ChatGPT’nin arama yanıtlarında gösterilmiyor, ancak gezinme bağlantıları olarak yine de görünebiliyor. OAI-AdsBot, ChatGPT’de reklam olarak gönderilen web sayfalarının güvenliğini doğruluyor ve topladığı veriler üretken yapay zekâ temel modellerini eğitmek için kullanılmıyor. ChatGPT-User, otomatik tarama yerine ChatGPT’deki kullanıcı işlemlerinin tetiklediği sayfa ziyaretlerini yönetiyor; belgelerde robots.txt kurallarının bu ziyaretler için geçerli olmayabileceği belirtiliyor.

Belgelere göre her ayar diğerlerinden bağımsızdır; bu nedenle bir web yöneticisi, GPTBot’un eğitim amacıyla kullanılmasını engellerken OAI-SearchBot’un arama sonuçlarında görünmesine izin verebilir. Bir sitenin robots.txt dosyasını güncellemesinin ardından arama sonuçlarındaki değişikliklerin yansıması yaklaşık 24 saat sürebilir. OpenAI, ortak sinyali önümüzdeki aylarda uygulamaya koyduğunda, uygulama ayrıntılarını paylaşacağını belirtti.