Google Berencana Mendukung Kendali Bersama atas Pelatihan AI melalui robots.txt

Pada 30 Oktober 2026, Google mengumumkan rencana untuk mendukung kendali bersama atas pelatihan AI di robots.txt, sehingga pemilik situs web memiliki satu cara untuk menyatakan preferensi pelatihan kepada berbagai penyedia AI. Komitmen ini diumumkan bersamaan dengan pengumuman dari Microsoft dan OpenAI pada hari yang sama.

Cara Google Akan Menerapkan Kendali Ini

Rencana tersebut diuraikan dalam artikel blog Google Search Central oleh John Mueller, seorang advokat Google Search. Kendali ini didasarkan pada pekerjaan kelompok kerja AI Preferences di Internet Engineering Task Force (IETF) dan dikembangkan dari Google-Extended, kendali pelatihan AI yang menurut Google telah ditawarkannya sejak 2023.

Alih-alih mengelola instruksi terpisah untuk setiap pengembang AI, pemilik situs web nantinya dapat menggunakan token kebijakan bersama di robots.txt untuk menetapkan preferensi umum bagi berbagai penyedia AI yang berpartisipasi. Jika sebuah situs web menggunakan token tersebut untuk menolak pelatihan dan tidak secara eksplisit menyebut Google-Extended, Google berencana menafsirkannya seolah-olah penerbit telah melarang Google-Extended. Penyedia AI lain dapat menangani sinyal tersebut dengan cara serupa, sehingga pemilik situs dapat menolak pelatihan bagi semua penyedia yang berpartisipasi sekaligus atau memilih penyedia tertentu.

Menurut artikel tersebut, kendali khusus masing-masing perusahaan yang sudah ada akan tetap berfungsi bersama sinyal bersama itu. Dengan demikian, pemilik situs web dapat menyampaikan pilihan umum melalui sinyal industri, sembari tetap menyesuaikan instruksi untuk tiap pengembang melalui kendali seperti Google-Extended. Situs web yang secara khusus mengizinkan Google-Extended memenuhi syarat untuk ditampilkan dalam respons dan menerima klik melalui fitur grounding (pengaitan ke sumber) di Gemini Apps.

Google mengatakan bahwa usulan ini mencerminkan masukan dari penerbit, kelompok masyarakat sipil, regulator, dan pemangku kepentingan lain yang telah menyerukan kendali pelatihan AI di seluruh industri. Google juga mengatakan bahwa dukungan dari berbagai penyedia AI utama akan menghasilkan standar berkelanjutan yang dapat diterapkan di seluruh industri. Perusahaan tersebut menyatakan bahwa usulan ini selaras dengan Kode Praktik Uni Eropa untuk penyedia model AI serbaguna berdasarkan Undang-Undang AI Uni Eropa, yang mengakui robots.txt sebagai metode utama bagi penerbit web untuk menyatakan preferensi yang dapat dibaca mesin. Google menargetkan untuk mendukung kendali baru ini pada 2027 bersama penyedia AI lainnya, dan mengatakan akan memberikan pembaruan tentang perkembangannya.

OpenAI menyampaikan komitmen serupa pada hari yang sama. Dalam pengumumannya, OpenAI mengatakan bahwa perusahaan akan mematuhi sinyal robots.txt bersama tersebut, menargetkan penerapannya dalam beberapa bulan mendatang, serta tetap memberlakukan dan menghormati kendali perayap yang sudah ada. OpenAI mengatakan dalam pengumuman itu bahwa perusahaan bergabung dengan peserta lain dalam kelompok kerja AI Preferences dan mendorong penyedia AI lain untuk mematuhi sinyal tersebut.

Draf IETF di Balik Sinyal Ini

Mekanisme ini dijelaskan dalam sebuah draf Internet berjudul “Sinyal Preferensi Pelatihan yang Dapat Dibaca Mesin”, yang ditulis oleh Kevin Kelley dari Anthropic dan bertanggal 30 Oktober 2026. Dokumen tersebut ditujukan untuk jalur standardisasi dan akan kedaluwarsa pada 3 Mei 2027. Menurut pelacak data IETF, dokumen ini merupakan pengajuan perorangan yang tidak didukung oleh IETF dan tidak memiliki kedudukan formal dalam proses standardisasi.

Menurut draf tersebut, operator layanan mengaitkan preferensi penggunaan dengan jalur tertentu dengan menuliskan grup robots.txt biasa yang menggunakan token kebijakan untuk tiap tujuan, __usage_ai-training, pada baris User-Agent. Contoh grup dalam draf itu menyatakan preferensi untuk tidak menggunakan seluruh situs dalam pelatihan AI, kecuali jalur di bawah /press-kit/. Mekanisme ini tidak memperkenalkan nama direktif atau tata bahasa baru: bahasa jalur, prioritas pencocokan terpanjang, dan struktur grup dalam standar robots.txt, RFC 9309, tetap tidak berubah. Karena itu, pengurai yang sudah digunakan di seluruh internet akan mengabaikan grup token kebijakan yang tidak mereka kenali. Grup wildcard, yaitu grup dengan User-Agent: *, tidak boleh ditafsirkan sebagai cocok dengan token kebijakan. File robots.txt yang tidak memiliki grup __usage_ai-training sama sekali tidak menyatakan preferensi.

Makna token ini mengacu pada definisi pelatihan AI dalam kosakata AIPREF: “Menggunakan suatu aset untuk mengubah parameter yang telah dipelajari oleh model AI generatif.” Definisi tersebut tidak mencakup pelatihan model yang digunakan secara eksklusif untuk tugas non-generatif, sekalipun model itu mampu melakukan tugas generatif. Draf tersebut juga menegaskan bahwa token ini menyatakan preferensi tentang penggunaan konten, bukan direktif untuk perilaku perayapan, meskipun pihak yang menggunakannya dapat menjadikan preferensi itu sebagai pertimbangan dalam perayapan. Pernyataan yang spesifik harus diutamakan daripada yang umum, dan kesepakatan privat dapat mengesampingkan preferensi yang dinyatakan.

Pada 30 Oktober 2026, Kelley mengumumkan draf tersebut di milis ai-control milik IETF. Ia menulis bahwa Anthropic telah mulai menerapkan dukungan untuk draf itu. Kelley menggambarkan pekerjaan tersebut sebagai pelengkap, bukan pengganti, kendali perayap Anthropic yang sudah ada.

Adopsi Microsoft dan Tanggal Transisi

Microsoft mengumumkan adopsinya pada hari yang sama melalui artikel blog Bing oleh Krishna Madhavan, Manajer Produk Utama untuk Microsoft Bing. Microsoft mengatakan bahwa perusahaan itu merupakan yang pertama menyediakan kendali bagi penerbit atas pelatihan AI dan grounding, dengan merujuk pada tag NoArchive dan NoCache yang diperkenalkannya pada 2023.

Microsoft mengadopsi preferensi Pelatihan AI bersama untuk situs dan jalur, serta memperluasnya hingga ke tingkat halaman melalui tag meta dan header respons HTTP, sekaligus menambahkan preferensi Grounding AI terpisah untuk tingkat halaman. Selain Allow dan Disallow, preferensi grounding menambahkan opsi DisallowExtended yang membatasi penggunaan grounding pada pengalaman yang dioperasikan Microsoft, seperti AI Mode, AI Overview, Copilot, dan Microsoft 365, serta mengecualikan layanan grounding yang disediakan Microsoft kepada pihak ketiga, seperti Web IQ dan grounding melalui akses API di Foundry. Jika tidak ada preferensi yang dipublikasikan, kedua preferensi tersebut secara default ditetapkan ke Allow. Microsoft memperingatkan bahwa memilih Disallow atau DisallowExtended untuk grounding akan mengurangi visibilitas merek dalam pengalaman AI; preferensi tersebut tidak mengubah kelayakan untuk muncul di hasil pencarian Bing tradisional dan tidak menetapkan pengaturan lisensi atau pembayaran.

Preferensi baru akan menggantikan NoArchive dan NoCache untuk pelatihan dan grounding, serta mulai berlaku pada 1 Februari 2027 seiring perayapan yang dilakukan Microsoft. Fitur preferensi transisi grounding sementara akan tersedia di Bing Webmaster Tools pada 15 Desember 2026 bagi situs yang menggunakan tag lama pada tanggal tersebut. Situs-situs itu harus memublikasikan preferensi baru dan mencatat preferensi grounding sementara sebelum 1 Maret 2027. Setelah itu, NoArchive dan NoCache tidak akan lagi dibaca sebagai preferensi untuk pelatihan atau grounding. Preferensi sementara tetap berlaku hingga Microsoft merayapi ulang suatu halaman dan menemukan preferensi grounding baru, atau hingga 30 September 2027, mana pun yang terjadi lebih dahulu.