OpenAI Akan Menghormati Sinyal Bersama di robots.txt untuk Preferensi Pelatihan AI

Pada 30 Oktober 2026, OpenAI mengumumkan bahwa mereka akan menghormati sinyal bersama di robots.txt, yaitu berkas yang digunakan situs web untuk menyatakan preferensi tentang penggunaan kontennya, agar operator situs dapat menyampaikan satu preferensi pelatihan AI kepada beberapa penyedia yang berpartisipasi sekaligus.

Sinyal Sukarela yang Dibagikan kepada Berbagai Penyedia

Dalam pengumumannya, OpenAI menyebut upaya ini bersifat sukarela dan mengatakan bahwa langkah tersebut mengatasi beban yang sudah ada: selama ini, operator situs web harus mengidentifikasi setiap perayap dan memelihara aturan terpisah untuk masing-masing penyedia. Menurut perusahaan itu, sinyal bersama memungkinkan penerbit dan operator situs web menyampaikan preferensi yang sama kepada beberapa penyedia yang berpartisipasi sekaligus. OpenAI mengatakan pihaknya menargetkan penerapan sinyal tersebut dalam beberapa bulan mendatang dan akan membagikan pembaruan lain beserta perincian penerapannya saat hal itu dilakukan.

Perusahaan itu mengatakan sinyal baru tersebut tidak akan menggantikan kontrol yang sudah disediakannya melalui robots.txt, yang akan tetap berlaku dan dihormati. OpenAI menyatakan bahwa langkah ini bertumpu pada pekerjaan yang sedang berlangsung di kelompok kerja AI Preferences milik Internet Engineering Task Force, mengatakan bahwa pihaknya bergabung dengan peserta kelompok kerja lainnya dalam mengumumkan langkah tersebut, serta mendorong penyedia AI lain untuk menghormati sinyal itu. Perusahaan tersebut menggambarkan langkah ini sebagai upaya menuju web terbuka, tempat orang dapat menerbitkan dan menemukan informasi, sementara pemilik situs web memiliki cara yang lebih jelas dan sederhana untuk menyampaikan pilihan mereka tentang penggunaan kontennya. Perusahaan itu juga mengatakan akan terus menyesuaikan praktiknya seiring perkembangan pembahasan standar tersebut.

Cara Kerja Sinyal Ini

Sinyal ini didefinisikan dalam sebuah Draf Internet individual berjudul Sinyal Preferensi Pelatihan yang Dapat Dibaca Mesin (draft-kelley-aipref-training-preference-signal-00), yang ditulis oleh Kevin Kelley dari Anthropic, bertanggal 30 Oktober 2026, dan akan kedaluwarsa pada 3 Mei 2027. Datatracker IETF mencatat bahwa Draf Internet individual tidak didukung oleh IETF dan tidak memiliki kedudukan formal dalam proses standar IETF.

Menurut draf tersebut, operator layanan mengaitkan preferensi penggunaan, seperti “tanpa pelatihan AI”, dengan jalur melalui grup robots.txt biasa yang menggunakan token kebijakan khusus untuk setiap tujuan pada baris User-Agent. Draf ini tidak memperkenalkan nama direktif maupun tata bahasa baru: bahasa jalur, prioritas pencocokan terpanjang, dan struktur grup dalam standar robots.txt yang diterbitkan sebagai RFC 9309 tetap tidak berubah. Karena itu, menurut draf tersebut, pengurai yang sudah digunakan di seluruh internet akan terus menafsirkan sinyal pengelolaan lalu lintas seperti sebelumnya dan mengabaikan grup token kebijakan, sebagaimana mereka mengabaikan grup yang mencantumkan agen pengguna yang tidak dikenali.

Draf tersebut menetapkan token kebijakan lintas penyedia __usage_ai-training. Dalam contoh grupnya, baris “User-Agent: __usage_ai-training” dipasangkan dengan “Disallow: /” dan “Allow: /press-kit/”, yang menyatakan preferensi untuk tidak mengizinkan pelatihan AI pada semua jalur, kecuali jalur di bawah /press-kit/. Grup wildcard, yaitu “User-Agent: *”, tidak boleh ditafsirkan sebagai cocok dengan token kebijakan tersebut. Jika tidak ada grup dalam sebuah berkas yang memuat token itu, berarti tidak ada preferensi yang dinyatakan.

Draf tersebut juga menyatakan bahwa token kebijakan itu bukan direktif untuk perilaku perayapan. Menurut draf itu, preferensi penggunaan konten dan sinyal pengelolaan lalu lintas perayap bersifat independen dan tidak saling berkaitan, sementara perjanjian privat dapat mengesampingkan preferensi yang dinyatakan melalui mekanisme ini. Tujuan yang disebutkan mencakup pengaitan khusus untuk setiap jalur, penyimpangan seminimal mungkin dari RFC 9309, tanpa duplikasi aturan dalam skala besar, perilaku pengurai yang tidak menerapkan mekanisme ini tetap tidak berubah, serta penafsiran yang konsisten di antara berbagai pihak yang menggunakannya.

Kosakata di Balik Sinyal Ini

Makna token tersebut mengikuti draf kosakata kelompok kerja, Kosakata untuk Menyatakan Preferensi Penggunaan AI (draft-ietf-aipref-vocab-08), yang ditulis oleh Paul Keller dari Open Future dan Martin Thomson dari Mozilla. Draf itu terakhir diperbarui pada September 2026 sebagai dokumen kelompok kerja yang dimaksudkan menjadi Standar Usulan. Kosakata tersebut mendefinisikan Pelatihan AI sebagai penggunaan aset untuk mengubah parameter yang telah dipelajari oleh model AI generatif. Definisi ini mengecualikan pelatihan model yang digunakan hanya untuk tugas non-generatif. Kosakata itu juga mendefinisikan model AI generatif sebagai model yang digunakan, atau disediakan untuk digunakan, guna menghasilkan konten sintetis dalam satu atau beberapa modalitas.

Kosakata tersebut juga mendefinisikan kategori Penggunaan AI tersendiri, yang mencakup aset yang digunakan sebagai masukan bagi model AI generatif, bukan diberikan langsung oleh pengguna, serta kategori Penelusuran untuk aplikasi yang tujuan utamanya memilih aset dan mengarahkan pengguna ke lokasinya. Setiap kategori mendapat nilai preferensi diizinkan, tidak diizinkan, atau tidak diketahui; jika ada pernyataan yang bertentangan, preferensi yang paling membatasi akan berlaku. Draf kosakata tersebut menyatakan bahwa kepatuhan terhadap preferensi tidak dijamin dan keputusan untuk mematuhinya diserahkan kepada penerima. Catatan bagi pembaca mengingatkan bahwa isinya belum mencerminkan konsensus kelompok kerja. Salah satu bagian, yang pencantumannya masih tercatat sebagai isu terbuka, menyatakan bahwa mematuhi preferensi pelatihan mencakup penyertaan preferensi yang terkait dengan aset pelatihan bersama model saat model tersebut didistribusikan.

Bagian ucapan terima kasih dalam rancangan sinyal pelatihan menyebut ketua kelompok kerja Mark Nottingham dari Cloudflare dan Suresh Krishnan dari Cisco, editor kosakata Thomson dan Keller, serta direktur area yang bertanggung jawab, Mike Bishop dari Akamai. Bagian itu juga mencantumkan peserta perorangan, dengan afiliasi yang disertakan hanya untuk keperluan identifikasi karena peserta IETF berkontribusi sebagai individu, dari organisasi seperti OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation, dan Creative Commons.

Kontrol Perayap OpenAI yang Sudah Ada

dokumentasi perayap OpenAI, yang menurut perusahaan akan tetap berlaku berdampingan dengan sinyal baru tersebut, menjelaskan bahwa GPTBot adalah agen yang merayapi konten yang mungkin digunakan untuk melatih model fondasi AI generatifnya; melarang GPTBot berarti konten suatu situs tidak boleh digunakan untuk pelatihan tersebut. OAI-SearchBot menampilkan situs web di fitur pencarian ChatGPT. Situs yang memilih untuk tidak mengizinkannya tidak akan ditampilkan dalam jawaban pencarian ChatGPT, meski masih dapat muncul sebagai tautan navigasi. OAI-AdsBot memvalidasi keamanan halaman web yang diajukan sebagai iklan di ChatGPT, dan data yang dikumpulkannya tidak digunakan untuk melatih model fondasi AI generatif. ChatGPT-User menangani kunjungan ke halaman yang dipicu oleh tindakan pengguna di ChatGPT, bukan perayapan otomatis. Dokumentasi tersebut menyebutkan bahwa aturan robots.txt mungkin tidak berlaku untuk kunjungan itu.

Menurut dokumentasi, setiap pengaturan berdiri sendiri. Karena itu, webmaster dapat mengizinkan OAI-SearchBot muncul di hasil pencarian sekaligus melarang GPTBot untuk keperluan pelatihan. Penyesuaian pencarian dapat memerlukan waktu sekitar 24 jam setelah robots.txt suatu situs diperbarui. OpenAI mengatakan akan membagikan detail penerapan sinyal bersama tersebut saat menerapkannya dalam beberapa bulan mendatang.