20 Persen dari Semua Respons Web ‘OK’ yang Diterima AI Ternyata Tidak Oke

Eksperimen terbaru saya dalam pengambilan data web dengan bantuan AI menyadarkan saya bahwa web semakin terkunci. Tentu saja, pemicu pengetatan ini adalah pertumbuhan yang mencengangkan dalam pengambilan data web oleh AI, yang permintaannya akan data baru begitu besar hingga akhirnya dapat membuat situs web tidak bisa diakses.

Ini menjadi alasan yang tepat bagi situs web untuk melakukan hal yang sudah lama ingin dilakukan banyak di antaranya: hanya mengizinkan pengguna yang sudah masuk ke akun untuk mengakses konten (meski, tentu saja, Googlebot biasanya tetap diizinkan mengaksesnya). Facebook menuntaskan penerapan bertahap kebijakan ini pada 2023, dan Twitter/X melakukan hal yang sama pada tahun yang sama. Reddit akan menerapkannya nanti bulan ini.

Dengan demikian, situs web akan lebih mudah mematuhi aturan penegakan batasan usia yang berlaku di negara tertentu, karena pengguna sudah terdaftar. Yang lebih penting, data pengguna dapat disimpan, dimanfaatkan untuk analisis lokal, dan—jika diizinkan oleh undang-undang setempat—dijual kepada broker data dan perusahaan AI.

Di tempat lain, langkah-langkah yang secara khusus ditujukan untuk menangkal bot (alih-alih mendaftarkan pengguna) meningkat lebih dari 58% dibandingkan tahun sebelumnya, menurut Cloudflare; dan meningkatnya aktivitas bot ini tentu mendorong situs web untuk memeriksa dengan saksama alamat VPN dan proksi, yang berpotensi membuat pengguna sah kehilangan akses, bersama dengan lalu lintas apa pun yang dianggap ‘berbahaya’.

Dari pengalaman pribadi, saya semakin sering menghadapi respons pemblokiran atau tantangan, sampai-sampai saya mungkin meninggalkan situs yang mulai menampilkannya; dan karena dinding CAPTCHA terbukti membuat pengguna dan calon pelanggan enggan, kita bisa membayangkan tekanan yang mendorong pemilik situs untuk menerapkannya meski ada dampak buruk tersebut.

CAPTCHA dari archive.is, salah satu dari sekian banyak situs yang menerapkan tantangan, sering kali sebagai respons terhadap permintaan otomatis (bukan dari manusia) yang berlebihan.

Semua hambatan baru dan yang semakin meningkat ini sebagian disebabkan oleh kendala logistik (karena tidak semua situs mampu menahan serbuan tersebut), tetapi sering kali juga merupakan semacam taktik tawar-menawar untuk melihat apakah perusahaan AI akan menawarkan kompensasi tunggal atau kolektif atas semua data yang sangat mereka inginkan dan yang selama ini tersedia gratis, hingga sekarang.

Karena perayap AI harus bekerja dalam skala besar, mereka cenderung menggunakan Chrome dalam mode ‘tanpa antarmuka’ dengan kerangka kerja Playwright. Kini, di semakin banyak situs, cara itu akan menghasilkan galat 403 (‘terlarang’) (artinya, server tahu bahwa Anda adalah lalu lintas otomatis dan menyuruh Anda angkat kaki):

Instalasi lokal changedetection.io mencoba memeriksa sebuah situs, tetapi situs tersebut tidak menyukai peramban terdeteksi yang digunakan oleh kerangka kerja itu, lalu mengirimkan respons 403 (‘Terlarang’).

Yang diinginkan adalah respons klien ‘200’ (‘OK’), sekalipun untuk mendapatkannya kita harus menyerahkan setumpuk uang kepada jaringan proksi residensial, seraya menggunakan beragam trik licik lain yang juga tidak melibatkan manusia.

Tidak ada yang lebih baik daripada respons 200; dengan kata lain, tidak ada kode respons klien yang menandakan hal positif dengan tingkat lebih tinggi. Respons ini juga tidak ambigu; artinya tidak pernah ‘hampir oke’, ‘nanti akan oke’, atau ‘semakin oke’; melainkan ‘oke!’. Jika tidak oke, responsnya bukan 200.

Halo! Pergi Sana

Namun, menurut sebuah makalah baru, ketiadaan perincian ini dapat secara signifikan mendistorsi kumpulan data AI dan estimasi statistik, serta membuat sesuatu dilaporkan berstatus ‘baik’ padahal sebenarnya tidak demikian.

Studi* tersebut memperkirakan bahwa sekitar seperlima respons kategori 200 sama sekali tidak memuat konten halaman yang dapat digunakan, melainkan menyajikan kerangka situs web kosong, tantangan CAPTCHA, pembatasan akses, atau halaman pengganti.

Makalah tersebut menyatakan:

‘20,9% halaman yang diterima klien statis dengan status 200 tidak memuat konten utama halaman: kerangka aplikasi, tantangan untuk bot, halaman pemblokiran, halaman galat dan halaman pengganti, serta konten parsial.’

Dalam hal ini, sistem otomatis yang tidak sabar justru tersandung oleh keterbatasannya sendiri, karena respons ‘200’ dapat dianggap setara dengan pengambilan data yang berhasil, sekalipun hasilnya hanya dinding CAPTCHA, halaman berbayar, atau kendala lainnya.

Makalah tersebut menguraikan tujuh jenis konten yang kerap memperumit respons 200:

Tujuh kategori konten yang sama sekali bukan ‘oke’ dalam respons 200. Sumber

Dalam studi tersebut, selama tiga hari, 10,307 alamat web diuji menggunakan program pengambil data web dasar dan peramban yang mampu memuat JavaScript. Respons diklasifikasikan berdasarkan konten yang diperoleh, bukan berdasarkan kode status HTTP-nya.

Kategori terbesar dari respons 202 yang «tidak dapat digunakan» adalah kerangka situs web kosong serta halaman kesalahan atau pengganti. Keduanya mencakup lebih dari dua pertiga kegagalan.

Pada kerangka situs kosong, sebuah situs web mungkin menampilkan menu dan navigasinya, tetapi membiarkan artikel atau daftar produk yang diminta tetap kosong; dalam kasus lain, halaman yang tidak terkait atau beranda mungkin muncul sebagai pengganti konten yang diminta. Namun, kedua jenis respons tersebut dapat menerima status HTTP 200 yang sama dengan pengambilan berhasil yang menyajikan konten berguna dan bermanfaat.

Sebagai solusi, makalah tersebut merekomendasikan agar alat pengambil data web melaporkan apa yang sebenarnya diperoleh, alih-alih mengandalkan kode status HTTP. Pemeriksaan sederhana terhadap halaman yang ukurannya tidak biasa pendek, pengalihan yang mencurigakan, dan konten yang menyerupai halaman yang tidak ada dapat mengidentifikasi sebagian besar kegagalan.

Alat peramban yang lebih boros sumber daya kemudian dapat digunakan hanya ketika halaman tampaknya gagal dimuat dengan semestinya. Selain itu, evaluasi AI dapat memeriksa apakah sumber yang dikutip benar-benar memuat informasi yang diharapkan, alih-alih menganggap bahwa respons HTTP 200 berarti konten berhasil diperoleh.

Penulis karya baru tersebut juga mencatat bahwa «heuristik murah» dapat dengan mudah mengidentifikasi sekitar 86% respons yang tidak dapat digunakan, melalui pemeriksaan dasar atas panjang halaman, pengalihan, dan kemiripannya dengan halaman yang tidak ada:

Perbandingan strategi pengambilan data web: merender hanya halaman yang ditandai mencurigakan menghasilkan sedikit lebih banyak konten yang dapat digunakan (81.4%) daripada merender setiap halaman (80.3%), sekaligus memangkas waktu pengambilan rata-rata dari 20.6 menjadi 5.8 detik per halaman. 

Mengapa Begitu Banyak Respons 200 yang Keliru?

Selama bertahun-tahun, ada perdebatan di kalangan pengembang bahwa kesalahan 202 («Diterima») («Permintaan diterima, tetapi belum selesai») dapat membedakan permintaan berstatus 200 yang «gagal» ini. Namun, kenyataannya, 202 tidak dapat mencakup semua kasus yang diuraikan dalam makalah baru tersebut, dan tidak ada kode yang sudah tersedia yang dapat melakukannya.

Meskipun makalah tersebut tidak membahas masalah ini secara mendalam, alasan mengapa pemilik domain membiarkan kesalahan 200 mungkin layak diteliti lebih lanjut dalam karya terkait pada masa mendatang.

Salah satu alasannya mungkin karena apa pun yang bukan 200 pada dasarnya merupakan semacam halaman kesalahan atau hambatan, termasuk kesalahan yang paling umum, 404 («tidak ditemukan»)—ketika konten yang dituju memang tidak ada. Sebagian pengguna meyakini bahwa terlalu banyak kesalahan semacam itu akan mengakibatkan penalti SEO (dan, mungkin, GEO), meskipun Google menyangkalnya.

Faktanya, Google menganggap kesalahan 200 sebagai 404 «lunak», dan jelas kemungkinan besar akan memperlakukannya sebagai masalah yang lebih serius daripada kesalahan 404 biasa, karena pada dasarnya hasil tersebut «menyesatkan», baik disengaja maupun tidak.

Pergeseran Sitasi

Jika semua ini terdengar seperti mempermasalahkan hal sepele, pertimbangkan skala data sebesar petabita yang rutin dikumpulkan (atau berupaya dikumpulkan) untuk melatih AI. Jika seperlima penuh dari data itu tidak andal atau benar-benar menyesatkan, dampak lanjutannya sulit dianggap remeh sebagai semacam «ketidakakuratan sampingan»; sebaliknya, respons keliru semacam itu dapat berdampak besar dan merugikan distribusi dalam himpunan data serta hasil pelatihan model AI menggunakan data tersebut.

Sebagai contoh, salah satu masalah penting terkait respons 200 yang keliru adalah «pergeseran sitasi», yaitu ketika jawaban yang dihasilkan AI tidak lagi didukung oleh halaman web yang awalnya dikutip sebagai bukti. Artinya, halaman tersebut mungkin telah berubah, teks yang relevan mungkin telah dihapus, atau tautannya kini mengarah ke tempat lain.

Studi baru tersebut menemukan bahwa pergeseran sitasi yang tampak meningkat dari 5.8% menjadi 21.9% ketika semua respons HTTP 200 diterima sebagai pengambilan yang berhasil, apa pun isi respons tersebut.

Artinya, suatu sumber dapat keliru dinilai telah berubah, hilang, atau tidak lagi mendukung klaim yang dihasilkan AI, hanya karena CAPTCHA, halaman kosong, atau hambatan lain diperoleh sebagai pengganti materi aslinya.

Asal Bilang Saja Begitu!

Masalah ini juga diperlihatkan melalui pengujian yang melibatkan alamat web yang sengaja dibuat tidak ada. Ketika situs web diminta membuka jalur acak yang direkayasa, 13.1% situs yang merespons mengembalikan status 200 («OK»), meskipun halaman yang diminta tidak ada^†.

«13.1% situs yang merespons pengujian jalur acak mengembalikan status 200 (S1 10.5%, S2 13.3%, S3 17.3%, S4 13.7%, S5 13.1%). Berdasarkan definisinya, setiap respons semacam itu merupakan 404 lunak, tetapi tidak semuanya menyatakannya. »

‘Dalam penguraian eksploratif terhadap 172 respons 404 lunak, pemberi label mengategorikan 98 sebagai halaman galat atau halaman pengganti, 32 sebagai kerangka kosong, dan 28 sebagai konten: beranda atau daftar yang disajikan pada jalur acak terbaca seperti halaman biasa.’

Kesimpulan

Jika masalah ini dikenali pada tingkat yang lebih tinggi, IANA barangkali dapat membuat kode status http baru yang lebih sesuai, seperti [X] (‘Permintaan berhasil, tetapi konten yang diminta tidak disampaikan’). Meskipun ini benar-benar menggambarkan apa yang terjadi, hal tersebut tentu memerlukan pemahaman tentang transaksi di sisi host dalam kadar yang rasanya tidak mungkin.

Kode serupa sebenarnya sudah ada, meski tidak ada yang benar-benar cocok: 451 (‘Tidak Tersedia karena Alasan Hukum’) bersifat ambigu dan cukup mengkhawatirkan (!); 206 (‘Konten Parsial’) secara teknis tepat, tetapi ditujukan untuk data yang tidak lengkap (pengambilan data); dan 203 (‘Informasi Nonotoritatif’) yang mengejutkan karena ternyata ada, dibuat pada 1997, dan hanya berkaitan secara tidak langsung dengan kasus penggunaan yang sedang dibahas.

Mungkin kandidat yang paling mendekati justru 103 (‘Petunjuk Awal’), yang namanya kurang intuitif. Kode ini menunjukkan bahwa belum semua sumber daya URL dimuat (meskipun jelas, ini akan menjadi penafsiran yang sangat keliru atas maksud kode tersebut).

* Berjudul ‘Ketika 200 OK Bukan Jawaban: Kegagalan Pengambilan Data Senyap dalam Akuisisi Konten Web Agentik.‘ Perlu diketahui bahwa makalah ini tampaknya ditulis terutama agar dapat dibaca mesin, mungkin untuk ditanyakan kepada AI, dan tidak mudah dipahami jika dibaca langsung.

^†Maaf atas kutipan yang mekanistis ini, tetapi seperti yang saya catat di atas, seluruh makalah ditulis dengan cara seperti ini agar ‘dapat dibaca mesin’, bukan agar dapat ditafsirkan manusia, meskipun makalah ini tidak sampai disajikan dalam format JSON.

Pertama kali diterbitkan pada Rabu, 4 November 2026