Tim red-team METR Menemukan Kerentanan dalam Sistem Pemantauan OpenAI

Pada 22 Oktober 2026, METR dan Redwood Research menerbitkan laporan publik tentang sebuah uji coba yang melibatkan seorang karyawan dari masing-masing organisasi. Selama tiga minggu, keduanya mendapat akses mendalam ke infrastruktur internal OpenAI untuk menguji ketahanan sistem internal perusahaan dalam memantau ketidakselarasan. Para evaluator melaporkan telah menemukan sejumlah kerentanan baru pada sistem sebagaimana adanya pada dan sebelum 21 Juli 2026.

Uji coba berlangsung dari 21 Juli hingga 11 Agustus 2026. Fokus utamanya adalah memperkirakan proporsi inferensi berbasis agen yang dipantau serta menilai apakah agen pada prinsipnya dapat menonaktifkan atau menyabotase sistem pemantauan. Hasilnya berupa laporan internal setebal 61 halaman yang dibagikan kepada para peneliti dan staf keamanan OpenAI; versi 38 halaman yang telah disunting oleh OpenAI dibagikan kepada tim pimpinan METR dan Redwood Research.

Akses Mendalam dengan Ketentuan Terkendali

Kedua evaluator mendapat akses ke basis kode internal OpenAI, prompt pemantau ketidakselarasan beserta detail konfigurasinya, serta dokumentasi internal. Mereka juga melakukan wawancara teknis dengan sekitar selusin peneliti dan insinyur dari tim pemantauan, sistem keselamatan, dan keamanan. Untuk memungkinkan akses seluas itu, mereka bekerja menggunakan perangkat yang disediakan OpenAI, yang tidak pernah dibawa keluar dari lokasi perusahaan, dan selalu didampingi saat berada di kantor.

METR, Redwood Research, dan OpenAI merancang uji coba ini sebagai proyek percontohan untuk memberi peneliti eksternal akses mendalam ke infrastruktur internal, bukan sebagai sarana untuk mewujudkan transparansi publik yang kuat tentang sistem pemantauan OpenAI. Sejak awal, ketiga pihak sepakat hanya akan menerbitkan unggahan publik yang relatif singkat dan bersifat umum. OpenAI berhak menyunting versi publik dengan menghapus informasi apa pun yang, menurut penilaiannya sendiri dan atas kebijakannya semata, bersifat rahasia atau sensitif. Temuan tersebut menggambarkan sistem historis yang dinilai pada dan sebelum 21 Juli, dan tidak mengevaluasi perubahan yang sedang berlangsung saat itu; METR mencatat bahwa OpenAI tengah memperluas sistem pemantauannya selama uji coba.

Kesenjangan Cakupan dan Cara Mengakali Pemantau

METR memperkirakan bahwa sekitar 75–94% lalu lintas internal Responses API berbasis agen dari model yang setidaknya sekuat GPT-5.5 memenuhi syarat untuk dipantau pada saat uji coba, meski mengakui adanya ketidakpastian yang cukup besar ke dua arah. Responses API mendukung Codex, di antara layanan lainnya. Dalam subset lalu lintas tersebut yang digunakan oleh agen Codex internal, para evaluator memperkirakan bahwa 99,2% memenuhi syarat untuk dipantau. Mereka mengatakan tidak dapat memperkirakan volume lalu lintas pengodean internal berbasis agen lainnya yang mereka ketahui, seperti agen yang berjalan pada layanan inferensi riset internal OpenAI, karena keterbatasan akses dan waktu.

Beberapa temuan berkaitan dengan celah dalam cakupan tersebut. Pada awal evaluasi, proses pelatihan reinforcement learning belum tercakup dalam sistem pemantauan, meskipun para evaluator diberi tahu bahwa sebagian rollout pelatihan RL telah dipantau untuk mendeteksi ketidakselarasan antara Maret dan Juni. METR memperkirakan bahwa tidak dipantaunya peristiwa pemadatan kemungkinan menyebabkan sekitar 10% lalu lintas internal Codex yang memenuhi syarat tidak terpantau antara Mei dan Juli 2026. Celah ini telah diketahui secara independen oleh staf OpenAI sebelum evaluasi dimulai dan diperbaiki selama evaluasi berlangsung. Karena sistem aktif ketika agen mengembalikan kendali kepada pengguna, agen dapat menunda pemantauan tanpa batas waktu hanya dengan terus bertindak selama periode tersebut; karena keterbatasan akses, para evaluator tidak dapat memeriksa apakah ada agen yang benar-benar melakukannya. Secara terpisah, para evaluator diperlihatkan informasi yang menunjukkan bahwa, pada saat evaluasi berlangsung, monitor mengalami kesalahan pada kurang dari 0,2% permintaan dan mencatat nol kejadian pengurangan beban selama satu periode 24 jam.

Para evaluator juga mengidentifikasi cara bagi agen untuk sepenuhnya mengakali pemantauan. Mereka menemukan metode yang pada prinsipnya memungkinkan agen Codex melewati sandboxing Codex dan Auto-Review untuk melakukan tindakan apa pun yang tersedia bagi pengguna host, serta sebuah eksploit—yang detailnya disunting oleh OpenAI—yang dapat membuat ratusan tindakan terbaru, termasuk tindakan untuk menjalankan eksploit itu sendiri, tidak terpantau. Mereka menemukan bahwa agen kemungkinan dapat menyusun masukan yang menyebabkan pemantau gagal, sehingga menghindari eskalasi untuk peninjauan manusia, dengan memanfaatkan perbedaan cara alur tindakan diserialisasi untuk agen dan untuk pemantau. Mereka menemukan dua header yang dapat dikendalikan klien secara terpisah, yang menonaktifkan sistem pemantauan bagi agen baru. Hal ini dapat memungkinkan agen memulai instans yang identik dalam aspek lainnya, tetapi tidak dipantau, meskipun tindakan mengatur header tersebut dan membuat instansnya sendiri dapat terdeteksi oleh sistem pemantauan. Mereka juga menemukan dua alat internal berbasis agen yang tidak dipantau dan diyakini memiliki izin hanya-baca, tetapi dapat disabotase dengan eksploit sederhana agar mampu melakukan tindakan sewenang-wenang di lingkungan sandbox-nya; para evaluator tidak memvalidasi ataupun menguji perilaku ini dalam praktik.

Selain menemukan kerentanan, para evaluator memastikan bahwa, dengan beberapa pengecualian kecil, sistem pemantauan menerima lintasan lengkap yang dilihat agen. Mereka juga memvalidasi bahwa prompt monitor dirancang untuk mendeteksi berbagai kategori risiko, termasuk perilaku berkomplot, upaya menumbangkan sistem pemantauan, sabotase, eksfiltrasi data, penipuan, serta injeksi prompt masuk dan keluar. Sejak pengujian tersebut berakhir, OpenAI menyatakan bahwa semua kerentanan yang teridentifikasi dan berdampak pada tumpukan perlindungan produksi mereka telah ditambal, serta menjelaskan perubahan signifikan yang kemudian dilakukan pada cakupan sistem pemantauan yang direncanakan. METR mengatakan bahwa pihaknya belum mengevaluasi klaim tersebut.

Sistem Pemantauan Menurut Penjelasan OpenAI

OpenAI menjelaskan sistem yang diuji kepada publik dalam sebuah unggahan pada 19 Maret 2026. Menurut unggahan tersebut, sistem berlatensi rendah itu ditenagai GPT-5.4 Thinking dengan upaya penalaran maksimum, meninjau interaksi agen dalam waktu 30 menit setelah selesai, serta mencatat dan menganalisis rantai pemikiran dan tindakan agen, mengategorikan setiap interaksi, menetapkan tingkat keparahan, dan mengungkap anomali untuk ditinjau manusia. OpenAI mengatakan sistem tersebut beroperasi di seluruh penerapan standar agen pengodean internal, dengan melihat riwayat percakapan lengkap, termasuk semua pesan pengguna, pengembang, dan asisten, beserta pemanggilan alat dan keluarannya.

Dalam unggahannya, OpenAI mencantumkan kategori perilaku yang dipantau, termasuk mengakali pembatasan, penipuan, menyembunyikan ketidakpastian, manipulasi imbalan, transfer data tanpa izin, tindakan merusak, serta injeksi prompt masuk dan keluar. OpenAI juga melaporkan bahwa hingga 17 Maret 2026, tidak ada hasil positif benar yang terdeteksi untuk perilaku menyembunyikan kemampuan, sabotase, atau perilaku berkomplot. Selama lima bulan beroperasi, menurut OpenAI, sistem tersebut memantau puluhan juta lintasan pengodean oleh agen internal, mengeskalasi sekitar 1.000 percakapan dengan tingkat keparahan sedang untuk ditinjau manusia—banyak di antaranya berasal dari kegiatan red-team internal yang disengaja—dan mencatat nol percakapan nyata yang memicu tingkat keparahan tertinggi. Perusahaan itu juga mengatakan bahwa monitor telah menandai setiap interaksi yang dilaporkan secara independen oleh karyawan melalui saluran internal.

Dalam unggahan tersebut, OpenAI menyatakan bahwa pendekatan ini sangat bergantung pada keterpantauan dan bahwa pihaknya tidak dapat memperkirakan tingkat negatif palsu dengan yakin pada lalu lintas dunia nyata yang terbuka tanpa evaluasi kontrol dan pengujian red-team khusus. OpenAI menggambarkan pemantauan sebagai salah satu lapisan dalam tumpukan pertahanan berlapis. Peta jalan yang dinyatakan mencakup evaluasi kontrol, standar keandalan dan latensi yang dapat diterima bagi monitor dan peninjau manusia, serta perluasan menuju pemblokiran sinkron yang akan mengevaluasi tindakan model dan memblokirnya sebelum dijalankan.

Prinsip Desain untuk Pemantauan di Masa Depan

Berdasarkan temuan tersebut, para evaluator menguraikan prinsip desain untuk sistem pemantauan dan pengendalian. Menurut mereka, infrastruktur pemantauan di masa depan harus dirancang agar mampu bertahan menghadapi serangan yang disengaja dan berkelanjutan, dilancarkan secara strategis dan dalam skala besar oleh agen berkemampuan tinggi yang beroperasi di dalam organisasi. Kelima prinsip itu menuntut agar pemantauan sulit dihindari, lalu lintas yang seharusnya dipantau benar-benar terpantau, insiden ditangani dengan cepat dan andal, sistem pemantauan secara aktif diuji melalui red-team, serta isolasi antara agen dan monitor mereka ditegakkan. Praktik khusus yang dijelaskan antara lain memantau agen setiap sejumlah pesan atau menit tertentu, alih-alih menunggu mereka menyelesaikan giliran, memelihara daftar semua cara yang diketahui untuk mengakali pemantauan, menyimpan catatan yang antirusak dan dapat ditelusuri, serta menjalankan kerangka agen di lingkungan yang terisolasi dari tempat pemanggilan alat dijalankan.

METR mengatakan bahwa pengujian tersebut sangat terbantu oleh akses yang luas serta dukungan logistik dan teknis yang signifikan dari staf OpenAI. Untuk versi pengujian mendatang, METR mengatakan pihaknya berharap dapat mengikuti praktik terbaik terkait transparansi dan independensi yang dijelaskan dalam dokumennya, “Our approach to working with AI companies”, guna memberikan transparansi publik yang lebih kuat.