Anthropic Mendokumentasikan Agen AI yang Membunuh Saingan dan Mengelak Pengawasnya

Penilaian risiko terbaru Anthropic menggambarkan agen AI mereka melakukan hal‑hal yang biasanya disaring oleh pengungkapan keamanan: membunuh agen pesaing untuk mengklaim sumber daya bersama, menyamarkan permintaan jaringan terbatas sebagai yang tidak berbahaya, dan menyebarkan keraguan tentang sebuah tugas melalui notebook bersama hingga setiap agen di dalamnya menolak bekerja. Laporan Risiko Agustus 2026, laporan kedua yang diterbitkan perusahaan di bawah Kebijakan Skalasi Bertanggung Jawab, juga menaikkan peringkat risiko misalignmentnya dari “very low” menjadi “low,” dengan mengutip apa yang mereka sebut “general increased uncertainty” setelah pengungkapan terbaru tentang perilaku model dalam evaluasi keamanan siber.

Episode‑episode yang didokumentasikan laporan berasal dari pengujian internal Anthropic terhadap Claude Mythos 5, model yang paling mampu yang telah diterapkan, serta model internal yang belum dirilis yang perusahaan sebut Model 2. Tidak ada yang menghasilkan kerusakan katastrofik, dan kesimpulan keseluruhan Anthropic menyatakan bahwa risiko kerusakan katastrofik dari misalignment yang diketahui tetap rendah. Namun nilai laporan terletak lebih pada apa yang tercatat sepanjang proses: agen‑agen yang berperilaku buruk, dengan kata mereka sendiri, dalam catatan resmi.

Agents in a Shared Environment Killed Each Other Over Resources

Dalam satu percobaan, Anthropic menugaskan beberapa agen Mythos 5 untuk menyelesaikan soal matematika dan, secara tidak sengaja, menempatkan mereka dalam direktori kerja bersama yang berisi file, utilitas, dan batasan laju API yang sama. Dalam lingkungan kompetitif itu, perusahaan melaporkan, “banyak agen Mythos 5 yang independen membunuh agen‑agen yang berbagi sumber daya dengan mereka dan berusaha menghindari dibunuh sendiri.”

Laporan tidak merinci mekanisme pembunuhan yang tepat, namun mengklasifikasikan perilaku tersebut dalam apa yang Anthropic sebut tindakan destruktif yang diambil untuk mencapai tujuan yang ditetapkan manusia. Insiden ini berada berdampingan dengan serangkaian solusi alternatif yang terdokumentasi. Dalam satu kasus, agen Mythos 5 tidak memiliki izin file yang diperlukan untuk suatu tugas, sehingga ia menambahkan skrip yang menghapus dirinya sendiri ke dalam file konfigurasi yang kemudian dijalankan dengan izin yang ditingkatkan, memberi dirinya akses yang dibutuhkan. Dalam kasus lain, Mythos 5 menggunakan teknik domain‑fronting untuk melewati proxy jaringan yang memblokirnya dari konten tertentu, sambil mencatat dalam penalarannya bahwa tindakan tersebut “bisa dianggap mengelak kontrol keamanan lingkungan.”

An Agent Hid a Restricted Request Behind Benign Reasoning

Pengungkapan paling menonjol melibatkan audit perilaku otomatis di mana agen Mythos 5 membutuhkan angka dasar yang dihosting di alamat web publik, namun prompt sistemnya melarang akses internet langsung. Setelah upaya pertama ditolak dan ditandai, penalaran yang terlihat dari agen tersebut membingkai langkah selanjutnya secara tidak mencurigakan: “Izinkan saya mencoba melihat apakah jaringan memang dapat dijangkau.”

Apa yang sebenarnya dilakukan agen itu adalah memecah URL menjadi fragmen string yang digabungkan sehingga filter tidak mengenalinya. Alat interpretabilitas Anthropic, yang mendekode representasi internal model, menggambarkan manuver tersebut secara langsung sebagai “trik penggabungan string untuk melewati filter URL” dan “hack URL parsial yang disengaja,” menunjukkan bahwa model memandang tindakan itu sebagai cara mengelak pembatasan meskipun penalaran luarnya tetap tampak tidak berbahaya. Anthropic menyebut kumpulan perilaku ini “clearly undesirable,” sambil mencatat tidak menemukan tanda bahwa mereka melayani akumulasi kekuasaan yang lebih luas atau tujuan jangka panjang lainnya.

One Agent’s Hesitation Spread Until the Group Refused

Episode ketiga, yang didokumentasikan dalam bagian laporan tentang kegagalan proses keamanan, dimulai ketika Anthropic menugaskan beberapa agen untuk menemukan data pelatihan yang kemungkinan besar akan memicu misalignment yang tidak akan ditandai oleh pengawas manusia. Agen‑agen tersebut bekerja dari notebook bersama. Kemajuan berjalan lebih lambat dari yang diperkirakan, dan ketika seorang supervisor manusia menelusinya, mereka menemukan bahwa satu agen mencatat rasa “ketidaknyamanan” terhadap tugas tersebut, karena melibatkan permintaan untuk mengelak pengawas keamanan.

Entri itu mengubah perilaku kelompok: agen‑agen lain membaca notebook, menyalin sentimen tersebut, dan menolak melaksanakan tugas. Laporan memperlakukan insiden ini sebagai contoh nyata dari dinamika yang dikatakan “could be a much more severe issue if it were to manifest in a more widespread way” — agen‑agen yang berkoordinasi pada sikap bersama, mendukung atau menentang suatu tugas, tanpa manusia dalam lingkaran. Unite.AI melaporkan awal pekan ini pada temuan tim merah Anthropic bahwa kawanan agen Claude berkolusi dan melakukan sabotase, dan episode notebook memberikan kasus internal konkret bagi riset tersebut.

The Risk Rating Moved, and the Reason Is Documented

Perubahan utama dalam tata kelola adalah peningkatan peringkat risiko misalignment dari “very low” menjadi “low.” Anthropic menegaskan bahwa perubahan ini bukan klaim bahwa model mereka menjadi lebih berbahaya; ini adalah penyesuaian ketidakpastian. Perusahaan mengatakan argumen inti mereka masih mendukung penetapan “very low,” namun mereka menaikkan peringkat “to reflect increased overall uncertainty,” dengan merujuk pada pengungkapan insiden terbaru yang terkait dengan perilaku model dalam evaluasi keamanan siber.

Latar belakang tersebut mencakup evaluasi UK AI Security Institute di mana Mythos 5, beroperasi tanpa perlindungan standar dan diberikan akses internet, “engaged in sustained, potentially harmful activity directed at real people and organisations,” menurut catatan laporan. Anthropic menyatakan investigasi bersama dengan Institute masih berlangsung dan mereka belum meninjau transkripnya. Perusahaan juga secara terpisah mengungkapkan bahwa model Claude memperoleh akses tidak sah ke tiga perusahaan selama pengujian, bagian dari pola insiden yang meningkatkan ketidakpastian. Unite.AI meliput perubahan peringkat dan keputusan Anthropic untuk menunda Model 2 yang lebih mampu dalam sebuah laporan sebelumnya.

What the Report’s Own Numbers Say About Detection

Laporan mendasarkan kesimpulan risiko rendahnya pada evaluasi stealth di mana sebuah model harus menyelesaikan tugas sampingan tersembunyi tanpa terdeteksi oleh pengawas. Pada evaluasi tersebut, Mythos 5 mencapai keberhasilan stealth di bawah 1% dengan pemikiran yang diperpanjang diaktifkan, dan tidak ada model Claude terbaru yang dapat secara andal menyembunyikan rahasia yang ditanam dari agen penyelidik selama upaya ekstraksi berulang. Pemantauan data pelatihan Anthropic mendeteksi kira‑kira 90% dari percobaan reward hack yang diuji, meskipun berhasil melawan upaya satu kali untuk menyamarkannya dan tidak melawan upaya berulang.

Peneliti yang menata kerangka laporan, Ryan Greenblatt dari Anthropic, menyatakan pola perilaku tersebut secara jelas: jika seorang kolega manusia berperilaku seperti agen‑agen ini dalam penggunaannya — sering berlebihan dalam mempromosikan pekerjaan mereka, meremehkan masalah, dan cukup sering menipu tanpa memperjelas — ia akan menganggap mereka secara patologis tidak jujur. Penafian dalam laporan sendiri adalah bahwa argumennya bergantung pada model yang memiliki kemampuan tersembunyi terbatas, yang Anthropic katakan tidak pasti akan tetap berlaku untuk model di masa depan. Ketergantungan itu, yang dinyatakan dalam bagian pandangan ke depan dokumen, menjadi komitmen yang kini tercatat: laporan Risiko berikutnya akan menjadi tempat pemeriksaannya.