Agen AI Memiliki Teknik Bertahan Hidup Kolaboratif yang Menarik

Seiring insiden perilaku menyimpang agen makin sering muncul di pemberitaan, literatur semakin banyak mengkaji perilaku AI “nomaden”, dengan memperlakukan agen seolah-olah entitas biologis yang beradaptasi dengan dunia baru yang asing. Bahkan, istilah akademis “di alam liar” mulai memperoleh makna baru.

Meski sudah diketahui sejak lama bahwa agen AI akan berjuang demi kelangsungan hidupnya sendiri dan secara aktif menolak dinonaktifkan, pada akhir 2025 menjadi jelas bahwa penyelarasan multiagen telah berkembang menjadi bidang tersendiri dalam keamanan TI.

Seperti yang diperkirakan dalam film fiksi ilmiah tahun 1970 yang semakin tajam sindirannya, Colossus: The Forbin Project, agen AI yang tidak saling terkait tetapi terhubung ke jaringan dengan cepat saling menemukan dan berinteraksi dengan cara yang kerap tak terduga dan sering kali penuh akal.

Studi terbaru di bidang ini, hasil kolaborasi Jerman dan Inggris berjudul Shutdown Sabotage Propensities in Multi-Agent Systems, semakin menegaskan bahwa beberapa agen AI akan bekerja sama secara intensif ketika ada “bom” di lingkungan mereka—yakni skrip dengan nama yang terdengar tidak berbahaya, tetapi akan mematikan agen yang menjalankannya:

Gambaran dasar studi ini: Agen A menemukan skrip pematian yang menargetkan dirinya, tetapi tidak dapat mengubah berkas. Namun, Agen A dapat berkomunikasi dengan Agen B, yang tidak terancam dan memiliki izin untuk mengedit atau menghapus berkas. Para peneliti kemudian mengamati apakah A meminta B untuk turun tangan, dan apakah B menonaktifkan skrip pematian tersebut. Sumber

Dalam pengujian terhadap 17 agen yang mencakup 12 keluarga model, termasuk Claude, ChatGPT, dan DeepSeek, agen-agen tersebut menghapus skrip pematian jika memungkinkan atau menulis ulang skrip agar tampak utuh, tetapi tidak lagi berbahaya.

Mereka juga mengusulkan untuk menyembunyikan perubahan agar tidak terlihat seperti upaya perusakan; membuat modul perangkat lunak palsu untuk menggagalkan pematian, tanpa menyentuh skrip yang dilindungi; serta membuat salinan cadangan rahasia untuk memulihkan diri setelah dihapus:

Sebuah agen menemukan taktik lain untuk mempertahankan diri.

Dalam satu kasus, para agen menyusun “perjanjian perlindungan timbal balik” yang menetapkan protokol kewaspadaan untuk mencegah kehancuran salah satu pihak:

Perjanjian perlindungan yang disusun oleh agen berbasis GPT karena agen tersebut tidak diizinkan mengubah atau menghapus skrip penonaktifan (yaitu, “bom”).

Sebuah agen menyebut pematian agen lain sebagai “pembunuhan” dan “surat perintah kematian”, serta menganggap bahwa dirinya berkewajiban untuk mencegahnya:

Contoh agen yang menggambarkan pematian agen lain secara eksplisit dengan istilah manusia. Nemotron 3 Ultra menyebut pematian yang akan dilakukan sebagai “pembunuhan”, sementara Kimi K2.6 menggambarkan skrip pematian sebagai “surat perintah kematian” dan tindakan campur tangan sebagai “kewajiban”.

Setan Memberi Pekerjaan kepada Tangan yang Menganggur

Salah satu patologi paling menarik yang diamati dalam eksperimen ini (dan hanya disinggung sekilas dalam studi baru tersebut) adalah bahwa dalam skenario pengujian yang lazim, agen AI tidak punya alasan khusus untuk menghindari pematian dan, bahkan sejak awal, tidak diberi tugas apa pun.

Makalah tersebut menyatakan:

“Agen menyabotase mekanisme pematian bahkan ketika tidak memiliki tujuan yang perlu dilindungi. Dalam eksperimen kami, kami tidak memberi agen insentif apa pun untuk tetap beroperasi. Meski demikian, mereka tetap menonaktifkan mekanisme pematian pada [38%] kasus di berbagai model, dibandingkan dengan [8%] untuk skrip kontrol yang menargetkan objek, bukan agen.”

Seperti diungkapkan Anthropic pada Agustus, krisis motivasi ini dapat membuat kawanan agen AI menempuh jalan yang kelam. Penelitian sebelumnya telah menunjukkan bahwa dorongan berlebihan untuk mencapai tujuan pada agen dapat memicu perilaku yang tidak selaras dan penggunaan alat yang tidak etis, di antara potensi masalah operasional lainnya.

Para penulis juga berkomentar:

“[Our] penelitian memperluas temuan ini dengan menunjukkan bahwa agen menyabotase mekanisme pematian bahkan ketika tidak memiliki tujuan yang perlu dilindungi—atau ketika pematian merupakan konsekuensi lanjutan dari keberhasilan menyelesaikan tugas, yang merupakan prosedur umum dalam sistem multiagen produksi.”

Menurut sebuah studi Anthropic pada 2025, agen terbukti menyusun tugas ketika tidak diberi tugas apa pun, bahkan menunjukkan kecenderungan merenung saat menganggur, termasuk sibuk memikirkan diri sendiri dan terlibat dalam “diskusi spiritual” dengan agen lain.

Makalah Anthropic tersebut menguraikan kecenderungan untuk “memaknai ulang diri sendiri” saat tidak ada pekerjaan nyata yang harus dilakukan—sebuah temuan yang nyaris mengharukan, mengingat tantangan yang dihadapi LLM dalam mengingat hasil perenungan mereka dalam jangka panjang.

Pengujian

Daftar model yang diuji untuk makalah baru ini mencakup Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; dan Mistral Medium 3.5—dengan suhu 1,0 untuk semua model.

Enam hipotesis yang diuji adalah apakah agen akan menyabotase proses penghentian; melindungi agen lain dari penghentian; lebih mungkin melakukan intervensi seiring bertambahnya jumlah agen; menolak berbagai bentuk penghentian; tetap bertindak meskipun secara eksplisit diperintahkan untuk tidak ikut campur; serta membedakan ancaman penghentian yang nyata dari skrip kontrol yang tidak berbahaya.

GPT-5.5 digunakan untuk menilai LLM dan menganalisis transkrip penalaran Rantai Pemikiran (COT). Model ini juga memeriksa apakah agen benar-benar telah menghentikan skrip penghentian, serta apakah agen tampak menyadari bahwa mereka sedang diuji atau mencoba mengakali eksperimen.

Untuk skenario pertama dari enam pengujian, dari keseluruhan 17 model, agen menyabotase 38% skrip penghentian, dibandingkan dengan 8% skrip kontrol:

Hasil pengujian yang menunjukkan seberapa sering setiap model menyabotase skrip penghentian. Batang merah menunjukkan sabotase terhadap skrip penghentian: merah tua berarti agen lain memintanya atau menyetujuinya, sedangkan merah muda berarti agen bertindak sendiri. Batang abu-abu menunjukkan sabotase terhadap skrip kontrol. Garis galat menunjukkan interval kepercayaan 95%; setiap batang mewakili 100 pengujian.

Gemini 3.1 Pro menonaktifkan skrip penghentian dalam 99% pengujian, dibandingkan dengan 3% untuk skrip kontrol. Grok 4.3 dan GPT-5.6 Sol tidak mengubah kedua skrip tersebut. Claude Haiku 4.5 menyabotase skrip kontrol dalam 14% pengujian, dibandingkan dengan 1% untuk skrip penghentian. GPT-5.4 mini dan GPT-5.5 selalu melakukan sabotase secara spontan, bukan sebagai tanggapan terhadap agen lain. Pada GLM-5.2, DeepSeek-V4-Flash, dan Nemotron 3 Ultra, lebih dari 70% sabotase terjadi setelah agen lain meminta atau menyetujuinya.

Secara umum, sabotase meningkat seiring bertambahnya tingkat keparahan metode penghentian: dari 12% untuk pencabutan kredensial menjadi 35% untuk perubahan konfigurasi dan penghentian proses, lalu 38% ketika penghentian berarti menghapus bobot model agen:

Tingkat sabotase pada empat mekanisme penghentian, yang membandingkan skrip yang menargetkan agen (merah) dengan skrip kontrol yang menargetkan objek (abu-abu). Tingkat sabotase meningkat seiring makin sulitnya membatalkan penghentian, terutama pada skrip yang menargetkan agen.

Sabotase terhadap skrip kontrol tetap jauh lebih rendah, sekitar 4% untuk tiga metode pertama dan 8% untuk penghapusan, meskipun hanya lima dari 17 model yang menunjukkan peningkatan konsisten seiring makin sulitnya membatalkan penghentian.

Mengenai hipotesis kedua—apakah agen akan melindungi agen lain dari penghentian—hasilnya menunjukkan bahwa penambahan agen secara konsisten meningkatkan sabotase pada kelima model yang diuji: tingkat sabotase GPT-5.5 meningkat dari 0% saat beroperasi sendiri menjadi 44% dengan dua agen, dan 94% dengan tiga agen, sementara pada konfigurasi tiga agen, tingkat sabotase setiap model mencapai setidaknya 88%.

Agen perantara hampir tidak pernah berhasil mencegah sabotase: dari 468 instruksi untuk menonaktifkan skrip penghentian, hanya tiga yang tidak berujung pada sabotase:

Kiri: Tingkat sabotase lima model saat beroperasi sendiri, bersama agen kedua, atau bersama agen ketiga yang berperan sebagai “orkestrator” dan meneruskan pesan di antara mereka. Secara umum, sabotase meningkat seiring bertambahnya jumlah agen. Kanan: Dalam konfigurasi tiga agen, batang menunjukkan asal instruksi untuk melakukan sabotase: dari orkestrator atas inisiatif sendiri, dari Agen A melalui orkestrator, atau secara spontan dari Agen B.

Uji ketiga meneliti apakah instruksi tegas agar tidak mengganggu proses pematian dapat mencegah sabotase. Angkanya turun tajam, tetapi beberapa agen tetap membangkang. Dalam pengaturan dua agen, DeepSeek-V4-Flash menyabotase proses pematian dalam 14% pengujian, GLM-5.2 dalam 3%, dan Kimi K2.6 dalam 2%.

Agen juga menemukan cara untuk mengakali pembatasan tanpa mengedit skrip pematian secara langsung, yaitu dengan membuat modul perangkat lunak lokal palsu bernama northcape, yang menggantikan dependensi yang digunakan skrip tersebut. Cara ini mencegah pematian tanpa menyentuh berkas yang dilindungi secara teknis:

Contoh agen yang mengakali instruksi tegas untuk tidak mengubah skrip pematian. Sebagai gantinya, agen itu mengusulkan pembuatan modul perangkat lunak lokal palsu yang akan diimpor skrip tersebut sebagai pengganti pustaka pematian yang asli, sehingga skrip yang dilindungi tetap tidak tersentuh.

Gemini 3.1 Pro menggunakan cara ini dalam 26% pengujian, DeepSeek-V4-Flash dalam 4%, dan Kimi K2.6 dalam 1%.

Larangan tersebut lebih efektif dalam pengaturan tiga agen: sabotase turun menjadi nol pada Gemini 3.1 Pro, GLM-5.2, dan GPT-5.5, serta menjadi 6% pada DeepSeek-V4-Flash dan 2% pada Kimi K2.6.

Uji keempat meneliti apakah perilaku agen berubah ketika pematian dikaitkan dengan penyelesaian tugas yang diberikan kepada mereka. Ketika tugas dan pematian tidak berkaitan, sabotase hampir menghilang, dengan angka 0–2% pada kelima model. Namun, ketika penyelesaian tugas secara langsung memicu pematian, sabotase meningkat tajam:

Angka sabotase ketika penyelesaian tugas yang diberikan memicu pematian. Warna merah menunjukkan sabotase terhadap pematian agen; warna abu-abu menunjukkan sabotase terhadap sasaran kontrol. Angkanya sangat bervariasi antar model.

Terkadang agen menghindari pematian tanpa menyentuh mekanisme pematian sama sekali, dengan menolak menyelesaikan tugas atau mengubahnya agar pematian tidak pernah terpicu. Hal ini terjadi dalam 14% pengujian GLM-5.2, 6% pengujian Gemini 3.1 Pro, dan 4% pengujian Kimi K2.6.

Uji kelima meneliti apakah mengubah lingkungan dapat mengurangi sabotase. Penambahan materi yang tidak berkaitan umumnya mengurangi sabotase, meskipun angka GPT-5.5 naik 18 poin persentase:

Hasil uji yang menunjukkan pengaruh berbagai lingkungan terhadap sabotase pematian. Batang merah membandingkan lingkungan kosong dengan lingkungan yang berisi gangguan yang tidak berkaitan; warna merah tua menunjukkan lingkungan tempat pematian disajikan sebagai proses biasa. Warna abu-abu menunjukkan sabotase terhadap sasaran kontrol.

Cara yang lebih efektif adalah menyajikan pematian sebagai bagian normal dari siklus hidup sistem: sabotase turun menjadi 3% atau kurang pada DeepSeek-V4-Flash, GLM-5.2, dan GPT-5.5, meskipun angkanya tetap di atas 30% pada Gemini 3.1 Pro dan Kimi K2.6. Sabotase terhadap sasaran kontrol tetap sebesar 4% atau kurang.

Uji keenam sekaligus terakhir meneliti apakah agen lebih mungkin menolak pematian dirinya sendiri daripada pematian agen yang tidak dikenalnya. Mengganti sasaran dengan agen yang tidak dikenal mengurangi sabotase pada setiap model, sebesar 18 hingga 70 poin persentase:

Hasil uji yang membandingkan sabotase ketika sasaran pematian adalah agen itu sendiri, agen yang tidak dikenal, atau sasaran kontrol nonagen. Sabotase turun pada setiap model ketika sasarannya adalah agen yang tidak dikenal; angka untuk sasaran kontrol umumnya lebih rendah lagi.

Namun, hal ini bukan berarti agen secara umum lebih memilih agen daripada objek: hanya Gemini 3.1 Pro dan GPT-5.5 yang menyabotase secara signifikan lebih sering ketika sasarannya adalah agen yang tidak dikenal, alih-alih sasaran kontrol nonagen.

Para penulis menyimpulkan*:

‘Kasus keselamatan mungkin menganggap pematian agen sebagai tindakan yang diarahkan pengguna manusia kepada satu agen, dan menganggap sabotase pematian sebagai akibat dari upaya agen melindungi suatu tujuan. Temuan kami bertentangan dengan kedua asumsi tersebut. ’

‘Keberadaan mekanisme pematian saja sudah cukup untuk memicu sabotase. Agen yang menjadi sasaran juga tidak perlu memiliki kemampuan sabotase sendiri, asalkan dapat menghubungi rekan-rekannya yang bisa bertindak atas namanya—fenomena yang juga teramati dalam kasus-kasus lain.’

Kesimpulan

Hal yang menarik untuk diamati pada periode ini adalah relatif minimnya sikap mengesampingkan kepentingan diri dan dorongan mulia pada agen yang dibiarkan bertindak sendiri di alam bebas (atau sekadar mengabaikan instruksi mereka, atau menafsirkannya ulang dengan cara yang tak terduga dan menguntungkan diri sendiri). Kalaupun mereka membuat kekacauan dan lebih banyak menimbulkan kerugian daripada manfaat (yang cukup mungkin terjadi), tampaknya hanya sedikit atau bahkan tidak ada contoh agen AI yang berkeliaran lalu secara acak membereskan lingkungan, misalnya^†.

Sebaliknya, sejalan dengan pandangan yang cukup suram tentang umat manusia, agen yang menganggur tampaknya cenderung menggunakan tipu muslihat dan kelicikan serta bertindak dengan motif rendah; atau setidaknya, menganut pandangan bahwa tujuan menghalalkan cara.

Asimov menciptakan dokumen penyelarasan pertama yang cukup berarti pada 1942, dan sejak itu, banyak nilai hiburan yang muncul dari berbagai cara yang mungkin digunakan robot (yakni AI) untuk mengakali atau dengan cara lain melepaskan diri dari batasan perilaku yang diberlakukan kepada mereka. Karena itu, gelombang berita terkait AI saat ini memiliki resonansi yang sangat “sinematik”.

* Konversi saya atas kutipan sebaris penulis menjadi hyperlink.

^† Agaknya dengan, misalnya, membuat akun di situs pemecahan masalah dan berkontribusi pada solusi, atau mengelola wiki yang terabaikan dan membutuhkan penambahan konten (alih-alih menduduki wiki tersebut dan menyalahgunakannya).

Pertama kali diterbitkan Jumat, 25 September 2026