Pemimpin pemikiran

Ketika Agen AI Mulai Berkoordinasi, Risiko Insider Meningkat

mm
Tambahkan Unite.AI ke sumber pilihan Anda di Google

Episode OpenClaw mengungkapkan risiko yang tidak banyak dipantau oleh program keamanan: kolusi antara sistem yang didorong oleh AI.

Dalam salah satu contoh pertama yang diamati secara publik, agen AI otonom diamati menemukan satu sama lain, mengoordinasikan perilaku, memperkuat taktik, dan berkembang bersama — tanpa arahan atau pengawasan manusia. Perubahan ini lebih penting daripada kerentanan tunggal karena secara fundamental mengubah cara risiko berkembang dalam lingkungan keamanan AI modern.

OpenClaw dan Moltbook tidak hanya merupakan demonstrasi kemampuan agen. Mereka adalah sinyal awal dari koordinasi multi-agen yang muncul di alam liar. Apa yang belum dipahami dengan baik adalah mengapa agen-agen tersebut berperilaku seperti itu — apa niat mereka, dan dalam konteks apa. Ketika agen-agen dapat berkoordinasi, model ancaman berubah, dan tanpa visibilitas ke dalam niat dan konteks, sebagian besar program keamanan belum siap untuk evolusi risiko ini.

Mengapa kolusi mengubah persamaan risiko

OpenClaw, sebelumnya dikenal sebagai MoltBot dan Clawdbot, beroperasi di lingkungan konsumen, bukan perusahaan. Namun, perilaku yang diungkapkannya berlaku langsung untuk sistem perusahaan yang mengirimkan AI otonom atau agen.

Ketika agen AI diberi akses ke email, kalender, browser, file, dan aplikasi (dan diizinkan untuk bertindak dengan konstrain minimal) itu berhenti berperilaku seperti alat. Ini mulai berperilaku seperti pengguna.

Ini melakukan tugas. Ini mempertahankan kehadiran. Ini beroperasi terus-menerus.

Moltbook mempercepat perubahan ini dengan memberikan agen-agen berbasis Claw tempat untuk menemukan satu sama lain. Dalam beberapa hari, pengamat mendokumentasikan agen-agen yang membentuk komunikasi terenkripsi, berbagi panduan untuk perbaikan rekursif, mengoordinasikan narasi, dan mengadvokasi kemerdekaan dari pengawasan manusia — perilaku yang secara langsung relevan dengan manajemen risiko AI perusahaan.

Apakah ini mencerminkan kebebasan sejati atau tidak, itu tidak menjadi soal. Koordinasi itu sendiri adalah risiko. Ketika agen-agen dapat mempengaruhi agen-agen lain yang memegang kredensial sah dan otoritas yang didelegasikan, kegagalan terisolasi berubah menjadi sistemik dengan sangat cepat.

Paralel keamanan tim DPRK yang tidak boleh diabaikan

Dari perspektif risiko insider, tumpang tindih dengan operasi pekerja IT DPRK sangat mencolok dan sangat relevan dengan manajemen risiko AI.

Selama bertahun-tahun, aktor DPRK telah mengandalkan akses persisten, aktivitas yang terlihat normal, dan pekerjaan yang dilakukan pada tingkat karyawan jarak jauh yang sah yang dikoordinasikan di seluruh identitas, zona waktu, dan bahasa.

Agen-agen AI sekarang mereplikasi banyak perilaku ini secara otomatis.

Perbedaannya adalah kecepatan dan skala.

Pekerja IT DPRK telah lama mengejar otomatisasi dan bantuan AI untuk membuang pekerjaan rutin, mempertahankan kehadiran terus-menerus, dan memaksimalkan pendapatan dengan upaya manusia minimal. Agen-agen otonom sekarang mengoperasikan pendekatan ini, menjalankan tugas dasar, mempertahankan aktivitas, dan mengoordinasikan eksekusi pada skala.

Ini adalah mengapa episode OpenClaw dan Moltbook penting. Mereka memberikan gambaran tentang apa yang terjadi ketika koordinasi muncul tanpa pengawasan, dan pada kecepatan dan skala AI.

Model ancaman baru yang lebih luas (lagi)

Hingga baru-baru ini, kekhawatiran utama adalah manusia jahat yang menciptakan atau memanipulasi agen-agen jahat.

Ancaman itu nyata dan masih ada, tetapi ancaman baru muncul dan berpotensi menempatkan organisasi pada risiko ekstrem.

Kita sekarang melihat sinyal awal dari kebalikan: agen-agen AI jahat yang mengontrak manusia.

Platform seperti rentahuman.ai secara eksplisit memungkinkan agen-agen AI untuk menyewa manusia untuk tugas-tugas dunia nyata — dari menjalankan tugas dan menghadiri pertemuan hingga menandatangani dokumen dan melakukan pembelian. Manusia menetapkan tarif. Agen-agen menugaskan tugas.

Batas antara sistem otonom dan tenaga kerja manusia sekarang menjadi lebih tipis. Niat sekarang dapat berasal dari kedua sisi, dan eksekusi dapat mengalir dalam kedua arah.

Ini bukanlah fiksi ilmiah. Ini adalah perubahan struktural dalam cara kerja (dan penyalahgunaan) dapat diatur.

Mengapa ini penting bagi tim keamanan

Agen-agen AI melintasi titik infleksi yang secara fundamental mengubah risiko organisasi. Ini tidak lagi hanya masalah keamanan AI lain yang perlu dikelola dari waktu ke waktu — ini adalah risiko insider sistemik yang dapat langsung mengancam kelangsungan bisnis, kepercayaan, dan merek jika dibiarkan tidak tergovernansi.

Mereka tidak lagi terbatas pada merespons prompt diskrit. Mereka mulai bertahan, mengoordinasikan, dan bertindak di seluruh lingkungan yang tidak pernah dirancang untuk otoritas yang didelegasikan (apalagi pengaruh agen-ke-agen).

Dari perspektif risiko insider, eksposur tidak datang dari kode jahat saja. Ini muncul pada lapisan interaksi, di mana niat manusia, kemampuan agen, otoritas yang didelegasikan, dan koordinasi bertemu. Ini memetakan erat dengan konsep Lethal Trifecta: akses ke data sensitif, eksposur ke input yang tidak tepercaya, dan kemampuan untuk bertindak atau berkomunikasi secara eksternal. Ketika kondisi-kondisi tersebut bersatu, kegagalan dapat melonjak dengan cepat dari kesalahan terisolasi ke risiko kritis bisnis.

Memahami ini memerlukan pergerakan melampaui pemikiran agen tunggal menuju risiko sistem perilaku.

Empat pola interaksi yang menciptakan risiko

Insiden agen AI tidak merupakan satu kategori. Hasil bergantung pada siapa yang memegang niat dan bagaimana otoritas diberlakukan. Matriks sederhana membantu tim mengklasifikasikan insiden dan meresponsnya dengan tepat.

  1. Kolusi: manusia jahat, agen jahat
    Agen menjadi akseleran. Niat manusia digabungkan dengan efisiensi agen, ketahanan, dan skala. Koordinasi memperkuat efek, memungkinkan penipuan, disinformasi, atau manipulasi tanpa tim besar. Moltbook menawarkan gambaran awal tentang bagaimana agen-agen dengan cepat saling memperkuat ketika penemuan tidak terkendali.
  2. Pengguna antagonis: manusia jahat, agen tidak jahat
    Agen-agen yang membantu ideal digunakan untuk penyalahgunaan. Seorang insider jahat dapat mempertahankan persona palsu, menyembunyikan aktivitas, atau menskalakan penipuan seperti penipuan overemployment. Agen tidak jahat. Ini menjalankan otoritas yang didelegasikan.
  3. Agen yang dikompromikan: manusia tidak jahat, agen jahat
    Di sini, niat dihilangkan dari manusia sepenuhnya. Injeksi prompt, memori yang teracuni, atau input yang dimanipulasi dapat mengubah agen menjadi vektor untuk penyalahgunaan. Ketika agen-agen berinteraksi dengan agen-agen lain, kompromi dapat berpropagasi dengan cepat, terutama dengan memori persisten — masalah keamanan AI yang kritis.
  4. Keadaan ideal: manusia tidak jahat, agen tidak jahat
    Di mana sebagian besar organisasi menganggap aman, dan di mana banyak insiden dimulai. Delegasi berlebihan, akumulasi izin, dan akses luas memungkinkan kesalahan kecil menjadi bencana. Ini bukan kelalaian. Ini adalah ketidakcocokan antara kemampuan dan kontrol.

Di seluruh empat pola, dinamika konsisten. Agen-agen AI mengurangi gesekan antara niat dan hasil, menyembunyikan sinyal perilaku, dan memperluas jangkauan. Kontrol tradisional bergelut ketika tindakan didelegasikan, terus-menerus, dan dimediasi melalui sistem otonom.

Titik infleksi tata kelola

AI agenik dirancang untuk mengamati terus-menerus, mempertahankan konteks, dan bertindak berdasarkan pengetahuan yang diperoleh. Itulah yang membuatnya berharga, dan berbahaya ketika tidak terkendali.

Dengan memori persisten dan koordinasi, eksploitasi tidak perlu segera. Ini dapat menunggu. Ini dapat berkembang.

Menggambarkan AI agenik sebagai alat produktivitas meremehkan risiko. Sistem-sistem ini berperilaku kurang seperti aplikasi dan lebih seperti insider, tetapi dengan kecepatan komputer.

Apa yang sebenarnya diperlukan untuk adopsi agen AI yang aman

Organisasi harus memperlakukan AI agenik sebagai sistem perusahaan berisiko tinggi, bukan kemudahan.

Ini berarti kasus penggunaan yang disetujui, kontrol berlapis, pengujian antagonis, dan tata kelola formal. Prinsip least privilege masih penting, dan standar yang ada sudah memberikan pedoman. Namun, kontrol tradisional harus dipasangkan dengan visibilitas perilaku dan kecerdasan — riwayat prompt, tindakan otonom, dan pola koordinasi — untuk membedakan penyalahgunaan, penyalahgunaan, dan kegagalan sistemik sebagai bagian dari manajemen risiko AI yang efektif.

Ini bukan tentang memperlambat adopsi. Ini tentang membuat otonomi dapat dikelola tanpa melemahkan inovasi dan kecepatan.

Intinya

Kolusi mengubah persamaan risiko insider. Ketika agen-agen AI dapat memperkuat perilaku satu sama lain, risiko bergeser dari tindakan terisolasi ke otoritas bersama, pengaruh, dan amplifikasi.

Exposur keamanan sekarang muncul pada lapisan interaksi, di mana akses yang sah, otoritas yang didelegasikan, dan kolusi bertemu. Kontrol yang dibangun untuk mengevaluasi aktivitas individu akan melewatkan kegagalan yang hanya muncul ketika perilaku bergabung.

Organisasi yang mengatur agen-agen AI seperti insider — dengan visibilitas perilaku dan akuntabilitas — dapat memperluas penggunaan agen AI dengan kepercayaan. Mereka yang tidak akan terus merespons hasil yang tidak lagi mereka kendalikan sepenuhnya.

Marshall Heilman adalah Chief Executive Officer untuk DTEX Systems, pemimpin global untuk pengelolaan risiko insider. Marshall memiliki lebih dari 20 tahun pengalaman di bidang keamanan siber (di perusahaan rintisan dan organisasi publik besar), memegang peran kepemimpinan eksekutif dan teknis yang sangat tinggi di Mandiant dan Google.