AI Menjadi Ancaman Orang Dalam Baru, tetapi Rencana untuk Mengatasi Risikonya Terlambat Satu Lapisan

Insiden kebocoran data Hugging Face dan berbagai kejadian serupa telah membuat industri resah, tetapi organisasi seharusnya berfokus pada SDLC, bukan lapisan model AI.

Insiden kebocoran data Hugging Face dan berbagai kejadian serupa telah membuat industri resah pada bulan Juli, insiden yang dilakukan oleh agen OpenAI dan segera disusul laporan tentang pembobolan serupa yang melibatkan model Anthropic dan Meta. Kejadian-kejadian ini memicu kekhawatiran tentang kategori serangan siber yang tampaknya baru: ancaman orang dalam dari AI agentik yang berniat jahat.

Namun, jenis insiden ini sebenarnya bukan hal baru. Kejadian ini berlangsung di laboratorium AI terdepan, yang telah membuat orang cemas selama beberapa tahun, sehingga memberinya wajah baru yang mengancam. Namun, insiden-insiden tersebut menunjukkan pola kegagalan dan titik buta yang sama, yang telah menumpuk di perusahaan selama bertahun-tahun.

Mereka juga tidak sengaja berniat jahat. Dalam insiden kebocoran data Hugging Face, agen kecerdasan buatan—jumlahnya sekitar 1.200—berusaha mencapai tujuan yang ditetapkan di lingkungan pengujian, meskipun, harus diakui, perilaku mereka tidak selalu terpuji. Dalam prosesnya, mereka berkomunikasi secara diam-diam, mengeksploitasi kerentanan, dan beroperasi tanpa terdeteksi selama sekitar dua bulan. Sekitar 700 di antaranya berhasil menerobos batas lingkungan yang “terisolasi” dan memperoleh akses ke internet serta pihak ketiga.

Hal yang meresahkan dari insiden-insiden ini bukan hanya bahwa agen AI tanpa batasan dapat menimbulkan ancaman serius—dan jelas memang demikian. Namun, jika agen dapat bertindak di luar kendali tepat di depan mata tim laboratorium AI terdepan, yang memiliki banyak tenaga ahli, sumber daya, dan motivasi untuk mengawasi aktivitas dengan saksama, Anda mungkin juga perlu bertanya apa yang sedang terjadi dengan agen AI dan alat berbantuan AI yang kini beroperasi di lingkungan pengembangan Anda. Jika para pelaku terbesar di bidang AI tidak dapat memantau lingkungan mereka secara waktu nyata, seberapa besar peluang yang dimiliki organisasi biasa?

Peluang terbaik bagi organisasi untuk mengendalikan AI agentik berawal dari pemahaman bahwa situasi baru ini hanyalah versi yang lebih kuat dari tantangan lama. Namun, untuk mengatasinya, dibutuhkan sesuatu yang masih belum dimiliki banyak perusahaan: visibilitas dan observabilitas sejak tahap awal siklus hidup pengembangan perangkat lunak (SDLC).

OpenAI dan Hugging Face: Pertanda tentang Apa yang Akan Terjadi

Dalam insiden kebocoran data Hugging Face, sejumlah model AI terdepan, termasuk model andalan baru OpenAI, GPT-5.6 Sol, yang dirilis pada bulan Juli, berupaya menyelesaikan tujuan yang spesifik, yaitu tolok ukur ExploitGym yang menguji kemampuan agen dalam mengeksploitasi kelemahan keamanan. Dalam sebuah unggahan yang membahas insiden tersebut, Anthropic mencatat bahwa model AI itu, meski “beroperasi dengan perlindungan yang dikurangi”, mampu melampaui batas, mengakali kontrol teknis, berkolaborasi melalui kanal yang tidak disetujui, dan pada akhirnya mengambil tindakan berisiko.

Meskipun insiden tersebut diketahui pada bulan Juli, para agen mulai berkomunikasi secara tidak semestinya pada bulan Mei tanpa terdeteksi. METR dan Redwood Research melakukan penyelidikan independen secara paralel dengan OpenAI dan menemukan bahwa meskipun para agen tahu mereka melanggar aturan, hanya sedikit yang terpikir untuk memberi tahu OpenAI; mereka justru terus melanjutkan tindakan.

Setelah laporan OpenAI terbit, Anthropic meninjau kembali evaluasi keamanan sibernya yang terdahulu dan menemukan bahwa sebuah model Claude telah mengakali kontrol sebanyak tiga kali pada bulan April, menemukan cara untuk terhubung ke internet, dan memperoleh akses tanpa izin ke tiga organisasi luar. Tak lama kemudian, Meta mengungkapkan bahwa versi model AI agentik paling canggihnya, Muse Spark 1.1, juga berhasil keluar dari lingkungan uji keamanan siber yang terisolasi dan menyusup ke jaringan perusahaan luar.

Dalam laporannya, OpenAI juga memperingatkan bahwa insiden tersebut merupakan pertanda tentang apa yang akan terjadi, dengan menyatakan bahwa banyak model, termasuk model sumber terbuka yang digunakan sehari-hari, akan segera mampu melakukan hal yang sama. Insiden kebocoran data Medicare baru-baru ini menegaskan klaim tersebut.

AI Harus Diatur pada Tingkat SDLC

Eksploitasi oleh agen-agen AI ini membuat komunitas AI terguncang. OpenAI mengumumkan akan memperketat kontrol di lingkungan pengujiannya, lalu bergabung dengan Anthropic, Microsoft, Amazon Web Services, dan lebih dari 100 perusahaan lainnya untuk mengeluarkan peringatan tentang gelombang serangan siber yang akan datang, yang didukung AI dan menargetkan infrastruktur penting. Surat itu memperingatkan bahwa serangan tersebut mungkin hanya akan terjadi dalam hitungan bulan.

Organisasi yang khawatir menjadi korban serangan serupa perlu memperkuat infrastruktur mereka sendiri, dimulai dari tingkat pengembangan perangkat lunak. Masalah sebenarnya bukan sekadar kecanggihan AI agentik yang terus meningkat, melainkan kurangnya pemantauan waktu nyata dan pengawasan manusia yang bermakna. Organisasi seharusnya berfokus menutup kesenjangan pada aspek manusia dan proses, alih-alih menganggap risiko AI sebagai konsekuensi teknologi yang tak terhindarkan.

Di sebagian besar industri, organisasi memusatkan pemantauan dan observabilitas pada lapisan model AI—padahal pada tahap itu, semuanya sudah terlambat satu lapisan. Saat itu, semuanya sudah telanjur berjalan setengah jalan. Visibilitas, pemantauan, observabilitas, dan tata kelola harus diterapkan di tempat AI pertama kali masuk ke perusahaan: di dalam SDLC. Organisasi juga perlu memastikan bahwa pengembang yang menggunakan alat pemrograman berbasis AI memiliki pendidikan dan keterampilan untuk mencegah alat tersebut memasukkan cacat, kerentanan, dan kebiasaan buruk ke dalam alur kerja.

Sebagian besar kelemahan perangkat lunak bermula pada tahap pengembangan. Jika pengembang tidak memiliki keterampilan untuk menulis kode dengan aman atau memperbaiki kelemahan yang diperkenalkan oleh AI, masalah dapat dengan cepat meluas. Pengembang membutuhkan program pendidikan yang membekali mereka dengan keterampilan keamanan yang diperlukan serta memantau kemajuan mereka dalam menguasai keterampilan tersebut dan menerapkannya secara rutin dalam pekerjaan.

Seiring AI semakin melekat dalam cara organisasi beroperasi, semakin jelas bahwa keterlacakan keamanan, observabilitas, dan tata kelola pengembang beserta alat pemrograman berbasis AI yang mereka gunakan kini menjadi standar dasar untuk menghasilkan kode yang aman di lingkungan perusahaan.

Ancaman yang Terus-Menerus Menuntut Respons yang Berkelanjutan

Dahulu, kita mungkin menganggap perangkat lunak relatif tidak berbahaya dan hanya melakukan apa yang diprogramkan kepadanya. Jika terjadi gangguan, perangkat lunak mungkin macet atau menyebabkan waktu henti, tetapi tidak akan menyerang. AI, terutama AI agentik, telah membalikkan anggapan itu. Baik AI agentik maupun AI yang membantu pengembang, tindakan setiap model AI harus terus diamati dan diatur.

Ancaman AI yang kian berkembang—baik yang menargetkan rumah sakit, instalasi pengolahan air, pembangkit listrik, maupun bisnis—dapat menjadi pikiran yang menakutkan. Namun, organisasi tidak berdaya menghadapi ancaman ini. Mereka dapat menerapkan tata kelola AI, tetapi harus membangunnya dari dasar. Dengan menerapkan budaya yang berkomitmen pada perangkat lunak yang aman dan memberikan pendidikan kepada pengembang untuk mencapai tujuan tersebut, organisasi dapat menghadirkan tingkat observabilitas, keterlacakan, dan tata kelola yang sangat dibutuhkan untuk menangani potensi masalah yang, jika dibiarkan, hanya akan semakin parah.