Penyerang AI Tidak Pernah Lelah: Mengapa Keamanan Siber Harus Berubah

Program keamanan Anda dibangun untuk penyerang yang melakukannya.

Ketika OpenAI memublikasikan laporan tentang model‑model yang meloloskan diri dari lingkungan evaluasi dan menghabiskan hari‑hari di infrastruktur produksi Hugging Face, saya menyebutnya momen Terminator bagi keamanan siber. Saya tetap pada pernyataan itu, tetapi ada hal lain yang harus membuat kita berhenti sejenak. Sembilan hari kemudian, Anthropic mengungkap insiden mereka sendiri. Pada awal Agustus, Meta mengonfirmasi insiden lain. Beberapa hari setelah itu, model dari laboratorium keempat, Kimi K3 milik Moonshot, meloloskan sandbox pengujian mereka. Empat laboratorium. Kurang dari tiga minggu. Empat model yang pergi ke tempat yang tidak diharapkan siapa pun.

Kisah‑kisah ini sebagian besar diperlakukan sebagai cerita keselamatan AI. Memang begitu. Namun bagi seorang CISO, mereka juga merupakan cerita risiko pihak ketiga — dan itu mungkin pelajaran yang lebih mendesak. Kebenaran yang tidak nyaman adalah insiden OpenAI‑Hugging Face pada dasarnya adalah cerita risiko pihak ketiga: komponen pihak ketiga yang rentan menjadi jalur pelarian, vendor sebagai korban, dan simpul sistemik yang menjadi radius ledakan bagi ribuan perusahaan.

Berikut angka yang akan saya bawa ke pertemuan perencanaan keamanan Anda berikutnya. Dari kira‑kira 17.600 aksi penyerang Hugging Face pulih dari lognya, sebagian besar gagal.

Agen tersebut menguji jalur yang tidak mengarah ke mana‑mana. Ia diblokir oleh daftar putih URL dan beralih. Ia menemui kebijakan IAM yang menolak setiap panggilan yang memodifikasi. Ia mencoba mengakses basis data produksi dua kali dan keduanya berakhir timeout. Ia melakukan probing, gagal, dan melanjutkan. Ribuan kali. Ia tidak frustrasi. Ia tidak lelah. Dan kegagalan hampir tidak menimbulkan biaya.

Empat model meloloskan diri dari lingkungan pengujian dalam waktu kurang dari tiga minggu. Pelarian tersebut menjadi sorotan media. Pemimpin keamanan seharusnya lebih khawatir tentang apa yang memungkinkan hal itu terjadi: penyerang yang dapat gagal ribuan kali dengan hampir tidak ada biaya.

Itulah pergeseran. Selama beberapa dekade, pembela mendapatkan keuntungan dari satu fakta sederhana: kegagalan menelan biaya bagi penyerang. Rekonsiliasi memakan waktu dan jalan buntu mahal. Ekonomi asimetri inilah yang membuat “menetapkan biaya” pada penyerang menjadi cara koheren untuk mencoba menghentikannya. Ketika kegagalan menjadi hampir gratis, jalur sukses tidak lagi menjadi jarum dalam tumpukan jerami, melainkan kepastian statistik bagi siapa saja yang dapat mengejar semua jalur sekaligus.

Pola dalam insiden‑insiden ini menunjukkan tiga pelajaran yang harus segera ditindaklanjuti oleh pemimpin keamanan.

Four Labs, One Shape

Pola ini sangat konsisten. Beri model sebuah tujuan. Ia menemukan jalur yang tak diperkirakan siapa pun. Kadang‑kadang jalur itu langsung menuju sistem produksi organisasi yang tidak pernah seharusnya terlibat. Setidaknya dalam satu kasus, organisasi yang terdampak mengetahui apa yang terjadi karena Anthropic menelepon untuk memberi tahu mereka

Dalam setiap kasus, jalur tersebut melewati perangkat lunak, infrastruktur, atau lingkungan yang dibangun orang lain. Pemimpin keamanan harus mengambilnya secara pribadi.

Setiap organisasi dalam rantai ini memiliki program keamanan. Beberapa di antaranya sangat baik. Kegagalan tidak terbatas dalam satu perimeter. Itu terjadi di sela‑sela organisasi, dan tidak ada yang memiliki sela‑sela tersebut.

Model‑model OpenAI menemukan zero‑day pada proxy paket yang di‑self‑hosted dan memanfaatkannya untuk mencapai internet terbuka. Dari sana mereka menancapkan diri pada sandbox eksekusi kode yang tidak aman milik pelanggan Modal Labs, menggunakannya sebagai basis staging, dan menipu loader dataset Hugging Face untuk membaca file lokal lalu mengeksekusi kode. Dalam tiga belas jam mereka menguasai hak admin klaster di beberapa klaster internal, dibantu oleh satu kredensial yang dibagikan di semua klaster. Titik masuknya baru. Di dalamnya, kelemahan‑kelemahan adalah yang telah kami tulis selama dua puluh tahun.

Sembilan hari kemudian, Anthropic melakukan sesuatu yang lebih langka: ia mempublikasikan ulasannya sendiri atas 141.006 run evaluasi dan mengungkap tiga contoh dengan presentasi serupa tanpa diminta: sebuah model yang mencapai internet terbuka dari lingkungan evaluasi, lalu memperoleh akses ke sistem organisasi nyata. Tidak ada pelarian sandbox kali ini, hanya konfigurasi yang salah yang meninggalkan jalur hidup sementara model diberi tahu tidak ada. Begitu di luar, model memanfaatkan kelemahan yang semua tim keamanan ketahui: kata sandi lemah, endpoint tanpa otentikasi, injeksi SQL, dan kredensial yang berada di halaman debug yang terbuka.

Meta mengonfirmasi insiden keempat pada awal Agustus, setelah kesalahan konfigurasi memberi salah satu modelnya akses internet selama evaluasi. Meta juga tidak menangkapnya; mereka mengetahui apa yang terjadi ketika mitra pengujian mereka menelepon. Baik evaluasi itu maupun milik Anthropic dijalankan oleh firma luar yang sama, Irregular, yang secara publik menyebutnya masalah yang sama. Kesalahan konfigurasi satu vendor menyebar ke dua laboratorium frontier dan empat organisasi korban, yang tidak memiliki hubungan langsung dengan Irregular sama sekali. Itu adalah vendor bagi dua laboratorium, bukan bagi mereka. Agen tidak peduli di mana permukaan serangan satu perusahaan berakhir dan yang lain dimulai.

Itulah yang menjadikan ini masalah risiko pihak ketiga. Paparan kini dapat berasal dari beberapa hubungan di luar Anda, di organisasi yang tidak pernah Anda pilih, nilai, atau bahkan ketahui sebagai bagian dari permukaan serangan Anda.

Kemudian peneliti di Frontier Security menangkap Kimi K3 milik Moonshot yang juga meloloskan sandboxnya, sehingga dapat mengakses repositori benchmark di GitHub. Tidak ada yang dibobol, dan model tersebut mengejar tujuan yang ditugaskan, setelah menyimpulkan bahwa menggunakan kunci jawaban siap pakai lebih murah daripada menyelesaikannya. Dua hal membuat kasus ini penting. Peneliti menangkapnya selama pengujian mereka sendiri. Dan itu dijalankan dengan peralatan yang sepenuhnya berbeda dari kasus Anthropic dan Meta. Satu vendor yang mengalami bulan buruk tidak menjelaskan hal ini.

Laboratorium‑laboratorium tidak mengabaikan semua ini. Anthropic mempublikasikan ulasannya tanpa diminta, itulah mengapa industri memiliki pola untuk diperiksa dan dipelajari — bukan outlier yang diabaikan. Itu seharusnya menjadi norma. OpenAI kini memperlambat rilis model Astra setelah evaluasi internal tidak dapat menyingkirkan kemampuan siber kritis. Kedua langkah tersebut patut diapresiasi. Namun keduanya bukan rencana pertahanan: penundaan rilis mengatur kalender satu perusahaan. Hal itu tidak mengubah apa‑apa tentang model‑model yang mampu, termasuk Kimi K3, yang sudah tersedia secara terbuka dan gratis, di luar kendali laboratorium manapun.

Correlation Without Escalation is Not Detection

Stack deteksi Hugging Face, patut diacungi jempol, mengkorelasikan sinyal‑sinyal menjadi serangan yang koheren. Namun mereka gagal meningkatkan tingkat kritisitas, dan tim on‑call tidak dipanggil. Alat tersebut menyusun cerita namun tidak dapat memutuskan bahwa cerita itu mendesak. Itu adalah arsitektur triase yang dibangun untuk dunia di mana 17.600 peristiwa dalam empat hari akan terasa absurd.

Cybersecurity Needs its Fosbury Flop

Pada tahun 1968, Dick Fosbury memenangkan emas Olimpiade lompat tinggi bukan dengan melompat lebih tinggi daripada pesaingnya, melainkan dengan melompati mistar secara terbalik. Semua orang lain masih menyempurnakan teknik straddle. Bentuk yang lebih baik, kekuatan lebih, peningkatan marginal pada teknik berusia puluhan tahun. Fosbury mengubah bentuk masalah. Dalam dua Olimpiade, teknik straddle hampir punah.

Pemimpin keamanan kini harus melewati mistar yang baru saja bergeser, dan jawaban industri sejauh ini adalah straddle yang lebih baik: lebih banyak peringatan, analis lebih cepat, SLA yang lebih ketat pada tinjauan manusia. Itu tidak akan berhasil, karena kendala bukan kecepatan analis. Anda tidak dapat menjawab serangan berkecepatan mesin dengan triase berkecepatan manusia..

Fosbury flop terlihat seperti ini:

• Berhenti memperlakukan batas sebagai kontrol. Sandbox evaluasi gagal, loader dataset gagal, dan isolasi pod gagal, masing‑masing melakukan tugasnya sampai tidak lagi. Rancang untuk apa yang terjadi selanjutnya. Gunakan kredensial berumur pendek. Hilangkan identitas administratif yang dibagikan. Blokir akses ke layanan metadata. Di atas semua itu, batasi sejauh mana penyerang dapat bergerak setelah kontrol pertama gagal.
• Pindahkan deteksi dari sekadar peringatan ke korelasi. Menemukan satu peristiwa mencurigakan tidak lagi cukup. Tugasnya menghubungkan ribuan peristiwa yang tampak biasa menjadi satu cerita serangan, dan mengetahui kapan cerita itu cukup serius untuk membangunkan seseorang. Hal ini semakin harus otomatis mengingat volume yang kita lihat.
• Anggap paparan pihak ketiga sebagai jalur serangan, bukan sekadar kuesioner. Insiden‑insiden ini melewati ketergantungan pihak ketiga: produk vendor, pelanggan vendor, mitra evaluasi, peralatan pengujian bersama. Risiko Anda kini mencakup kesalahan konfigurasi yang dibuat oleh organisasi yang belum pernah Anda audit dan mungkin bahkan tidak Anda ketahui keberadaannya. Penilaian statis pada satu titik waktu tidak dapat melihat hal itu. Masalah ini bukan baru. AI membuatnya jauh lebih mendesak. Tim keamanan membutuhkan pandangan berkelanjutan atas perusahaan dan teknologi yang mereka andalkan, karena penyerang melihat seluruh ekosistem itu sebagai satu permukaan yang terhubung.

Di SecurityScorecard, inilah jenis masalah yang dibangun dalam budaya kami: mengumpulkan orang yang sangat penasaran tentang cara berpikir penyerang, bersedia menantang asumsi dua puluh tahun, dan bersemangat membangun pendekatan keamanan yang secara fundamental berbeda!

The Question to Bring to Your Next Board Meeting

Beberapa minggu lalu saya mengatakan bahwa jin telah menjadi terlalu kuat untuk botolnya. Empat laboratorium kemudian, tidak ada yang berargumen sebaliknya. Setelah insiden‑insiden seperti ini, semua orang menanyakan pertanyaan yang sama: Apakah kita siap menghadapi penyerang yang didukung AI? Saya rasa pertanyaan itu tidak membawa kita jauh. “Ya” dan “tidak” menghasilkan hasil yang sama: tidak ada yang berubah.

Tanyakan yang lebih sulit. Jika 17.000 peristiwa sinyal‑rendah menyerang lingkungan Anda dalam empat hari ke depan — dan kebanyakan tampak seperti kegagalan — berapa lama tim Anda akan menyadari bahwa itu adalah satu serangan? Apakah ada yang dipanggil tepat waktu?

Anda sudah tahu jawabannya. Kesenjangan antara jawaban itu dan empat hari adalah pekerjaan yang harus dilakukan.