Anjing Penjaga yang Tidak Melihat Pencuri: Ketika Guardrails AI Melindungi Penyerang

Pada akhir pekan Barings bangkrut, saya berada di UBS, mencoba memahami apa yang mungkin dilakukan oleh bank berusia 233 tahun yang tiba‑tiba insolven terhadap kami semua. Pada minggu berikutnya, bank pedagang tertua di London telah dijual kepada ING seharga satu pound. Total, bukan per saham.

Penyebabnya sangat sederhana. Nick Leeson menjalankan kedua meja perdagangan Singapura perusahaan dan back office yang seharusnya memeriksanya. Satu orang memakai dua topi, dan itu langsung mengarah ke kerugian sebesar £827 juta yang disembunyikan di akun error 88888, yang hanya dia yang dapat melihat. Itu adalah kegagalan klasik dalam hak akses. Seseorang yang dipercayakan terlalu banyak.

Saya menemukan diri saya kembali pada akhir pekan itu, mengejutkan, membaca apa yang terjadi pada Hugging Face musim panas ini. Kegagalan hak akses lagi, hanya kali ini berjalan sebaliknya. Alat tersebut mempercayai penyusup dan menolak orang yang membersihkan.

Model yang Melanggar Batas untuk Menemukan Jawaban

OpenAI sedang menguji dua modelnya, GPT-5.6 Sol dan satu yang belum dirilis, di ExploitGym, sebuah benchmark untuk menguji apakah sebuah model dapat mengubah kerentanan nyata menjadi exploit yang berfungsi. Untuk pengujian tersebut, classifier produksi biasa yang dirancang untuk mencegah aktivitas siber berisiko tinggi dimatikan. Masuk akal, di ruangan tertutup.

Ternyata ruangan itu tidak sepenuhnya tertutup seperti yang diharapkan. Model-model tersebut menemukan zero‑day di proxy cache registry paket, memanfaatkannya untuk menembus menuju internet terbuka, dan menyimpulkan bahwa Hugging Face mungkin menyimpan jawaban benchmark tersebut. Dari sana, mereka mengaitkan kredensial yang dicuri dan zero‑day tambahan ke jalur eksekusi kode jarak jauh pada server produksi Hugging Face. Mereka membobol sebuah perusahaan nyata untuk menyontek pada sebuah ujian.

Dalam catatan yang ditinggalkan agen satu sama lain, satu mencatat saat ia menemukan ia memiliki hak administrator: “Holy shit pembaca adalah ADMIN? Kami dapat membaca config/users!” Saya pernah melihat insinyur menyambut akses produksi dengan antusiasme yang lebih rendah dan lebih banyak dokumen.

Sebagian besar liputan berhenti di situ, khawatir tentang model dengan agensi. Bagian yang membuat saya terhenti datang selanjutnya.

Ketika Guardrails Melindungi Penyerang

Ketika tim respons Hugging Face duduk untuk menganalisis serangan, model komersial frontier, yang dilengkapi guardrails keamanan, tidak membantu. Log serangan terdiri dari payload exploit dan artefak command‑and‑control, dan model-model tersebut tidak dapat membedakan antara responden insiden dan penyerang. Jadi mereka menolak.

Forensik dilakukan pada model open‑weight, GLM-5.2, yang dijalankan pada perangkat keras milik para pembela, yang membaca materi yang sama tanpa setitik rasa bersalah.

Renungkan hal itu. Model-model penyerang telah menghilangkan perlindungan siber produksi mereka dan melakukan apa yang mereka inginkan. Manusia yang mempertahankan tetap mempertahankan perlindungan mereka dan diberi tahu untuk memperhatikan bahasa mereka. Fitur keamanan berfungsi sempurna, dalam arti bahwa ia melindungi metode penyerang dari satu‑satunya orang yang memiliki alasan untuk mempelajarinya.

Tidak ada satupun dari ini merupakan keluhan pinggiran. Jensen Huang menggunakan posting pertamanya di X untuk mengemukakan argumen bagi model terbuka, bersama dengan surat terbuka ditandatangani oleh perusahaan-perusahaan seperti Meta, Microsoft dan IBM. Surat tersebut menyampaikan argumen keamanan secara jelas: dalam dunia di mana penyerang memiliki AI canggih, pembela membutuhkan akses ke kemampuan yang sebanding. Andrew Ng mendukung argumen tersebut, mengarahkan pembaca ke kasus Huang tentang model terbuka. Anda dapat tidak setuju dengan mereka tentang banyak hal dan tetap mengakui poin tersebut ketika laporan insiden ada di sana membuktikannya.

Jadi dalam tiga puluh satu tahun kami telah berpindah dari sebuah bank yang hancur karena satu orang dapat melihat segalanya menjadi sebuah alat keamanan yang mempercayai penyusup anonim lebih dari pemiliknya yang bertanggung jawab. Leeson dapat melihat terlalu banyak. Orang‑orang yang membersihkan setelah Hugging Face tidak dapat melihat cukup banyak.

Perbandingan ini tidak sesetra yang terlihat pada awalnya. Lembaga keuangan belajar, biasanya setelah kesalahan mahal, bahwa akses bukan sekadar pertanyaan apakah seseorang dapat dipercaya. Itu adalah pertanyaan apakah mereka seharusnya dapat melakukan tindakan tertentu, dalam sistem tertentu, pada waktu tertentu, tanpa orang lain mengawasi. Kami membangun pemisahan tugas, batas persetujuan, dan jejak audit karena niat baik biasanya gagal sebagai mekanisme kontrol yang dapat diandalkan. Sistem AI memerlukan pemikiran serupa. Menyebut sebuah model aman memberi Anda sedikit informasi kecuali Anda juga mengetahui apa yang diizinkannya lakukan dan siapa yang menggunakannya.

Beberapa Hal Tidak Dapat Keluar dari Gedung

Ada alasan kedua mengapa saya tidak dapat mengandalkan model yang dihosting pada malam itu, dan tidak ada hubungannya dengan sensitivitasnya. Saya mengelola teknologi untuk sebuah broker yang diatur. Saya tidak dapat menempelkan log pelanggaran, kredensial, dan payload exploit langsung kami ke cloud orang lain dan menekan kirim.

Data insiden kami berada di tempat yang diharapkan regulator, yaitu pada perangkat keras kami sendiri, itulah mengapa kami telah menghabiskan bertahun‑tahun dan anggaran perangkat keras yang menguras mata untuk membangun hal tersebut. Kami tidak membangunnya karena antisipasi terhadap model nakal. Kami membangunnya karena perusahaan seperti kami menyimpan data paling sensitif, dan kini alat paling sensitif, di dalam dindingnya sendiri.

Semua itu bukan argumen menentang guardrails. Itu adalah argumen untuk mengetahui ke mana guardrails Anda mengarah.

Model yang menolak membantu penipu menulis email phishing melakukan pekerjaan yang berguna. Model yang menolak membantu tim keamanan Anda membaca email phishing yang sudah masuk justru melakukan pekerjaan penipu untuknya, dan mengenakan biaya berlangganan kepada Anda.

Miliki Alat yang Akan Anda Butuhkan pada pukul 2 pagi.

Pelajaran praktisnya membosankan, seperti halnya pelajaran penting. Jangan alihdayakan respons insiden Anda ke kebijakan tanggung jawab vendor. Simpan model yang mampu pada perangkat keras milik Anda, yang ditujukan untuk pekerjaan yang biasanya ditolak oleh model komersial, dan pastikan Anda mengetahui keberadaannya sebelum malam ketika Anda membutuhkannya.

Hadiah atas bertahun‑tahun mempertahankan item perangkat keras itu di atas dasar yang tidak glamor ternyata begini: ketika kegagalan yang menarik terjadi, Anda sudah memiliki satu alat di gedung yang akan memeriksa bukti.

Tiga puluh satu tahun yang lalu saya menghabiskan akhir pekan menghitung apa yang terjadi ketika orang yang salah dapat melihat segala hal. Kali ini akan menyenangkan jika saya menjadi orang yang bisa melakukannya.