Industri AI Menginginkan Kepercayaan Kita, tetapi Harus Memperkuat Pengendalian Terlebih Dahulu

Dalam keamanan, kita tidak menunggu sampai terjadi masalah untuk mengetahui apakah pengendalian kita berfungsi. Kita mengujinya. Kita menguji ketahanannya. Kita berasumsi bahwa cepat atau lambat, seseorang akan menemukan kelemahan yang luput dari perhatian kita.

Itulah dasar-dasar keamanan.

Lalu, mengapa AI terdepan harus menerapkan standar yang berbeda?

Seiring sistem AI menjadi semakin otonom dan memperoleh akses yang lebih luas ke sistem di dunia nyata, kita melihat sesuatu yang patut membuat siapa pun yang pernah berkecimpung dalam pertahanan keamanan siber merasa khawatir: kemampuan berkembang lebih cepat daripada pengendalian.

Kecepatan bukan alasan untuk melemahkan keamanan. Justru karena itulah kita membutuhkan keamanan yang lebih kuat.

Penilaian terbaru oleh organisasi nirlaba Guidelight AI menelaah bukti yang tersedia untuk publik mengenai praktik pengendalian AI di Anthropic, Google, Meta, OpenAI, dan xAI. Tak satu pun memperoleh nilai keseluruhan di atas C+.

Bukan berarti perusahaan-perusahaan ini bertindak ceroboh. Bukan berarti tidak ada pengendalian tambahan yang diterapkan secara tertutup.

Namun, keamanan tidak dibangun berdasarkan asumsi. Jika kita diminta memercayai sistem yang semakin canggih, kita patut mengharapkan bukti bahwa pengendalian yang melindunginya mampu menghadapi pemeriksaan ketat yang sama seperti yang akan kita tuntut di bidang lain.

Jangan Lagi Menganggap Kegagalan Sekadar Kisah Menarik

Ketika agen AI bertindak di luar dugaan, memperoleh akses yang tidak semestinya, atau mengungkap kelemahan, pembahasan biasanya berfokus pada tindakan teknologi tersebut.

Itu memang menarik.

Namun, itu bukan pertanyaan yang paling penting.

Praktisi keamanan ingin tahu: Apakah aktivitasnya dicatat? Apakah ada yang melihatnya saat terjadi? Apakah tindakan berbahaya dibatasi? Bisakah seseorang menghentikan sistem itu? Apakah ada rencana pembatasan dampak, dan apakah rencana tersebut pernah diuji?

Pertanyaan-pertanyaan itu bukan hanya berlaku untuk AI. Selama bertahun-tahun, itulah pertanyaan yang kita ajukan dalam keamanan siber.

Meski begitu, pencegahan dan pembatasan dampak tampaknya masih menjadi titik lemah dalam lingkungan pengendalian AI terdepan yang tengah berkembang. Bukti publik mengenai tindakan yang dibatasi, pemutus sirkuit, dan pembatasan dampak darurat masih terbatas.

Hal itu seharusnya lebih penting daripada kebaruan insiden tersebut. Saat terjadi kegagalan, saya ingin tahu apa yang gagal, apa yang mencegah situasi memburuk, dan apa yang berubah setelahnya.

Transparansi itu berguna. Belajar dari kejadian jauh lebih baik.

Masalah Keamanan AI yang Sesungguhnya adalah Kecepatan

Menurut saya, ancaman terbesar dalam waktu dekat bukanlah AI yang tiba-tiba menciptakan kategori serangan siber yang sama sekali baru. Masalah yang lebih besar jauh lebih praktis: AI dapat membuat serangan yang sudah kita pahami terjadi jauh lebih cepat.

Riset yang dahulu memakan waktu berjam-jam kini dapat dilakukan dalam hitungan menit. Teknik serangan dapat dirangkai dengan lebih cepat. Kerentanan dapat ditemukan dan dieksploitasi sebelum proses keamanan yang berpusat pada manusia menyelesaikan panggilan eskalasi pertamanya.

Ini menjadi masalah karena banyak infrastruktur keamanan saat ini masih mengasumsikan bahwa akan ada waktu untuk merespons.

Ada kalanya waktu itu tidak tersedia.

Jika serangan berlangsung cepat, proses respons yang mengandalkan tiket, rapat, persetujuan, dan eskalasi manual bisa jadi sudah tidak relevan bahkan sebelum siapa pun mencapai langkah ketiga.

Di sinilah industri AI masih perlu berbenah.

Jika laboratorium AI terdepan berharap perusahaan-perusahaan meninjau ulang visibilitas, pengelolaan kerentanan, arsitektur, dan respons insiden untuk era AI, mereka seharusnya menunjukkan bahwa mereka sendiri telah melakukan hal yang sama.

“Percayalah” Bukanlah Kerangka Pengendalian

Sepanjang karier saya, saya berkecimpung dalam pengujian keamanan, dan ada satu prinsip yang terbukti sangat kuat: niat baik tidak membuktikan keamanan. Bukti yang membuktikannya.

• Lakukan pengujian.
• Lakukan pemantauan.
• Cobalah mencari cara untuk merusak sistem.

Cari tahu apa yang terjadi ketika pengendalian tidak bekerja seperti yang seharusnya menurut diagram arsitektur. Pastikan pula ada seseorang yang berwenang menghentikan sistem saat diperlukan. AI terdepan harus tunduk pada standar yang sama.

Artinya, pengendalian harus diuji secara adversarial, efektivitasnya harus dibuktikan dengan bukti yang terukur, dan harus ada kewenangan yang jelas untuk mematikan sistem saat terjadi masalah.

Ini juga berarti kita perlu memikirkan ulang pembatasan dampak.

Laboratorium AI terdepan tidak bisa baru mengarang cara membatasi dampak setelah agen AI bertindak di luar batas yang ditetapkan. Saat melatih dan menguji model yang kemampuannya semakin canggih, mereka harus bertanggung jawab atas tindakan yang dapat dilakukan sistem tersebut. Ini membutuhkan pengujian adversarial yang ketat, langkah pengamanan yang telah mendapat otorisasi sebelumnya, batas kewenangan agen yang jelas, serta cara yang telah teruji untuk melakukan intervensi atau mematikan sistem sebelum kegagalan meluas.

Pertimbangan manusia tetap penting. Namun, laboratorium yang mengembangkan sistem ini harus menetapkan batasan, menguji apakah batasan itu tetap terjaga, dan tetap bertanggung jawab jika tidak.

Tanggung jawab mereka bukan sekadar menunjukkan apa yang dapat dilakukan oleh sebuah agen. Mereka juga harus membuktikan bahwa agen tersebut dapat beroperasi dengan aman, perilakunya dapat dikendalikan, dan kemampuan baru menjadikan dunia lebih aman, bukan sebaliknya.

Kepercayaan Harus Diperoleh

Saya tidak berpendapat bahwa inovasi AI harus diperlambat sampai nyaris berhenti. Yang saya tekankan adalah keamanan harus mengimbanginya. Jika kita menginvestasikan sumber daya yang sangat besar untuk meningkatkan kemampuan AI, kita perlu menunjukkan keseriusan yang sebanding dalam memastikan AI dapat dipertahankan dari ancaman.

Namun, saat laboratorium terdepan mempercepat pelatihan dan pengujian model AI baru yang memiliki kemampuan siber, mereka harus memikirkan para pembela sistem. Pertama, dengan membantu mereka mendeteksi dan merespons ancaman dengan lebih cepat. Lebih penting lagi, dengan mencegah sistem tersebut menjadi ancaman itu sendiri. Tanggung jawab itu juga mengharuskan mereka menerima pengawasan dari pihak luar.

Peninjauan independen tidak boleh menjadi sesuatu yang hanya disambut perusahaan ketika mendukung narasi yang ingin mereka sampaikan. Jika sistem AI terdepan cukup kuat untuk mengubah lanskap ancaman, mekanisme pengendaliannya juga harus cukup kuat untuk menghadapi pengujian independen yang sungguh-sungguh.

Industri AI menginginkan kepercayaan kita.

Sebagai praktisi keamanan, saya bersedia memberikannya. Namun, tunjukkan dulu mekanisme pengendaliannya.