Insiden AI Semakin Menjadi Krisis Operasional. Kami Perlu Menganggapnya Dengan Cara Itu.

Selama beberapa tahun terakhir, sebagian besar organisasi membicarakan tentang risiko AI dalam bahasa tata kelola.

Apakah modelnya akurat? Apakah itu adil? Apakah data disetujui? Apakah kita mematuhi peraturan yang muncul? Itu pertanyaan penting, tetapi itu bukan satu-satunya pertanyaan. Pertanyaan yang lebih mendesak adalah apa yang terjadi ketika sesuatu salah?

Apa yang terjadi ketika agen AI mengambil tindakan yang tidak pernah dimaksudkan untuk diambil? Apa yang terjadi ketika model bocor data sensitif? Apa yang terjadi ketika jawaban halusinasi menciptakan paparan hukum, atau keputusan otomatis mempengaruhi pelanggan, karyawan, pasien, atau mitra dengan cara yang tidak dapat dengan mudah dibatalkan?

Dan mungkin paling praktis: ke mana organisasi pergi untuk mengoordinasikan respons? Itu adalah pergeseran yang sekarang terjadi. Risiko AI menjadi masalah ketahanan operasional, bukan hanya masalah tata kelola.

AI bergerak dari eksperimen ke mesin kerja perusahaan. Ini dimasukkan ke dalam dukungan pelanggan, pengembangan perangkat lunak, operasi keuangan, alur kerja kesehatan, perekrutan, pemrosesan klaim, rantai pasokan, dan otomatisasi internal. Ketika AI menjadi lebih terhubung dengan bisnis, kegagalan AI menjadi insiden bisnis.

Pemantau Insiden AI OECD melacak 596 Insiden AI pada Januari 2026 saja, pertumbuhan 200% dari tahun ke tahun. Upaya seperti Pemantau Insiden AI OECD dan Basis Data Insiden AI mendokumentasikan hasil negatif atau berbahaya yang melibatkan sistem AI sehingga industri dapat belajar dari pengalaman sama seperti aviasi dan keamanan siber telah lakukan selama bertahun-tahun.

Perbandingan itu penting. Industri yang matang bertanya bagaimana mencegah kegagalan DAN bagaimana merespons ketika kegagalan terjadi juga.

Insiden AI Tidak Berperilaku Seperti Kebugan Perangkat Lunak Tradisional

Kebugan perangkat lunak tradisional biasanya memiliki batas yang relatif jelas. Sesuatu rusak, insinyur menyelidiki, dan tim mereproduksi masalah, memperbaiki kode, dan mengirimkan perbaikan.

Namun, insiden AI lebih berantakan. Mereka dapat bersifat probabilistik, intermittent, dan muncul dari interaksi antara model, prompt, sistem pengambilan, plug-in, agen, pengguna, dan proses bisnis hilir. Terkadang sistem AI beroperasi tepat seperti yang dirancang, tetapi desainnya tidak lengkap untuk lingkungan di mana ia digunakan. Itu membuat respons lebih menantang.

Halusinasi dalam chatbot konsumen adalah satu jenis masalah. Halusinasi di dalam alur kerja hukum, keuangan, klinis, atau HR adalah lain. Keluaran yang bias dalam pengujian serius. Proses pengambilan keputusan yang berjalan pada skala produksi adalah sesuatu yang sama sekali berbeda. Asisten AI yang membuat draf email adalah satu hal, tetapi agen yang dapat mengubah izin, mengeluarkan pengembalian, memperbarui catatan, memicu alur kerja, atau menjalankan kode adalah kategori risiko yang sangat berbeda.

Repositori Risiko AI MIT menangkap berbagai risiko AI, termasuk informasi palsu atau menyesatkan, kegagalan privasi dan keamanan, diskriminasi, penyalahgunaan, dan masalah keamanan sistem. OWASP Top 10 untuk Aplikasi LLM secara serupa menyoroti risiko seperti injeksi prompt, pengungkapan informasi sensitif, penanganan keluaran yang tidak aman, dan kelebihan agensi. Ini adalah mode kegagalan praktis, bukan kekhawatiran teknis abstrak.

Jika agen AI memiliki otoritas yang terlalu besar, maka dapat mengambil tindakan yang tidak dimaksudkan oleh manusia. Jika injeksi prompt berhasil, sistem mungkin mengungkapkan informasi atau mengikuti instruksi yang tidak diinginkan. Jika data sensitif bocor melalui model atau sistem pengambilan, respons memiliki implikasi hukum, regulasi, pelanggan, dan reputasi. Itulah mengapa bahasa tata kelola AI terkadang dapat menjadi terlalu pasif. Tata kelola memberitahu kita apa yang seharusnya benar. Respons insiden memberitahu kita apa yang harus dilakukan ketika kenyataan bergerak lebih cepat dari kebijakan.

Respons Akan Bersifat Fungsional

Salah satu pelajaran terbesar dari keamanan siber adalah bahwa insiden jarang tetap di dalam tim keamanan. Pada awalnya, peristiwa mungkin terlihat teknis. Sangat cepat, melibatkan hukum, komunikasi, kepemimpinan bisnis, kepatuhan, tim pelanggan, konselor luar, asuransi, spesialis forensik, dan terkadang dewan.

Insiden AI akan mengikuti pola yang sama.

Bayangkan model yang mengungkapkan informasi pelanggan yang sensitif. Tim keamanan dan privasi perlu memahami apa yang terjadi. Hukum perlu menilai kewajiban. Komunikasi mungkin perlu mempersiapkan untuk pelanggan, regulator, atau media. Teknik mungkin perlu menonaktifkan atau menggulir kembali sistem. Pemimpin bisnis mungkin perlu menimbang kelangsungan terhadap pengandalian.

Atau bayangkan agen AI yang mulai mengambil tindakan yang tidak diinginkan di seluruh sistem perusahaan. Tim teknis mungkin dapat menonaktifkannya, tetapi organisasi masih perlu tahu apa yang dilakukan, siapa yang terkena, keputusan apa yang diambil, apakah kewajiban kontraktual dipicu, dan bagaimana kegagalan yang sama akan dicegah di masa depan. Itu tidak dapat diselesaikan oleh tim AI saja.

Organisasi harus membangun otot fungsional sebelum mereka membutuhkannya. Itu berarti pemicu eskalasi yang jelas, peran yang jelas, hak keputusan yang jelas, jalur komunikasi yang jelas, dokumentasi yang jelas, dan latihan.

Dalam krisis, koordinasi adalah infrastruktur, bukan hanya keterampilan lunak.

AI yang Diseduh Tidak Boleh Mengendalikan Respons

Ada masalah lain yang perlu dipertimbangkan organisasi dengan lebih hati-hati. Jika sistem AI yang sedang diselidiki dapat mengakses komunikasi, dokumen, alur kerja, atau otomatisasi yang sama yang digunakan untuk mengoordinasikan respons, maka organisasi memiliki masalah.

Dalam keamanan siber, ini adalah prinsip yang familiar. Jika ransomware telah mengompromikan jaringan perusahaan, Anda tidak mengoordinasikan respons di sistem yang mungkin dapat dibaca, diganggu, atau dimanipulasi oleh penyerang. Anda pindah keluar dari jalur. Anda memisahkan insiden dari respons.

Logika yang sama berlaku untuk AI.

Sistem AI mungkin tidak berbahaya dalam arti manusia, tetapi jika dapat melihat rencana respons, merangkum pertemuan respons, mempengaruhi alur kerja, merekomendasikan langkah berikutnya, atau beroperasi di dalam lingkungan yang sama yang digunakan untuk mengandungnya, maka organisasi belum benar-benar mengisolasi respons.

Ini menjadi lebih penting dengan AI agen. Kerangka Keamanan AI Google menyoroti risiko seperti injeksi prompt, pencemaran data, dan tindakan liar, dan memetakan mereka ke kontrol di seluruh siklus hidup AI. Itu adalah kerangka yang tepat. Ketika sistem AI menjadi lebih mampu bertindak di seluruh alat, data, dan alur kerja, organisasi perlu memikirkan tentang keamanan model DAN tentang pemisahan operasional.

Pikirkan seperti menyelidiki kebakaran. Anda tidak ingin kontrol sprinkler terhubung ke sistem yang sama yang sedang Anda diagnosa.

Siap, Latih, Respons, Lapor

Kerangka yang berguna untuk kesiapan insiden AI adalah yang sama yang telah matang dalam keamanan siber: siap, latih, respons, lapor.

Siap berarti mendefinisikan jenis insiden sebelum mereka terjadi, seperti bias, halusinasi, kebocoran data, drift model, injeksi prompt, agen liar, penggunaan alat tidak sah, dan kegagalan model pihak ketiga. Masing-masing memerlukan pemangku kepentingan yang berbeda dan keputusan yang berbeda.

Buku pedoman yang baik tidak boleh menjadi dokumen 200 halaman yang duduk di folder. Tidak ada yang membuka halaman 137 selama krisis. Buku pedoman yang baik adalah berbasis peran, dapat diakses, dan dapat diambil tindakan. Hukum tahu apa yang perlu dilakukan hukum. Teknik tahu apa yang perlu dilakukan teknik. Komunikasi tahu kapan harus terlibat. Dewan tahu kapan manajemen akan meningkatkan.

Latih berarti menjalankan latihan meja. Tidak sekali setahun sebagai kotak centang, tetapi cukup sering untuk membangun otot. Pertama kali dewan membahas insiden AI tidak boleh selama insiden AI yang sebenarnya. Pertama kali hukum, teknik, privasi, keamanan, dan komunikasi bekerja melalui kegagalan AI bersama tidak boleh ketika pelanggan sudah bertanya.

Respons berarti mengoordinasikan acara langsung dengan disiplin. Siapa yang ada di ruangan? Apa fakta yang diketahui? Apa fakta yang masih tidak pasti? Apa keputusan yang diambil? Siapa yang menyetujui? Apa yang berubah antara jam 12 dan jam 48?

Lapor berarti mengakui bahwa regulasi AI menjadi lebih konkrit. Undang-Undang AI EU termasuk kewajiban pelaporan insiden serius untuk penyedia sistem AI berisiko tinggi tertentu. Detailnya akan bervariasi tergantung yurisdiksi, industri, dan kasus penggunaan, tetapi arahnya jelas. Insiden AI akan semakin memerlukan catatan yang dapat dipertahankan tentang apa yang terjadi, apa yang diketahui, tindakan apa yang diambil, dan kapan.

AI Dapat Membantu, Tetapi Tidak Dapat Menggantikan Penilaian

Ada godaan untuk berpikir bahwa respons insiden AI harus sepenuhnya otomatis. Saya pikir itu adalah kerangka yang salah.

AI dapat membantu sangat banyak. Dapat merangkum fakta. Dapat mengidentifikasi informasi yang hilang. Dapat membandingkan insiden dengan pola sebelumnya. Dapat membuat laporan setelah tindakan. Dapat membantu memetakan kewajiban regulasi. Dapat mengurangi beban administratif ketika orang berada di bawah tekanan.

Tetapi dalam insiden serius, manusia tetap tidak tergantikan.

Seseorang harus memutuskan apakah fakta cukup. Seseorang harus menimbang dampak pelanggan. Seseorang harus memutuskan apakah untuk menghentikan sistem. Seseorang harus menentukan apakah organisasi telah melewati ambang batas pelaporan. Seseorang harus berkomunikasi dengan akuntabilitas dan empati.

Peran yang tepat untuk AI dalam respons insiden adalah tidak untuk menggantikan tim krisis. Adalah untuk memberikan tim krisis konteks yang lebih baik, lebih cepat.

Kerangka Manajemen Risiko AI NIST berguna karena membingkai manajemen risiko AI di sekitar empat fungsi: mengatur, memetakan, mengukur, dan mengelola. Untuk respons insiden, saya akan menambahkan satu ekstensi praktis: berlatih.

Rencana yang tidak pernah diuji tidak benar-benar rencana. Adalah teori.

Dewan Perlu Buku Pedoman, Juga

Risiko AI menjadi topik tingkat dewan, tetapi keterlibatan dewan tidak boleh berhenti pada slide pengawasan. Dewan perlu memahami peran mereka sebelum krisis terjadi.

Kapan dewan akan diberitahu? Apa keputusan yang memerlukan input dewan? Apa informasi yang akan disediakan manajemen? Bagaimana materialitas, dampak pelanggan, paparan hukum, kewajiban regulasi, dan gangguan operasional akan dinilai?

Banyak organisasi memiliki buku pedoman keamanan, buku pedoman privasi, buku pedoman komunikasi, dan buku pedoman hukum. Jauh lebih sedikit memiliki buku pedoman dewan untuk insiden AI. Itu adalah celah yang akan menjadi lebih terlihat ketika sistem AI bergerak ke alur kerja yang diatur, menghasilkan pendapatan, dan menghadap pelanggan. Peran dewan adalah untuk membantu organisasi membuat keputusan yang lebih baik di bawah tekanan, bukan menjadi lebih teknis.

AI yang Dapat Dipercaya Memerlukan Ketahanan Operasional

Ada banyak pembicaraan tentang AI yang dapat dipercaya. Itu adalah aspirasi yang tepat, tetapi kepercayaan tidak dibuat oleh prinsip saja. Kepercayaan dibuat ketika organisasi dapat menunjukkan bagaimana mereka mempersiapkan, bagaimana mereka mendeteksi masalah, bagaimana mereka merespons, bagaimana mereka berkomunikasi, bagaimana mereka mendokumentasikan keputusan, dan bagaimana mereka memperbaiki.

Keamanan siber telah melewati evolusi yang sama. Organisasi menghabiskan tahun-tahun berinvestasi dalam pencegahan, dan mereka harus terus melakukannya. Tetapi organisasi yang matang akhirnya memahami bahwa pencegahan tidak cukup. Anda juga perlu ketahanan. AI memasuki fase yang sama.

Kita harus membangun model yang lebih aman, kontrol yang lebih kuat, evaluasi yang lebih baik, red-teaming yang lebih baik, dan tata kelola yang lebih baik, tetapi kita juga harus menerima bahwa insiden akan terjadi. Model akan gagal, agen akan berperilaku tidak terduga, data akan bocor, manusia akan menyalahgunakan sistem, penyedia akan membuat kesalahan, dan regulasi akan berkembang.

Pertanyaannya adalah apakah organisasi dapat merespons dengan kecepatan, koordinasi, penilaian, dan akuntabilitas ketika insiden terjadi. Itulah bagaimana AI bergerak dari eksperimen ke infrastruktur yang dapat diandalkan, dan itulah bagaimana ketahanan menjadi budaya.