Pengawasan AI Memiliki Tiga Titik Buta — dan Sebagian Besar Perusahaan Tidak Mengawasi Salah Satu dari Mereka

Sebagian besar percakapan tentang keamanan AI di dalam perusahaan ditujukan pada target yang salah. Tim menghabiskan minggu-minggu untuk mendebat tentang model mana yang harus digunakan, kemudian menghubungkan model tersebut ke email, pembayaran, basis data pelanggan, dan kode mereka, tanpa berhenti untuk bertanya pertanyaan yang lebih sederhana: ketika hal ini melakukan sesuatu, siapa yang mengawasinya, dan apakah ada yang bisa menghentikannya?

Angka-angka menunjukkan bahwa ini akan menjadi mahal. Gartner memperkirakan bahwa setidaknya 15% keputusan kerja rutin akan dibuat secara otonom oleh AI pada tahun 2028, naik dari hampir tidak ada pada tahun 2024. Dalam penelitian yang sama, mereka memperingatkan bahwa lebih dari 40% proyek AI agen akan dibatalkan pada akhir tahun 2027, dan salah satu alasan yang mereka berikan adalah kontrol risiko yang lemah. Baca itu lagi. Proyek-proyek tersebut tidak gagal karena modelnya buruk. Mereka gagal karena tidak ada yang membangun cara untuk mengatur mereka.

Saya membangun sistem tata kelola untuk AI untuk mencari nafkah, jadi saya melihat celah yang sama berulang-ulang. Ada tiga di antaranya. Sebagian besar perusahaan tidak mengawasi salah satu dari mereka dengan baik, dan banyak yang tidak mengawasi sama sekali.

Agen adalah yang keras

Semua orang khawatir tentang agen otonom, dan mereka benar untuk khawatir. Tapi sebagian besar orang khawatir tentang bagian yang salah. Hal yang mengganggu tentang agen adalah tidak bahwa ia bernalar. Tapi bahwa ia bertindak. Ia tidak mengusulkan pengembalian dana; ia membayarnya. Ia tidak mengusulkan email; ia mengirimkannya. Berikan model sebuah set alat dan Anda telah memberinya kemampuan untuk mengubah sistem nyata dan mengubah hal-hal.

Dapatkan itu salah dan kegagalan bukanlah kalimat yang kikuk. Ini adalah uang yang keluar, atau tabel yang diam-diam dihapus dari basis data. Dan ada tepi yang lebih tajam. Injeksi prompt berada di atas daftar risiko OWASP untuk aplikasi LLM, dan untuk alasan yang baik: berikan model teks yang salah dan itu dapat dibujuk untuk melakukan sesuatu yang tidak diminta. Ketika model hanya dapat berbicara, itu adalah gangguan. Ketika model dapat memanggil alat, itu adalah penyerang yang memegang kunci API Anda.

Jawaban standar adalah untuk mencatat semua yang dilakukan agen dan menonton jejaknya. Baik. Tapi jejak adalah deskripsi dari sesuatu yang sudah terjadi. Ini adalah rekaman CCTV setelah kasir telah dikosongkan, berguna untuk penyelidikan, tidak berguna untuk menghentikan pencurian.

Yang sunyi tidak disebutkan

Titik buta kedua tidak pernah membuatnya ke slide, karena itu membosankan. Ini adalah panggilan API biasa. Bukan agen, bukan kerangka kerja, hanya potongan kode di suatu tempat di layanan yang merakit prompt dan menembakkan ke model.

Sebagian besar AI di produksi sebenarnya terlihat seperti ini, dan ini adalah bagian yang paling tidak diatur dari seluruh tumpukan, tepat karena itu sangat biasa. Ini adalah permintaan HTTP yang terkubur tiga lapis di suatu layanan, ditulis oleh insinyur yang tidak pernah mendengar tentang kebijakan AI Anda dan tidak tahu di mana menemukannya. Panggilan itu mungkin mengirim data pelanggan ke model pihak ketiga, atau memicu tindakan di hilir, dan tidak ada yang memeriksa apakah itu seharusnya, dan tidak ada yang independen yang menulis bahwa itu dilakukan.

Yang berantakan adalah orang

Titik buta ketiga adalah orang, yang mengapa itu adalah yang terburuk. Staf Anda telah mengetahui beberapa bulan yang lalu bahwa menempelkan tugas ke ChatGPT atau Claude mendapatkannya dilakukan lebih cepat, jadi mereka melakukannya sepanjang hari, biasanya dari akun pribadi yang tidak dapat Anda lihat. Ini bukanlah hipotetis. Penelitian Cyberhaven tentang penggunaan tempat kerja yang sebenarnya menemukan bahwa sebagian besar karyawan telah menempelkan data perusahaan yang dirahasiakan ke ChatGPT, sebagian besar melalui akun yang perusahaan tidak memiliki jendela untuk melihatnya.

Jika Anda ingin kisah peringatan, itu adalah Samsung. Pada tahun 2023, mereka melarang AI generatif secara internal setelah insinyur menempelkan kode sumber propietary ke ChatGPT, tiga kali dalam waktu kurang dari sebulan. Ini bukanlah aktor jahat. Mereka adalah insinyur yang baik yang mencoba memecahkan masalah lebih cepat. Itu adalah perangkap seluruhnya: kebocoran terlihat identik dengan produktivitas. Dan alat kehilangan data lama Anda tidak akan menangkapnya, karena itu adalah salin-tempel ke tab browser, bukan file yang keluar dari gedung.

Jadi apa yang sebenarnya berhasil

Jika Anda melihat ketiganya dan perbaikan berhenti tentang agen secara khusus dan berubah menjadi satu ide: atur apa yang dilakukan AI sebelum itu dilakukan, bukan setelahnya. Beberapa hal yang benar-benar penting, dipelajari sebagian besar dengan cara yang sulit.

Duduk di depan tindakan, bukan di belakangnya. Ini adalah seluruh permainan, dan itu mengapa saya terus menekankan bahwa observabilitas dan tata kelola tidak sama dengan kata. Dasbor yang memberitahu Anda bahwa agen memindahkan £40.000 kemarin adalah laporan kehilangan. Sesuatu yang dapat menahan transfer itu untuk dilihat oleh manusia sebelum itu keluar adalah kontrol. Jika pengaturan Anda hanya dapat memberitahu Anda apa yang terjadi, Anda tidak memiliki pengawasan. Anda memiliki penglihatan belakang.

Gunakan satu titik periksa, bukan satu per alat. Agen, panggilan API, dan staf menempelkan ke chatbot terasa seperti tiga masalah terpisah, jadi perusahaan membeli tiga alat terpisah dan berakhir dengan tiga set celah di antara mereka. Hal-hal buruk hidup di celah-celah. Semua yang dilakukan AI, dari mana pun asalnya, harus melewati gerbang yang sama.

Simpan log yang AI tidak dapat menulis ulang. Jika sistem yang melakukan sesuatu juga merupakan satu-satunya yang merekam bahwa itu melakukan sesuatu, Anda tidak memiliki catatan. Anda memiliki buku harian yang diizinkan untuk diedit. Ini adalah tepat di mana aturan menuju. Persyaratan pencatatan EU AI Act, Artikel 12, ada sehingga apa yang dilakukan sistem risiko tinggi dapat direkonstruksi oleh seseorang selain sistem. Dalam prakteknya, itu berarti log yang disimpan di luar hal yang dilog, satu yang tidak dapat diubah diam-diam setelah itu.

Letakkan manusia pada panggilan besar yang tidak dapat diambil kembali. Bukan semua, lakukan itu dan Anda akan tenggelam orang dalam persetujuan sampai mereka menyetujui semuanya. Tapi panggilan yang tidak dapat diambil kembali, memindahkan uang, mengekspor data, menghapus catatan, harus berhenti dan menunggu. EU AI Act sudah membuat pengawasan manusia wajib untuk sistem risiko tinggi, Artikel 14. Pengecualian yang perlu diingat adalah bahwa pengawasan hanya berlaku jika orang tersebut memiliki waktu dan konteks untuk benar-benar mengatakan tidak. Persetujuan yang tidak dibaca adalah hanya teater.

Periksa Gut Jujur

Tidak satu dari ketiganya adalah kasus sudut. Mereka adalah cara biasa sebagian besar perusahaan menjalankan AI sekarang, diam-diam, tanpa jaring pengaman. Tim yang melewati beberapa tahun ke depan tanpa insiden yang tidak sedap tidak akan menjadi mereka yang memiliki bagan paling cantik. Mereka akan menjadi mereka yang memutuskan awal bahwa semua yang dilakukan AI mereka, agen, panggilan API, paragraf yang ditempel, melewati satu gerbang sebelum itu terjadi, bukan setelahnya.

Jika Anda ingin tes cepat dari pengaturan Anda sendiri, jawab dua pertanyaan dengan jujur. Dari ketiga permukaan itu, berapa banyak yang dapat Anda lihat? Dan dari yang dapat Anda lihat, berapa banyak yang dapat Anda hentikan? Untuk sebagian besar perusahaan, jawaban jujur untuk yang kedua adalah nol. Itu adalah angka yang perlu diperbaiki pertama.