Mengapa Pengadaan Menjadi Alat Regulasi Paling Kuat AI

Untuk semua perhatian yang diberikan pada legislasi AI, beberapa aturan paling berdampak yang mengatur teknologi ini mungkin berasal dari tempat yang benar-benar tidak terduga: departemen pengadaan.

Seperti banyak permulaan regulasi di Amerika Serikat, California memberikan contoh awal: negara bagian ini telah menetapkan persyaratan khusus untuk membeli produk dan layanan yang menggunakan AI generatif. Entitas negara harus menilai risiko yang terkait dengan pembelian GenAI, dengan penggunaan berisiko sedang dan tinggi menerima pengawasan tambahan dari Departemen Teknologi California (CDT). Permintaan penawaran harus menyertakan bahasa pengungkapan GenAI, dan vendor mungkin harus mengungkapkan penggunaan teknologi tersebut bahkan ketika AI hanya bersifat insidental pada produk atau layanan yang dibeli.

Lebih menarik lagi adalah apa yang terjadi setelah kesepakatan selesai. California’s panduan pengadaan GenAI memperluas pengawasan di luar pembelian awal. Manajer kontrak diharapkan memantau teknologi GenAI dari waktu ke waktu karena perubahan tertentu pada teknologi dapat memicu penilaian risiko lagi.

Hal ini mengubah situasi bagi vendor karena melewati proses pengadaan tidak lagi sekadar menjawab kuesioner keamanan dan menyerahkan beberapa dokumentasi. Tata kelola AI mulai menjadi bagian dari biaya masuk untuk berbisnis di California. Dan meskipun ini merupakan situasi saat ini di California, hal ini sering mempengaruhi negara bagian lain ketika tidak ada legislasi federal, yang berarti perusahaan akan pendek bila menganggap ini hanya masalah pengadaan di California.

Ketika Pembeli Mulai Membuat Aturan

Bagaimana departemen pengadaan menjadi titik awal tata kelola AI? Pemerintah dapat menghabiskan bertahun-tahun memperdebatkan legislasi, tetapi aturan pengadaan dapat lebih gesit karena mereka memiliki audiens yang jauh lebih langsung: siapa pun yang menginginkan kontrak.

Tanpa legislasi AI yang komprehensif, pembeli telah menemukan cara lain untuk menetapkan harapan mereka sendiri terkait AI. Mereka dapat memutuskan apa yang perlu diketahui tentang penggunaan teknologi oleh vendor, bukti apa yang diharapkan mereka lihat, dan tingkat risiko apa yang bersedia mereka terima sebelum menandatangani kontrak. Bagi pembeli besar, terutama pemerintah dan perusahaan besar, persyaratan tersebut dapat memiliki bobot yang signifikan.

Tim pengadaan sektor swasta memiliki alasan mereka sendiri untuk mulai mengajukan pertanyaan tentang hal-hal seperti di mana AI digunakan atau bukti apa yang ada bahwa kontrol yang tepat telah diterapkan. Perusahaan sudah menghabiskan waktu yang cukup banyak untuk memeriksa praktik keamanan dan privasi pemasok mereka. Pengenalan AI menambah serangkaian risiko lain yang semakin perlu dipahami pembeli sebelum menyerahkan data kepada vendor, menempatkan teknologinya ke dalam proses kritis, atau membiarkannya membuat keputusan yang memengaruhi pelanggan dan karyawan.

Risiko AI Anda Mungkin Milik Orang Lain

Salah satu hal penting tentang pendekatan California adalah pengakuannya bahwa semakin sulit menggambar batas yang jelas di sekitar penggunaan AI oleh sebuah organisasi. Baik organisasi tersebut telah membeli penawaran AI mereka sendiri, bekerja dengan firma konsultan yang menyediakan layanan, atau sekadar menggunakan layanan berbasis cloud, AI tertanam dalam organisasi atau rantai pasokan mereka.

Proses pengadaan California memperhitungkan sebagian hal ini. Proses ini mencakup pembelian TI dan non-TI yang melibatkan GenAI, termasuk konsultan yang menggunakan teknologi tersebut, dan mengharuskan penilaian risiko ketika GenAI teridentifikasi selama pengadaan.

Proses ini mirip dengan saat tim keamanan siber menyadari bahwa melindungi sistem mereka sendiri tidak cukup jika pemasok yang memiliki akses ke data atau infrastruktur mereka memiliki kontrol yang lemah. Kesadaran itu menjadikan keamanan siber pihak ketiga bagian penting dari manajemen risiko vendor, arah yang tampaknya juga diambil oleh AI.

Hal ini juga menimbulkan masalah canggung bagi organisasi yang telah membangun program terpisah untuk keamanan, privasi, tata kelola AI, dan setiap kewajiban kepatuhan baru yang muncul. Risiko tidak menghormati batasan organisasi tersebut. Sebuah aplikasi AI dapat menimbulkan pertanyaan privasi, paparan keamanan, dan kewajiban regulasi secara bersamaan.

Membangun silo lain untuk mengaturnya hanya menambah satu tempat lagi di mana sesuatu dapat terlewat.

Kesulitan Membuktikan Kepatuhan Sekali Saja

Komplikasi tambahan pada masalah yang sudah kompleks adalah bahwa AI bersifat dinamis. Model diperbarui, vendor meluncurkan fitur, karyawan menemukan penggunaan alat yang tidak diperkirakan saat dibeli, dan data berubah. Fluiditas ini berarti regulasi juga harus berubah.

Namun banyak aktivitas kepatuhan masih dibangun di sekitar satu titik waktu. Audit akan datang, sehingga bukti dikumpulkan. Pelanggan mengirim kuesioner, sehingga seseorang mencari jawaban. Persyaratan baru muncul, dan proyek kepatuhan lain dimulai.

Pendekatan ini sudah terasa rumit, tetapi dengan AI, menjadi semakin sulit untuk dipertahankan. Penilaian risiko yang dilakukan saat produk dibeli mungkin sangat akurat pada saat itu, tetapi menjadi sangat usang satu tahun kemudian.

California tampaknya menyadari hal ini, karena pedoman pemantauan kontrak memanggil evaluasi berkelanjutan atas hasil GenAI, termasuk output yang tidak akurat, konten yang dibuat-buat, dan bias. Perubahan atau penambahan pada teknologi GenAI dalam kontrak yang sebelumnya memerlukan konsultasi CDT juga dapat memerlukan penilaian ulang.

Kerangka NIST AI Risk Management Framework mengambil pandangan serupa tentang manajemen risiko AI, memperlakukannya sebagai proses berkelanjutan sepanjang siklus hidup AI. Melakukan hal ini akan memerlukan pola pikir yang berbeda dari organisasi yang terbiasa bersiap untuk audit berikutnya dan kemudian menghela napas lega ketika selesai.

Pengadaan Menginginkan Bukti, Bukan Kepanikan

Ada banyak kegembiraan seputar kepatuhan otomatis, terutama karena perusahaan berusaha mengikuti semakin banyaknya persyaratan keamanan, privasi, dan AI. Daya tariknya dapat dimengerti, tetapi bahaya muncul ketika efisiensi disamakan dengan tata kelola.

Menyelesaikan alur kerja tidak memberi tahu Anda apakah risiko yang mendasarinya telah berubah. Misalnya, vendor yang enam bulan lalu tidak menggunakan AI untuk layanan tertentu mungkin sudah menggunakannya sekarang. Inilah mengapa kepatuhan harus berfungsi lebih seperti lingkaran daripada garis akhir. Organisasi perlu mengetahui apa yang mereka atur, memeriksa bahwa kontrol terus melakukan apa yang seharusnya mereka lakukan, dan memasukkan risiko serta persyaratan baru ke dalam proses seiring munculnya.

Jika dilakukan dengan tepat, hal itu juga membuat pengadaan jauh lebih tidak menyakitkan. Ketika seorang pelanggan menanyakan bagaimana AI diatur, jawabannya tidak terletak dalam dokumen yang ditulis seseorang tahun lalu untuk audit. Ada kumpulan bukti yang sedang berlangsung yang menunjukkan bagaimana risiko dikelola dalam praktik, yang semakin penting secara komersial.

California menunjukkan bagaimana pengadaan dapat mengubah prinsip tata kelola AI menjadi persyaratan yang harus dipenuhi vendor jika mereka menginginkan bisnis tersebut. Pembeli sektor publik lainnya dapat melakukan hal yang sama, sementara tim pengadaan perusahaan memiliki banyak insentif untuk mengajukan pertanyaan yang lebih sulit kepada pemasok mereka.

Perusahaan pada akhirnya mungkin menyadari bahwa tata kelola AI bukan sesuatu yang mereka lakukan hanya karena regulator memerlukannya. Mereka akan mengatur AI karena tim pengadaan memutuskan untuk meminta mereka membuktikannya, yang akan mereka lakukan dengan senang hati demi memenangkan bisnis.