Pemimpin pemikiran

Mengapa Tata Kelola AI Selalu Gagal

mm
Tambahkan Unite.AI ke sumber pilihan Anda di Google

Masalahnya bukan bahwa organisasi tidak memiliki kebijakan AI. Masalahnya adalah kebijakan tersebut tidak benar-benar berfungsi.

Di suatu tempat antara PDF yang rapi dan model yang diterapkan, niat menguap. Tim melakukan improvisasi. Pengecualian menumpuk. Tata kelola berubah dari sistem menjadi negosiasi — dan di industri yang diatur seperti kesehatan dan ilmu kehidupan, kesenjangan itu tidak hanya memalukan. Ini adalah liabilitas operasional.

Solusi bukanlah dokumentasi yang lebih banyak. Solusi adalah memperlakukan tata kelola seperti perangkat lunak.

Telah Terukur: Kesenjangan Tata Kelola

Adopsi AI telah dipercepat secara dramatis, sedangkan infrastruktur tata kelola belum mengikuti. Studi September 2025 oleh Ernst & Young menemukan bahwa hanya 10% perusahaan yang sepenuhnya siap untuk memeriksa sistem AI. Pada saat yang sama, penelitian baru oleh Ponemon menemukan bahwa 92% organisasi mengatakan bahwa AI generatif telah mengubah cara karyawan mengakses dan berbagi informasi, namun hanya 18% yang telah sepenuhnya mengintegrasikan tata kelola AI ke dalam program risiko internal.

Polanya konsisten: AI sudah tertanam dalam pekerjaan sehari-hari. Pengawasan masih tertinggal. Dan semakin lama tata kelola tetap dalam bentuk dokumen, semakin buruk kesenjangan itu.

Tata Kelola yang Diterapkan

Konsepnya sangat sederhana: jika persyaratan tata kelola tidak dapat gagal dalam proses pembangunan, maka tidak dapat melindungi produksi.

Tata kelola yang nyata memiliki input, output, titik penerapan, dan hasil yang dapat diamati. Ini berjalan terus-menerus — tidak hanya triwulanan. Dan yang paling kritis, ini menghasilkan bukti sebagai hasil dari pekerjaan, bukan sebagai ritual kepatuhan terpisah yang ditambahkan setelahnya.

Model operasional terlihat seperti ini:

Keputusan → Kontrol → Bukti → Metrik

Keputusan menentukan niat. Kontrol menerapkan perilaku. Bukti membuktikan eksekusi. Metrik memvalidasi hasil. Ini bukanlah ide baru — ini adalah cara sistem keamanan dan kepatuhan yang matang sudah beroperasi. Perubahan adalah menerapkan logika yang sama pada AI.

Kontrol bukanlah saran. Bukti bukanlah dokumentasi. Dan jika kontrol memerlukan upaya manual untuk menghasilkan bukti, maka itu bukan kontrol. Itu adalah harapan.

Tingkat Risiko, Bukan Teater Risiko

Tidak semua sistem AI layak mendapatkan pengawasan yang sama. Mengobati alat internal dengan tingkat risiko yang rendah dengan ketat seperti model pendukung keputusan klinis adalah cara organisasi baik menghentikan atau mengekspos diri secara tidak perlu.

Kerangka Manajemen Risiko AI NIST, yang dirilis pada 2023, menyediakan struktur dasar untuk memikirkan ini — memetakan risiko AI melintasi empat fungsi: Mengatur, Membuat Peta, Mengukur, dan Mengelola. Model tata kelola perusahaan yang fungsional membangun logika ini dengan tingkat risiko yang praktis:

Tingkat Ruang Lingkup Kontrol
Minimal Alat internal, tidak ada data sensitif Pendaftaran, pemeriksaan ringan
Terbatas Menghadap pengguna, risiko moderat Dokumentasi, tinjauan promt, pengujian keamanan
Tinggi Keputusan yang diatur atau berdampak tinggi Penilaian risiko formal, logging audit, kontrol perubahan ketat
Dilarang Kasus penggunaan yang tidak dapat diterima Diblokir pada desain dan penerapan

Apa yang diberikan kepada tim teknik adalah sesuatu yang jarang mereka dapatkan dari proses tata kelola: kejelasan. Tidak “apa yang harus kita lakukan?” tetapi “tingkat apa ini, dan apa yang memicunya?”

Tata kelola yang baik menghilangkan ketidakjelasan. Tata kelola yang hebat menghilangkan perdebatan.

Keputusan sebagai Kode: Dari Nasihat ke Eksekusi

Kebijakan yang ditulis dalam dokumen adalah nasihat. Kebijakan yang dikodekan ke dalam pipa adalah dapat diterapkan.

Cara yang sama infrastruktur divalidasi sebelum penerapan, sistem AI dapat dihalangi oleh pemeriksaan otomatis yang memverifikasi apakah kasus penggunaan terdaftar, apakah dokumentasi yang diperlukan ada, apakah hasil evaluasi memenuhi ambang batas yang ditentukan, dan apakah akses ke data sensitif mengikuti prinsip akses minimal. Pemeriksaan ini berjalan di CI/CD. Mereka tidak menunggu komite. Mereka tidak bergantung pada ingatan atau niat baik seseorang.

Open Policy Agent — proyek Cloud Native Computing Foundation yang telah lulus — menunjukkan bagaimana aturan dapat di versi, di tinjau, dan diterapkan secara konsisten di seluruh ekosistem teknik. Pola ini dipahami. Kesenjangan itu adalah tim AI tidak menerapkan hal ini.

Sistem AI yang paling aman bukanlah yang memiliki kebijakan terbaik. Ini adalah yang secara teknis tidak dapat melanggar kebijakan tersebut.

Kontrol Spesifik LLM: Di Mana Hal Menjadi Menarik

AI generatif memperkenalkan kategori risiko yang kerangka tata kelola tradisional tidak dirancang untuk — injeksi prompt, manipulasi output, penyalahgunaan alat. Ini bukan kasus tepi. Ini adalah sifat struktural dari cara LLM bekerja, dan seperti yang dilaporkan oleh Unite.AI tentang tata kelola AI agen, kesenjangan tata kelola menjadi lebih jelas ketika sistem AI berpindah dari menjawab pertanyaan ke mengambil tindakan.

Tata kelola yang efektif untuk sistem GenAI memerlukan kontrol yang dibangun khusus untuk perilaku LLM: pemisahan ketat antara instruksi sistem dan input pengguna, akses alat yang dikontrol dan daftar putih, validasi output sebelum eksekusi, pengamanan terhadap eksfiltrasi data, dan default yang aman untuk kegagalan yang elegan.

Ini memetakan langsung ke kelas kerentanan yang didokumentasikan dalam OWASP Top 10 untuk Aplikasi LLM – kerangka kerja yang dipimpin komunitas sekarang mencakup lebih dari 600 ahli kontributor di 18 negara. Tata kelola LLM kurang tentang apa yang diketahui model dan lebih tentang apa yang diizinkan sistem untuk dilakukan.

Bukti Adalah Infrastruktur, Bukan Kertas Kerja

Pengawas tidak mempercayai niat. Mereka mempercayai catatan.

Di sistem di mana tata kelola diterapkan, bukti dihasilkan secara otomatis: kartu model yang menjelaskan penggunaan dan keterbatasan yang dimaksud, dokumentasi data yang mencakup provenance, laporan evaluasi yang menunjukkan kinerja dan risiko yang diketahui, log yang menangkap keputusan dan perubahan. Artefak ini tidak ada untuk audit. Mereka ada karena sistem memerlukannya untuk berfungsi.

Posisi audit yang paling kuat adalah ketika bukti sudah ada sebelum siapa pun meminta. Ini bukan teori — regulator sudah bergerak ke arah ini. Seperti yang dicatat dalam analisis tentang tata kelola AI yang dapat dibela, pertanyaan yang akan ditanyakan regulator segera tidak hanya “apakah Anda menyimpannya?” tetapi “bisakah Anda membuktikan apa yang terjadi, di bawah kebijakan apa, menggunakan data apa, dan dengan wewenang siapa?”

Argumen Nyata: Tata Kelola sebagai Pendorong

Mitologi yang bertahan adalah bahwa tata kelola dan kecepatan berlawanan. Dalam prakteknya, tata kelola yang dirancang dengan buruk memperlambat tim. Tata kelola yang dirancang dengan baik menghilangkan gesekan.

Ketika kontrol distandarisasi, pemeriksaan diotomatisasi, dan harapan dikodifikasi, tim berhenti bernegosiasi dan mulai membangun. Rilis menjadi lebih dapat diprediksi. Keputusan berhenti memerlukan heroisme dari sekelompok kecil spesialis yang telah menghafal dokumen kebijakan.

Tata kelola berskala ketika itu adalah infrastruktur. Ini tidak berskala ketika itu adalah getaran.

Tujuan tidak pernah kontrol untuk kepentingan sendiri. Ini adalah momentum tanpa kekacauan – dan organisasi yang melakukan ini dengan benar bukanlah mereka yang memiliki PDF yang paling menyeluruh. Mereka adalah yang membuat perilaku yang benar menjadi jalur yang paling mudah.

Sitaram Srivatsavai adalah pemimpin pemikiran di bidang rekayasa CRM dengan 18+ tahun pengalaman di CRM, iOS, dan platform web. Memimpin tim global yang mengembangkan perangkat lunak perusahaan skala besar, dengan fokus pada tinjauan arsitektur, modernisasi otomatisasi, dan memastikan keandalan, kepatuhan regulasi, dan kinerja yang dapat diskalakan.