Pemerintahan AI: Masalah bagi Kebanyakan, Keunggulan bagi Beberapa

Enterprise AI mengumpulkan risiko lebih cepat daripada siapa pun yang menghitungnya. Agen AI mulai menyentuh data pelanggan, kode produksi, dan keputusan bisnis yang konsekuensial, dan di sebagian besar organisasi, mereka diperintah oleh kontrol yang dirancang untuk era teknologi yang sangat berbeda. Pada saat yang sama, dukungan eksternal yang mungkin digunakan perusahaan menjadi tipis. Laboratorium AI terkemuka telah mengurangi komitmen keselamatan sukarela, dan regulasi tetap terfragmentasi di seluruh yurisdiksi. Beban kepercayaan jatuh pada perusahaan yang mengirimkan AI, karena pada akhirnya mereka yang akan menderita hasil negatif ketika dan jika mereka muncul.

Saya melakukan pekerjaan strategis AI dengan perusahaan di hampir setiap industri, dan saya berbicara dengan CEO dan dewan harian. Pola yang konsisten yang saya lihat adalah sebagai berikut: penerapan dipercepat sementara infrastruktur kontrol hanya tidak mengikuti. Pola ini konsisten sehingga saya menganggapnya struktural daripada kegagalan satu perusahaan, dan saya akan membuat prediksi: kita tidak jauh dari CEO yang harus menjelaskan bahwa kesalahan besar menghabiskan biaya bisnis jutaan, dan mereka akan menyalahkan AI. Saya dengan sopan menyarankan bahwa itu bukanlah alasan.

Kabar baiknya adalah bahwa saya beruntung melihat langsung sejumlah perusahaan yang memperlakukan pemerintahan secara berbeda, dan saya percaya bahwa perusahaan-perusahaan tersebut membangun keunggulan jangka panjang yang berkompromi dengan waktu, sementara yang lain menunggu di pinggir lapangan berisiko menjadi usang. Memahami apa yang dilihat oleh beberapa perusahaan ini dimulai dengan memahami ke mana arah trajektori saat ini menuju.

Kita Menuju ke Masalah

Penggunaan saat ini cukup kecil sehingga pengawasan manusia dapat menyerap risiko. Penelitian terbaru Deloitte tentang Keadaan AI di Perusahaan menemukan bahwa hanya seperempat dari organisasi yang disurvei telah memindahkan setidaknya 40 persen dari eksperimen AI mereka ke produksi. Sebagian besar perusahaan masih di awal kurva, menjalankan sejumlah kecil agen dalam kasus penggunaan yang sempit dengan orang-orang melacak setiap bagian output.

Trajektori adalah yang penting. Ketika penerapan meningkat dari dua agen ke 20, ke 200, ke 2.000 dan seterusnya, kompleksitas berkompromi. Setiap agen baru membawa perilakunya sendiri, plus interaksinya dengan setiap sistem yang disentuh dan setiap agen lain yang bekerja bersamanya. Pada dua agen, kepercayaan mudah: Anda mengenal tim, dan Anda meninjau outputnya sendiri. Pada 20, kepercayaan harus menjadi proses, dengan pemilik yang ditentukan, pengujian, dan jalur eskalasi. Ini masih bisa bekerja, tetapi itu menjadi lebih sulit untuk dipertahankan. Pada 200, tinjauan informal menjadi teater, karena tidak ada tim kepemimpinan yang dapat memeriksa aktivitas sebanyak itu. Dan pada 2.000, manusia dalam loop hampir tidak berguna, karena interaksi antara agen, data, dan proses bisnis membentuk jaringan yang melampaui kemampuan pengawasan manual. Pada skala itu, kepercayaan perlu ada pada skala dan tertanam dalam arsitektur teknis perusahaan.

Biaya Menunggu

Infrastruktur kepercayaan yang hilang juga merupakan salah satu alasan untuk pengembalian yang mengecewakan. Dalam Survei CEO Global terbaru PwC, 56% dari CEO mengatakan bahwa AI telah menghasilkan neither peningkatan pendapatan nor pengurangan biaya dalam setahun terakhir. Berdasarkan pengalaman saya, bahkan pengembalian yang dilaporkan terlihat kurang meyakinkan sekali Anda memeriksa ekonomi yang mendasarinya. Sebagian besar perusahaan menghitung jam yang diselamatkan dan menyebutnya sebagai pengembalian investasi. Jam yang diselamatkan menjadi pengembalian keuangan hanya ketika organisasi mengubah kapasitas itu menjadi sesuatu yang lebih berharga: output yang lebih besar, kualitas yang lebih baik, biaya yang dihindari, pertumbuhan yang lebih cepat, dll.

Konversi itu memerlukan kepercayaan. Suatu organisasi dapat memindahkan penilaian manusia ke pekerjaan yang lebih berharga hanya ketika kepemimpinan mempercayai sistem yang mengambil alih pekerjaan yang lebih rendah. Tanpa kepercayaan itu, perusahaan mengumpulkan utang teknis yang tidak berkompromi, dan dari waktu ke waktu, itu secara signifikan mempengaruhi produktivitas. Ini adalah yang terburuk dari kedua dunia: pengeluaran yang meningkat dengan sedikit untuk ditunjukkan. Kepercayaan adalah dasar di mana pengembalian ini diperoleh.

Masalah Lift

Kaitan antara kepercayaan dan adopsi bukanlah hal baru, dan kita dapat kembali ke pertengahan abad ke-20 untuk titik referensi yang masuk akal. Lift tanpa pengemudi ada dekade sebelum siapa pun akan menaikinya. Teknologi itu bekerja, tetapi penumpang akan masuk ke mobil, melihat tidak ada operator, dan keluar kembali. Apa yang berubah bukanlah lift, tetapi kontrol keselamatan di sekitarnya. Setelah mogok operator pada 1945 yang mematikan gedung kantor di seluruh New York, industri merancang kepercayaan ke dalam mesin itu sendiri: tombol berhenti darurat, saluran telepon, pintu yang dibuka kembali ketika mereka bertemu dengan resistensi, dan suara rekaman yang menjelaskan apa yang harus dilakukan. Dalam satu generasi, menaiki lift tanpa manusia di kontrol menjadi sangat biasa sehingga berjalan ke lift dengan orang yang mengemudikan tombol-tombol terasa kuno. Hambatan untuk menghapus manusia dari loop tidak pernah kemampuan. Itu adalah kepercayaan, dan industri itu memecahkannya dengan membangun kontrol yang terlihat, verifiable ke dalam sistem dan meletakkannya di mana setiap penumpang bisa melihatnya.

AI perusahaan berada pada tahap masuk, keluar. Tim kepemimpinan melihat agen bekerja tanpa manusia di kontrol dan ragu-ragu, dan keraguan itu rasional: sebagian besar organisasi belum membangun kontrol setara dengan tombol berhenti, saluran telepon, dan pintu yang tidak akan menutup Anda. Perusahaan yang merancang kontrol tersebut ke dalam sistem mereka akan menjadi yang orang-orang, pelanggan, dan regulator masuk dan tetap di dalam.

Penyedia Hanya Dapat Membawa Sebagian Ini

Banyak pemimpin berharap penyedia AI mereka akan membawa beban kepercayaan. Penyedia dapat menyediakan pengamanan model-level dan kontrol keamanan, dan yang baik melakukannya. Memutuskan apakah penerapan tertentu sesuai untuk data Anda, kewajiban regulasi Anda, pelanggan Anda, dan toleransi risiko Anda tetap menjadi pekerjaan Anda, karena penyedia Anda tidak memiliki konteks untuk melakukannya. Mereka tidak pernah melihat kewajiban Anda, dan mereka tidak memiliki cara untuk menentukan harga apa hasil buruk yang akan menghabiskan biaya Anda.

Komitmen keselamatan penyedia mencakup model mereka, bukan penggunaan Anda. Ini juga tidak permanen: seperti yang ditunjukkan tahun lalu, komitmen tersebut dapat direvisi atau ditarik. Industri yang diatur menyelesaikan pertanyaan ini lama untuk model pihak ketiga, dan standar yang mereka tetapkan adalah yang benar: lembaga yang mengirimkan model memiliki risiko.

Apa yang Dilakukan oleh Beberapa

Perusahaan yang memimpin sedang membuat tiga langkah:

1. Mereka membangun infrastruktur kontrol sekarang, dengan skala yang mereka inginkan untuk mencapai bukan skala yang mereka capai, karena kontrol harus ada sebelum agen yang membutuhkannya.
2. Mereka memasukkan klasifikasi risiko dan mitigasi pada awal proses penerapan daripada sebagai gerbang tinjauan di akhir, sehingga setiap kasus penggunaan diklasifikasikan dan kontrol yang sesuai dengan risiko dari hari pertama.
3. Dan mereka membangun pemerintahan independen dengan otoritas nyata untuk memverifikasi sistem ini berperilaku seperti yang diinginkan, tetap fleksibel cukup untuk berkembang dengan teknologi. Kemandirian membuat verifikasi kredibel. Fleksibilitas menjaganya tetap mutakhir.

Perlu disebutkan bahwa beberapa regulator belum secara eksplisit menetapkan aturan sekitar penggunaan dan pengawasan AI generatif, tetapi itu tidak berarti kita tidak memiliki apa-apa untuk dipandu. Regulator memiliki aturan yang mapan untuk mengelola model tradisional, dan kita dapat menggunakan itu sebagai panduan. Pada April, Federal Reserve, OCC, dan FDIC mengeluarkan pedoman risiko model yang direvisi yang mencerminkan dekade praktik, pendekatan berbasis prinsip yang mencakup inventori model, kontrol risiko yang sesuai dengan eksposur, validasi independen, pemantauan berkelanjutan, dan akuntabilitas perusahaan untuk produk vendor, dan mereka mengarahkan lembaga untuk menerapkan praktik yang sama untuk AI di atas. Pesan itu jelas: prinsip yang berhasil diketahui, dan aturan AI formal tidak datang segera. Perusahaan yang menunggu kejelasan regulasi akan menunggu sementara beberapa perusahaan bertindak. Ini adalah mengapa industri yang diatur berat, yang sering digambarkan sebagai lambat, memasuki era ini dengan keunggulan. Mereka menghabiskan dekade membangun mesin kepercayaan yang semua orang sekarang butuhkan, dan mereka tidak menunggu izin untuk menggunakannya.

Pertanyaan yang Penting

Pembagian sudah terbentuk. Sebagian besar perusahaan memperlakukan pemerintahan sebagai biaya: sesuatu yang diserap, ditoleransi, dan diminimalkan. Beberapa perusahaan memperlakukannya sebagai infrastruktur yang memungkinkan mereka memindahkan orang ke pekerjaan yang lebih berharga dan berkembang dengan kepercayaan. Setiap tim kepemimpinan berada di satu sisi atau lain, apakah mereka telah memilih secara sadar atau tidak, dan kesenjangan itu berkompromi dengan sunyi sebelum skala yang akan mengeksposnya. Tidak ada yang berpikir dua kali tentang memasuki lift hari ini, karena kepercayaan dibangun ke dalamnya. Perusahaan yang melakukan hal yang sama untuk AI akan berkembang melewati semua orang yang masih memutuskan untuk masuk.