Pemimpin pemikiran

Dari Niat hingga Tindakan Otonom: Mengatur Agen AI di Lingkungan Perusahaan

Casey Kindiger
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaTata kelola harus berada di dalam produk karena tata kelola menentukan tanggung jawab…
Lihat selengkapnya
  • Tata kelola harus berada di dalam produk karena tata kelola menentukan tanggung jawab mana yang dapat didelegasikan secara aman oleh suatu organisasi.
  • Bidang kendali agentic mengaitkan identitas agen dan kemampuan yang disetujui dengan penegakan kebijakan dan pengawasan eksekusi.
  • Organisasi harus memulai dengan alur kerja yang sempit dan memperluas wewenang agen hanya ketika bukti operasional mendukungnya.

Instruksi seperti “pulihkan layanan” terdengar sederhana sampai agen AI harus menentukan wewenang yang diberikan oleh instruksi tersebut. Memulai ulang aplikasi, mengubah konfigurasi, dan menyediakan infrastruktur mungkin sama-sama mendukung tujuan itu, tetapi masing-masing membawa konsekuensi yang berbeda. Seiring agen beralih dari merekomendasikan tindakan menjadi melaksanakannya, organisasi memerlukan hubungan yang jelas antara tujuan bisnis dan wewenang operasional.

Tata kelola harus menjadi bagian dari produk karena menentukan tanggung jawab apa yang dapat didelegasikan organisasi dengan yakin. Agen yang mampu menyelesaikan tugas secara andal, dalam batas-batas yang disepakati, dan dengan bukti tindakan yang dilakukannya, memberikan landasan yang lebih kuat bagi penerapan di lingkungan perusahaan dibandingkan agen yang wewenangnya masih samar. Tantangan arsitekturalnya adalah menjadikan batas-batas tersebut bagian dari cara sistem beroperasi.

Penerapan batas-batas tersebut membutuhkan cara yang konsisten untuk mengatur tindakan agen. Lapisan kendali agen dapat menyediakan landasan ini dengan menghubungkan identitas agen, kapabilitas yang disetujui, penerapan kebijakan, pengendalian memori, dan pengawasan eksekusi di seluruh sistem perusahaan yang sudah ada. Lapisan ini menetapkan siapa yang meminta suatu tindakan, wewenang apa yang mendasarinya, sumber daya mana yang dapat terdampak, dan bagaimana hasilnya akan diverifikasi.

Berikut tiga panduan praktis yang kami rekomendasikan untuk mengatur agen AI di lingkungan perusahaan:

Hubungkan Kapabilitas dengan Wewenang yang Jelas

Setiap agen harus memiliki pemilik yang dapat diidentifikasi, tujuan yang jelas, dan izin yang sesuai dengan tugasnya. Hal ini sejalan dengan Kerangka Kerja Manajemen Risiko AI NIST, yang memandang tata kelola sebagai fungsi berkelanjutan di sepanjang siklus hidup AI. Untuk agen, prinsip tersebut harus berlaku hingga saat suatu tindakan mengubah sistem perusahaan. Ketika satu agen mendelegasikan tugas kepada agen lain, batas-batas tersebut harus tetap terjaga.

Penemuan kapabilitas membutuhkan kedisiplinan serupa: katalog yang disetujui harus menjelaskan tujuan, masukan, keluaran, lingkungan yang diizinkan, dan potensi efek samping setiap alat. Menemukan suatu alat tidak berarti memperoleh izin untuk menjalankannya, sehingga otorisasi harus diperiksa saat tindakan akan dilakukan. Panduan Agensi Berlebihan OWASP menegaskan perbedaan ini melalui rekomendasi untuk membatasi fungsi dan izin serta menerapkan otorisasi di sistem hilir.

Sebagai ilustrasi, pertimbangkan alur kerja pemulihan layanan ketika agen menyelidiki perlambatan aplikasi dan mengusulkan untuk memulai ulang suatu komponen. Kebijakan mengizinkan akses ke data telemetri yang disetujui, sedangkan pemulaulangan di lingkungan produksi mensyaratkan bukti bahwa redundansi berfungsi dengan baik dan persetujuan dari pemilik layanan. Persyaratan ini mengubah instruksi yang luas menjadi keputusan operasional dengan batasan yang jelas.

Ubah Tujuan Operasional Menjadi Alat yang Terkelola

Jika alat pemulihan yang disetujui tersedia, agen dapat menyiapkan permintaan dengan menggunakan kapabilitas tersebut. Jika tidak ada, agen dapat membantu membuat skrip, panduan operasional, skema masukan, dan deskripsi alat, sehingga tujuan operasional diterjemahkan menjadi kapabilitas yang diusulkan dan dapat diperiksa pihak lain. Inilah nilai praktis pengodean alat oleh agen: agen dapat berkontribusi pada perangkat operasional sekaligus menggunakannya.

Namun, pembuatan perangkat tersebut tidak semestinya otomatis membuatnya dapat dijalankan di lingkungan produksi. Kapabilitas yang diusulkan memerlukan proses rilis independen dengan kepemilikan yang jelas dan dapat dipertanggungjawabkan, pemeriksaan keamanan, kendali versi, serta pengujian yang mencakup masukan tidak valid, cakupan berlebihan, kegagalan parsial, dan eksekusi berulang. Pengujian yang dibuat oleh agen dapat menjadi bukti pendukung, tetapi validasi independen harus memastikan apakah kapabilitas tersebut memenuhi persyaratan operasional sebelum dimasukkan ke katalog yang disetujui.

Batas eksekusi selanjutnya harus membatasi cakupan sumber daya, akses jaringan, durasi, dan pengeluaran, serta mengaitkan setiap persetujuan yang diwajibkan dengan tindakan, sasaran, dan versi tertentu. Pengaturan pemulihan juga perlu mendapat perhatian yang sama karena sebagian perubahan dapat dibatalkan, sementara perubahan lain memerlukan tindakan kompensasi atau tidak dapat dipulihkan. Setiap kapabilitas harus menjelaskan batasan-batasan tersebut dengan terang dan menyediakan cara yang telah teruji bagi operator untuk menghentikan eksekusi lebih lanjut.

Memori menimbulkan tanggung jawab tata kelola lainnya karena pengamatan yang disimpan dapat memengaruhi keputusan di kemudian hari, lama setelah konteks awalnya berubah. Organisasi harus menetapkan informasi apa yang boleh disimpan agen, berapa lama informasi tersebut tersedia, dan batas akses apa yang berlaku, dengan dukungan mekanisme untuk melacak asal-usul informasi dan melakukan koreksi. Izin yang diingat tidak boleh menjadi wewenang tetap, dan pengetahuan operasional yang sudah kedaluwarsa tidak boleh diam-diam menjadi panduan untuk tindakan baru.

Perluas Otonomi Berdasarkan Bukti

Pengawasan yang bermakna bergantung pada bukti yang menghubungkan permintaan awal, kebijakan yang berlaku, persetujuan, versi alat, hasil eksekusi, dan verifikasi setelahnya. Peninjau manusia memerlukan konteks yang cukup untuk menilai perubahan yang diusulkan, ketidakpastiannya, dan pilihan pemulihannya tanpa dibebani detail yang tidak perlu. Untuk mendukung pengawasan tersebut, eskalasi harus mengikuti kondisi yang telah ditetapkan, seperti pengamatan yang saling bertentangan atau keadaan sistem yang tidak dikenal, alih-alih hanya mengandalkan tingkat keyakinan yang dinyatakan agen.

Para pemimpin TI sebaiknya memulai dengan alur kerja yang terbatas dan memperluas kewenangan seiring dukungan bukti operasional, sambil mengukur hasil yang berhasil serta pengecualian, waktu pemulihan, pelanggaran kebijakan, dan upaya pengawasan. Metrik ini membantu menentukan apakah agen siap memikul tanggung jawab yang lebih besar dan di bagian mana perlindungan tambahan atau pengujian diperlukan.

Peluangnya adalah menjadikan pendelegasian dapat dilakukan secara berulang, dengan setiap kemampuan yang disetujui menetapkan apa yang dapat dilakukan agen, dalam kondisi apa, dan dengan akuntabilitas seperti apa. Disiplin tersebut dapat memperkuat ketahanan dan efisiensi sekaligus memberi organisasi dasar yang dapat dipertanggungjawabkan untuk memberikan otonomi yang lebih besar. Pelajaran terpentingnya adalah bahwa tata kelola layak menjadi bagian dari produk karena memungkinkan perkembangan tersebut.

Casey Kindiger adalah Pendiri dan CEO Droma (dulu Grokstream), sebuah perusahaan AI enterprise yang mengembangkan operasi prediktif dan agenik, dan seorang wirausahawan serial yang sebelumnya mendirikan Resolve Systems. Dengan lebih dari 25 tahun di bidang teknologi enterprise, satu dekade memimpin tim riset AI/ML terapan, dan gelar master dalam Psikologi & Neurosains Kesehatan Mental dari King’s College London, ia membawa perspektif yang khas tentang bagaimana kognisi manusia dapat memberi wawasan bagi pengembangan sistem AI yang lebih mampu dan dapat dipercaya.