Manusia di Dalam Lingkaran Bukanlah Tata Kelola

Jawaban yang jelas untuk risiko AI adalah “menambahkan manusia ke dalam lingkaran.” Namun, frasa ini menyembunyikan bagian yang sulit.

Manusia di dalam lingkaran hanya bekerja jika lingkaran tersebut dirancang. Jika tidak, manusia menjadi salah satu dari tiga kegagalan:

• Sebuah bottleneck, karena meninjau output AI membutuhkan waktu sama lama dengan melakukan pekerjaan secara manual.
• Sebuah stempel karet, karena peninjau kelebihan beban, tidak dapat melihat bukti, tidak memahami konteks bisnis, dan mengklik setuju untuk menjaga antrian berjalan.
• Atau kegagalan ketiga: zona kerusakan. Dengan menambahkan manusia ke dalam lingkaran, lembaga menamai seseorang yang bertanggung jawab tetapi tidak memberikan orang tersebut kontrol yang sebenarnya, tidak ada waktu, tidak ada wewenang, tidak ada kemampuan untuk menghentikan sistem, dan tidak ada jalur untuk mengubah jalur berikutnya. Konsekuensi jatuh pada manusia, sementara substrat keputusan tetap tidak berubah.

Inilah tempat di mana banyak percakapan sekitar AI perusahaan salah. Kami berbicara tentang apakah manusia harus meninjau pekerjaan, tetapi tidak tentang bagaimana tinjauan tersebut dirancang. Kami menganggap bahwa menambahkan orang menciptakan tata kelola. Ini tidak benar. Tata kelola bergantung pada apakah peninjau memiliki kontrol yang berarti, visibilitas yang berarti, dan kemampuan untuk memperbaiki sistem setelah keputusan dibuat.

Tinjauan manusia sangat berharga, tetapi hanya ketika diposisikan di tempat di mana penilaian sangat penting dan didukung oleh konteks yang cukup untuk membuat penilaian tersebut bermakna.

Gerbang Validasi Lebih dari Sekedar Tinjauan

Gerbang bukanlah tombol pause. Ini adalah antarmuka verifikasi.

Ketika agen atau otomatisasi menghasilkan proposal – draft respons, tindakan yang disarankan, klasifikasi, otorisasi pembayaran, rute kasus, paket pengembalian, atau surat penolakan – peninjau harus segera memahami apa yang akan terjadi dan mengapa.

Gerbang validasi yang sebenarnya harus menunjukkan apa yang penting: tindakan yang diusulkan; sumber di baliknya; aturan yang diperiksa; transisi bisnis yang akan terjadi; wewenang yang digunakan; catatan audit yang akan ditulis; ketidakpastian atau pengecualian yang memicu tinjauan; dan pilihan yang tersedia: setuju, edit, tolak, atau eskalasi.

Setiap elemen ini ada untuk alasan tertentu. Tindakan yang diusulkan menjelaskan apa yang sistem ingin lakukan. Bukti yang mendukung menjelaskan mengapa. Aturan dan wewenang menunjukkan apakah rekomendasi sesuai dengan kebijakan organisasi. Ketidakpastian memberitahu peninjau mengapa pekerjaan mencapai manusia pada awalnya. Bersama-sama, mereka mengubah tinjauan dari pekerjaan menjadi verifikasi.

Jika peninjau harus merekonstruksi semua ini secara manual, gerbang tidak dibangun.

Tujuan gerbang bukan hanya untuk menghentikan kesalahan sebelum terjadi. Tujuan kedua lebih penting. Ini menangkap penilaian lembaga.

Inilah tempat di mana penerapan perusahaan mulai berkompound. Setiap keputusan yang sebenarnya menangkap penilaian lembaga – tetapi hanya jika gerbang menangkap mengapa.

Pengesahan bukanlah data, tetapi verifikasi adalah.

Klik persetujuan yang ditekan tanpa melihat tidak menangkap apa pun yang berguna. Keputusan yang diperiksa, diedit, ditolak, atau dinaikkan dengan kode alasan menangkap sinyal yang versi berikutnya dari sistem dapat belajar dari. Jika peninjau mengklik setuju tanpa melihat, sistem tidak belajar apa pun. Jika peninjau mengedit, menolak, menaikkan, dan memberikan alasan, lembaga menangkap penilaian.

Dari waktu ke waktu, penilaian-penilaian ini menjadi salah satu aset paling berharga organisasi. Mereka mengungkapkan di mana kebijakan tidak jelas, di mana alur kerja secara konsisten rusak, di mana pengecualian terjadi paling sering, dan di mana otomatisasi harus menjadi lebih percaya diri – atau lebih terbatas. Tujuan bukan hanya untuk mengotomatisasi lebih banyak pekerjaan. Ini adalah untuk meningkatkan kualitas keputusan masa depan dengan menangkap bagaimana orang berpengalaman menggunakan penilaian hari ini.

Tanggung Jawab Memerlukan Lebih dari Sekedar Pemilik Bernama

Perbedaan itu mengubah cara organisasi harus berpikir tentang tanggung jawab juga.

Gerbang tidak cukup. Pemilik bernama tidak cukup. Catatan audit tidak cukup.

Tanggung jawab memerlukan penerimaan konsekuensi: kesalahan harus jatuh di tempat yang dapat mengubah perilaku masa depan.

Sebelum menerapkan AI ke dalam pekerjaan yang memiliki konsekuensi, organisasi harus bertanya lima pertanyaan:

1. Siapa yang menerima konsekuensi jika tindakan ini salah?
2. Apakah orang atau sistem tersebut memiliki kontrol yang berarti sebelum tindakan?
3. Apakah pemilik yang bertanggung jawab dapat memeriksa, membatasi, membatalkan, atau menghentikan agen atau otomatisasi?
4. Apakah tanggung jawab sebanding dengan kontrol yang dimiliki pemilik?
5. Apa yang berubah sebelum jalur berikutnya: keterampilan, aturan, izin, alur kerja, otomatisasi, gerbang validasi, kode alasan, pelatihan, atau kelas kepercayaan?

Gerbang manusia tanpa kontrol yang berarti bukanlah tata kelola. Ini adalah zona kerusakan.

Lingkaran tidak tertutup sampai penilaian yang ditangkap mengubah sesuatu: keterampilan, aturan, izin, ambang batas eskalasi, otomatisasi, tes, antarmuka tinjau, rencana pelatihan, sampel audit, atau kelas kepercayaan. Konsekuensi yang tidak mengubah jalur berikutnya hanya merupakan insiden, bukan pembelajaran. Organisasi membaik ketika setiap tinjauan yang berarti mengubah versi berikutnya dari sistem, baik dengan memperbarui kebijakan, memperketat izin, memperbaiki otomatisasi, atau memperkuat pengalaman validasi itu sendiri.

Guardrail Mencegah Kegagalan. Evaluasi Membangun Kepercayaan.

Organisasi juga perlu membedakan antara guardrail dan evaluasi. Mereka memecahkan masalah yang berbeda yang memerlukan solusi.

1. Guardrail menerapkan perilaku pada saat runtime. Pemeriksaan skema, pemblokir parameter yang tidak aman, pemeriksaan izin, redaksi PII, pertahanan injeksi prompt, dan batasan penggunaan alat ada untuk mencegah perilaku yang tidak aman sebelum terjadi.
2. Evaluasi mengukur kinerja dari waktu ke waktu. Mereka memeriksa kualitas, drift, pilihan alat, kualitas eskalasi, biaya, latensi, dan kepatuhan kebijakan. Mereka memberitahu organisasi apakah sistem terus mempertahankan kepercayaan.

Satu melindungi keputusan saat ini. Yang lain memperbaiki keputusan masa depan.

Guardrail dan evaluasi memiliki tujuan yang berbeda, dan begitu juga orang-orang yang bertanggung jawab atasnya. Platform menerapkan kebijakan. Operator mengevaluasi hasil. Bersama-sama, mereka menciptakan loop umpan balik yang memungkinkan sistem untuk diperbaiki tanpa mengorbankan tata kelola.

Sistem mengambil kebijakan, catatan klaim, dokumen pendukung, kasus sebelumnya, dan buku pedoman organisasi. Ini mempersiapkan paket triase, mengusulkan tingkat keparahan, mengidentifikasi bukti yang hilang, dan membuka subkasus penipuan jika aturan memerlukan. Penyesuaian melihat gerakan yang diusulkan, bukti yang mendukung, kode alasan, catatan audit, dan konsekuensi dari persetujuan. Sebagai gantinya untuk merekonstruksi kasus dari beberapa sistem, peninjau dapat fokus pada memvalidasi rekomendasi itu sendiri. Hanya setelah validasi, otomatisasi memperbarui kasus, mengeluarkan pembayaran, meminta dokumen tambahan, atau menutup pekerjaan.

Alur kerja klaim menunjukkan bagaimana ini bekerja dalam praktek. Agen tidak menghafal proses. Ini bertindak di dalam peta yang dipublikasikan.

Arsitektur Harus Mengikuti Pekerjaan

Prinsip yang sama berlaku terlepas dari bagaimana pekerjaan itu sendiri diatur. Tidak semua masalah perusahaan memiliki bentuk yang sama, dan tata kelola harus mencerminkan hal itu. Beberapa pekerjaan dimulai dengan tujuan. Beberapa dimulai dengan kasus; beberapa dimulai dengan alur kerja yang stabil. Arsitektur harus mengikuti pekerjaan, bukan sebaliknya.

Penerapan yang dipimpin oleh tujuan dimulai dengan hasil bukan dengan jalur yang ditentukan. Selesaikan eskalasi pelanggan ini. Kurangi risiko churn pada akun ini. Investigasi sinyal penipuan ini. Siapkan rencana perpanjangan ini. Tujuan sangat jelas, tetapi rute mungkin berubah ketika informasi baru tersedia. Agen utama memecah pekerjaan, menggunakan agen dan alat yang disetujui, memanggil otomatisasi yang disetujui, dan menugaskan pekerjaan manusia dalam batas yang dikelola. Kekuatannya adalah fleksibilitas. Risikonya adalah bahwa fleksibilitas tanpa batasan yang jelas menjadi tidak dapat diprediksi.

Itulah mengapa sistem yang fleksibel memerlukan tata kelola yang lebih kuat, bukan kurang. Batasan alur kerja yang jelas, izin otomatisasi, hak keputusan, catatan audit, dan aturan eskalasi menjadi lebih penting ketika AI menjadi lebih mampu. Semakin banyak kebebasan yang dimiliki agen untuk menentukan jalur sendiri, semakin hati-hati lembaga harus mendefinisikan batasan di mana dapat beroperasi.

AI perusahaan tidak akan berhasil karena setiap keputusan memiliki manusia di dalam lingkaran.

Ini akan berhasil karena lembaga belajar bagaimana membangun lingkaran itu sendiri.