Peta dan Rel: Membangun Arsitektur Aman untuk AI Perusahaan

Bagian satu berakhir dengan klaim: AI perusahaan akan berhasil ketika lembaga belajar bagaimana membangun loop itu sendiri. Esai ini tentang apa yang loop berdiri. Seorang agen yang bekerja di perusahaan nyata membutuhkan dua hal yang perusahaan hampir pasti tidak memiliki hari ini: peta pekerjaan, dan rel untuk konsekuensi.

Peta

Berikut adalah fakta tidak nyaman di bawah sebagian besar program AI yang terhambat: perusahaan tidak dapat memberikan agen deskripsi pekerjaannya sendiri, karena tidak ada deskripsi seperti itu. Sebagian besar perusahaan telah memetakan noun — database penuh dengan pelanggan, faktur, klaim, kontrak. Hampir tidak ada yang telah memetakan pekerjaan: apa yang dapat dilakukan pada hal-hal tersebut, oleh siapa, di bawah kondisi apa, dan apa yang terjadi setelah itu. Pengetahuan itu hidup di kepala orang berpengalaman dan dalam bagan proses yang menjelaskan bagaimana pekerjaan dirancang lima tahun yang lalu, bukan bagaimana itu berjalan hari ini.

Seorang pegawai baru manusia menutup kesenjangan itu dengan magang — menonton, mencoba, bertanya. Seorang agen tidak belajar dengan cara itu. Ia membutuhkan pekerjaan yang ditulis: hal-hal yang ditangani bisnis dan di mana setiap satu berdiri, pekerjaan yang dilakukan pada mereka, keputusan yang memilih jalur, siapa yang diizinkan untuk mendorong hal-hal ke depan, dan apa yang terjadi ketika mereka melakukannya — catatan yang berubah, persetujuan yang dibutuhkan, cara itu dibatalkan. Deskripsi yang ditulis itu adalah peta.

Tiga aturan menjaga peta hidup. Ia harus ditulis oleh orang-orang yang memiliki pekerjaan dan dibuat aman oleh insinyur — peta yang hanya dapat diperbarui oleh insinyur menjadi usang, dan peta yang hanya dapat diedit oleh operator menjadi tidak aman. Ia harus diberi versi, karena agen tidak boleh bertindak melawan makna yang berubah diam-diam. Dan ia harus dipublikasikan — dapat dibaca oleh agen, reviewer, dan auditor. Jika agen harus menemukan bisnis Anda dengan menjahit panggilan API, Anda telah mengekspos sistem, bukan menjelaskan pekerjaan. API adalah bagaimana hal-hal dieksekusi. Peta adalah bagaimana pekerjaan dipahami.

Peta itu penting karena alasan yang outlasts setiap siklus produk: agen bukanlah aset yang tahan lama. Peta itu. Model akan diperbaiki dan diganti, kerangka agen akan datang dan pergi — dan deskripsi pekerjaan Anda sendiri, dengan aturan dan pengecualian dan koreksi yang terkumpul, adalah apa yang setiap agen warisan pada hari pertama.

Rel

Peta itu mengatakan apa yang mungkin terjadi. Rel itu membuatnya terjadi secara tepat.

Beberapa pekerjaan yang disentuh agen adalah penilaian: membaca email yang kacau, menimbang pengecualian, merekomendasikan jalur. Tapi banyak dari itu adalah pengulangan — periksa yang sama, pembaruan yang sama, posting yang sama, ribuan kali. Pengulangan tidak membutuhkan kecerdasan. Ia membutuhkan untuk menjadi tepat. Model adalah probabilistik oleh desain, dan untuk eksekusi, mungkin benar adalah salah: posting pembayaran tidak memiliki varian yang dapat diterima, tidak peduli seberapa baik modelnya. Pekerjaan yang stabil milik rel — otomatisasi deterministik yang berjalan dengan cara yang sama setiap kali, biaya tidak ada perjalanan, dan meninggalkan jejak audit yang bersih.

Ini adalah tempat di mana dua kurva berdivergensi. Membangun rel itu semakin mudah, karena menjelaskan pekerjaan, menghasilkan kode, menulis tes, dan memperbaiki jalur yang rusak adalah jenis pekerjaan yang dipercepat AI. Mengirimkan agen yang bebas bergerak di dalam proses yang konsekuensial tidak semakin mudah dengan tingkat yang sama, karena semakin dekat agen dengan tindakan, semakin banyak ia membutuhkan batasan, bukti, persetujuan, audit, dan pemilik. Konsekuensi itu sulit, dan tetap sulit. Jadi biarkan agen mengeksplorasi, dan biarkan mereka membantu tim Anda belajar pekerjaan — kemudian pindahkan setiap jalur ke rel segera setelah itu berhenti berubah. Jangan biarkan pekerjaan yang stabil dengan volume tinggi di dalam loop probabilistik karena agen itu fashionable.

Mengatur dengan Konsekuensi

Dengan peta dan rel di tempat, satu pertanyaan tetap sebelum agen menyentuh pekerjaan nyata: apa yang seharusnya diizinkan untuk dilakukan? Kebiasaan industri adalah untuk menjawab dalam istilah plumbing — agen “menggunakan alat” — seolah-olah melihat kebijakan, menghitung varian, menggambar surat, menyetujui faktur, dan membayarnya adalah satu jenis hal. Mereka tidak. Model yang melihat kebijakan tidak sama dengan model yang menolak klaim. Model yang menghitung jumlah tidak sama dengan model yang membayarnya. Membaca informasi, mengambil posisi, mempersiapkan tindakan, mengubah catatan, dan memindahkan uang adalah jenis pekerjaan yang berbeda, dan perbedaan itu adalah konsekuensi: apa yang biayanya bagi perusahaan ketika langkah itu salah.

Pengaturan harus mengikuti gradien itu, bukan plumbing. Pekerjaan yang hanya membaca membutuhkan kontrol akses. Pekerjaan yang merekomendasikan membutuhkan manusia yang benar-benar memutuskan. Pekerjaan yang mengubah catatan membutuhkan izin, jejak audit, cara untuk membatalkannya, dan pemilik yang dinamai. Pekerjaan yang memindahkan uang membutuhkan semua itu, plus jaminan bahwa perubahan setengah selesai tidak dapat meninggalkan perusahaan dalam keadaan yang salah. Mengatur dengan konsekuensi dan penggunaan aman AI terbuka dengan cepat; mengatur semua hal dengan cara yang sama, dan Anda akan mendapatkan baik kelumpuhan atau insiden.

Kepercayaan Diperoleh oleh Alur Kerja

Gradien itu juga bagaimana kepercayaan tumbuh. Dengan peta dan rel, kepercayaan berhenti menjadi perasaan tentang model dan menjadi properti pekerjaan. Sebuah alur kerja — satu bagian pekerjaan yang dijelaskan, dengan gerbang dari bagian satu — mendapatkan izin langkah demi langkah, memanjat gradien yang sama: pertama ia hanya menggambar, kemudian ia mungkin merekomendasikan, kemudian ia mungkin mempersiapkan tindakan yang disetujui manusia, kemudian ia mungkin mengeksekusi kasus rutin dan menaikkan kasus pengecualian, dan akhirnya ia berjalan di bawah audit, dengan orang-orang memantau hasilnya bukan mengklik setiap kasus.

Setiap langkah ke atas diperoleh dengan bukti dari gerbang — keputusan yang diperiksa, koreksi, alasan — dan setiap langkah ke bawah adalah otomatis ketika kinerja turun. Model yang lebih baik tidak mendapatkan hak tindakan.

Jangan promosikan model. Promosikan alur kerja.

Mulai dengan Satu Alur Kerja

Tidak ada yang memerlukan program perusahaan-wide, dan itu tidak boleh dimulai sebagai satu. Pilih satu alur kerja konsekuensial dengan volume nyata, biaya kesalahan nyata, dan pemilik yang ingin memperbaikinya. Petakan satu bagian pekerjaan itu. Letakkan langkah stabilnya di rel. Tetapkan gerbangnya. Kemudian periksa deskripsi melawan sembilan pertanyaan sederhana:

• Apa objek bisnis yang bergerak?
• Di mana setiap satu berdiri sekarang?
• Apa pekerjaan yang dilakukan?
• Apa keputusan yang memilih jalur berikutnya?
• Apa yang terjadi jika ini disetujui?
• Apa yang dapat digunakan agen?
• Apa yang berjalan otomatis?
• Siapa yang mengusulkan, siapa yang menyetujui, siapa yang mengeksekusi, siapa yang bertanggung jawab?
• Jika sesuatu salah, apa yang berubah sebelum jalur berikutnya?

Jika orang-orang yang memiliki pekerjaan dapat menjawab sembilan pertanyaan itu untuk satu alur kerja, agen dapat bekerja di dalamnya dengan aman — mengusulkan, divalidasi, dan biarkan rel mengeksekusi. Jika mereka tidak dapat, tidak ada jumlah kualitas model yang dapat menyelamatkan penerapan.

Kegagalan itu sama terkenalnya dengan pola. Sebuah chatbot dengan akses ke sistem sensitif tetapi tidak memiliki peta pekerjaan. Sebuah lapisan pengambilan yang menjawab pertanyaan kebijakan tetapi tidak dapat menunjukkan sumber kebijakan. Sebuah agen yang dapat menyetujui pekerjaan tetapi tidak dapat mengatakan siapa yang memiliki persetujuan. Seorang reviewer yang melihat rekomendasi tetapi tidak melihat konsekuensi dari menyetujui itu. Sebuah alur kerja yang dipromosikan ke otonomi karena model diperbaiki, bukan karena alur kerja mendapatkan kepercayaan.

Peta, rel, dan gerbang: itu adalah arsitektur. Pertanyaan yang tersisa adalah bagaimana membangunnya dalam satu alur kerja — dan itu adalah bagian tiga.