Agen AI Dapat Melakukan Pekerjaan. Tetapi Bisakah Perusahaan Mengoperasikannya?

Agen AI semakin luar biasa dalam menyelesaikan tugas. Berikan agen sebuah tujuan, akses ke alat yang tepat, konteks yang cukup, dan alur kerja yang terdefinisi dengan baik, maka ia dapat meneliti informasi, menganalisis dokumen, membuat keputusan, memperbarui sistem, dan berkoordinasi dengan agen lain.

Itulah bagian menarik dari AI Agen. Itu juga bagian yang biasanya kita lihat dalam demo.

Operasi perusahaan terlihat berbeda. Sebuah aplikasi pinjaman berubah di tengah proses penilaian. Seorang pelanggan memberikan informasi baru setelah verifikasi selesai. Dua sistem tidak setuju tentang akun yang sama. Persetujuan yang valid kemarin mungkin tidak lagi valid hari ini. Seorang agen merangkum sebuah kasus sebelum menyerahkannya kepada agen lain, dan detail yang tampaknya kecil menghilang dalam proses tersebut.

Jalur yang lancar mungkin mewakili 80 persen dari apa yang harus dilakukan agen. Perusahaan beroperasi di 20 persen sisanya.

Kerangka 80/20 bukan statistik industri. Itu merupakan cara menggambarkan di mana kompleksitas operasional cenderung tersembunyi. Bagian sulit dari operasi perusahaan seringkali bukan kasus normal, melainkan pengecualian, serah terima, ketergantungan, konteks yang berubah, dan keputusan di mana organisasi tetap bertanggung jawab atas hasilnya.

Seiring AI beralih dari menjawab pertanyaan ke mengambil tindakan, kompleksitas operasional ini menjadi jauh lebih penting. Perusahaan harus berpikir melampaui cara agen dibangun dan mulai memikirkan bagaimana agen dioperasikan.

Itulah tempat Agentic Operations dimulai.

Dari Menghasilkan Jawaban ke Mengambil Tindakan

Gelombang pertama AI Generatif perusahaan sebagian besar berfokus pada informasi. Model-model merangkum dokumen, menghasilkan laporan, menjawab pertanyaan, mencari pengetahuan perusahaan, dan membantu karyawan menyelesaikan tugas yang ada lebih cepat.

Agen memperkenalkan sesuatu yang secara fundamental berbeda. Mereka dapat mengambil tindakan yang mengubah keadaan proses bisnis. Seorang agen dapat menyetujui atau menolak sesuatu, memperbarui sistem pencatatan, mengirimkan komunikasi kepada pelanggan, memicu alur kerja lain, memanggil agen lain, atau membuat keputusan yang menentukan apa yang terjadi selanjutnya.

OpenAI menjelaskan agen dalam panduan praktisnya sebagai sistem yang secara mandiri menyelesaikan tugas atas nama pengguna, menggunakan model untuk mengelola pelaksanaan alur kerja dan alat untuk berinteraksi dengan sistem eksternal. Konsekuensi operasional dari jawaban yang salah sangat berbeda dari konsekuensi tindakan yang salah.

Pertanyaan perusahaan oleh karena itu berubah. Tidak lagi cukup menanyakan apakah sebuah model menghasilkan jawaban yang baik atau apakah sebuah agen berhasil menyelesaikan tugas yang diberikan. Perusahaan semakin membutuhkan kepastian apakah suatu tindakan seharusnya terjadi sama sekali, mengingat konteks bisnis, kebijakan, wewenang, dan semua yang terjadi sebelumnya dalam proses.

Gambar 1: AI Generatif menghasilkan output. AI Agen mengubah keadaan bisnis.

Setelah AI dapat mengubah keadaan bisnis dan memengaruhi keputusan selanjutnya, keandalan tidak lagi dapat diukur hanya pada tingkat model.

Sebuah Agen Dapat Berhasil Meskipun Proses Bisnis Gagal

Pertimbangkan alur kerja penilaian pinjaman yang didukung AI. Satu agen mengekstrak dokumen aplikasi, agen lain memverifikasi pendapatan, agen lain menilai informasi kredit, dan agen selanjutnya merangkum kasus sebelum agen penilai membuat atau merekomendasikan keputusan.

Setiap agen memiliki tanggung jawab yang jelas terdefinisi, dan masing-masing dapat melaksanakan tanggung jawab tersebut dengan benar. Agen dokumen dapat mengekstrak informasi yang tepat. Agen verifikasi pendapatan dapat menyelesaikan tugasnya dengan sukses. Agen peringkasan dapat membuat ringkasan akurat dari informasi yang tersedia baginya. Agen penilai dapat mengikuti instruksinya dengan tepat.

Keputusan bisnis akhir masih dapat salah.

Bayangkan bahwa informasi pendapatan yang diperbarui tiba setelah verifikasi awal. Dokumen baru diproses, tetapi signifikansinya berkurang ketika kasus dirangkum untuk langkah berikutnya. Agen penilai akhir menerima ringkasan yang wajar, namun tidak mendapatkan konteks bisnis lengkap yang ada sepanjang proses.

Tidak ada yang secara otomatis gagal. Tidak ada API yang gagal. Tidak ada agen individu yang secara otomatis berhalusinasi. Setiap komponen mungkin melaporkan eksekusi berhasil sementara proses bisnis mencapai hasil yang salah.

Anthropic membahas tantangan terkait dalam panduannya tentang membangun agen yang efektif, mencatat bahwa sistem otonom dapat menghadapi kesalahan yang menumpuk seiring mereka mengambil lebih banyak langkah. Masalah ini menjadi lebih luas daripada akurasi model karena keadaan, konteks, keputusan, dan asumsi berpindah sepanjang alur kerja.

Ini menciptakan perbedaan penting antara keandalan agen dan keandalan proses bisnis. Sebuah perusahaan pada akhirnya tidak mengalami agen individu. Ia mengalami hasil yang dihasilkan oleh proses keseluruhan.

Gambar 2: Keberhasilan lokal tidak menjamin keberhasilan bisnis

Ini adalah salah satu perubahan penting yang diperkenalkan oleh Agentic AI. Sebuah alur kerja dapat gagal bahkan ketika setiap komponen tampak sehat saat diperiksa secara terpisah.

Kemampuan Bukan Otoritas

Sebagian besar tumpukan agen saat ini secara wajar berfokus pada kemampuan. Tim ingin tahu apakah agen dapat bernalar, memilih alat yang tepat, menyelesaikan tugas, pulih dari kesalahan, dan beroperasi dengan akurasi serta latensi yang dapat diterima.

Perusahaan memiliki persyaratan lain: otoritas.

Misalkan seorang agen underwriting mampu menyetujui pinjaman. Itu tidak berarti ia harus menyetujui setiap pinjaman yang dapat dievaluasinya. Otoritasnya dapat bergantung pada jumlah pinjaman, kategori risiko, tipe pelanggan, bukti yang tersedia, tingkat kepercayaan, keputusan sebelumnya, atau apakah aplikasi berubah setelah tinjauan sebelumnya.

Ini menciptakan batas antara apa yang dapat dilakukan oleh agen dapat melakukan dan apa yang dapat dilakukan oleh agen diizinkan untuk melakukan.

OpenAI menyarankan menilai risiko yang terkait dengan alat agen dan menambahkan perlindungan atau intervensi manusia pada tindakan sensitif dan tidak dapat dibatalkan. Microsoft mengambil pendekatan serupa dalam panduannya untuk proses bisnis inti yang dioperasikan oleh agen, di mana agen dapat membuat keputusan rutin dalam batas yang ditetapkan sementara hak keputusan menentukan tindakan mana yang dapat diambil secara mandiri dan mana yang memerlukan persetujuan manusia.

Seiring kemampuan agen meningkat, perbedaan ini menjadi lebih penting, bukan kurang. Agen yang lebih mampu dapat mengambil tindakan yang lebih konsekuensial. Oleh karena itu, perusahaan membutuhkan cara yang lebih jelas untuk mendefinisikan dan menegakkan batasan di mana tindakan tersebut diizinkan.

Pertanyaannya beralih dari Apakah agen dapat melakukan ini? menjadi Dalam kondisi apa agen harus diizinkan melakukan ini?

Kebijakan Bisnis Harus Mendekat ke Eksekusi

Perusahaan sudah memiliki mekanisme luas untuk mengendalikan proses yang dioperasikan manusia. Mereka menggunakan SOP, matriks persetujuan, kebijakan kepatuhan, ambang risiko, pelatihan, pemisahan tugas, audit, dan prosedur eskalasi. Sebagian besar mekanisme ini dirancang berdasarkan asumsi sederhana: seseorang membaca aturan, memahami situasinya, dan menerapkan aturan tersebut sambil melakukan pekerjaan.

Agen mengubah asumsi itu.

Pertimbangkan kebijakan yang mengharuskan persetujuan sekunder untuk transaksi di atas ambang tertentu. Ketika manusia melakukan tugas tersebut, kebijakan dapat berada dalam dokumen yang didukung oleh pelatihan dan kontrol alur kerja. Ketika agen dapat mengeksekusi ratusan atau ribuan tindakan dengan cepat, keberadaan dokumen kebijakan tersebut tidak secara otomatis mencegah tindakan yang melanggarnya.

Di antara kebijakan tertulis dan tindakan bisnis, kebijakan perlu menjadi operasional.

Ini tidak berarti setiap kebijakan harus menjadi kode deterministik. Beberapa kontrol akan bersifat deterministik, beberapa memerlukan interpretasi semantik, beberapa akan bergantung pada risiko atau kepercayaan, dan yang lain akan terus memerlukan penilaian manusia. Perubahan arsitektural yang lebih besar adalah bahwa kebijakan bisnis mulai mendekat ke jalur eksekusi.

AWS menekankan hal ini secara khusus dalam konteks Agentic AI di layanan keuangan, termasuk kebutuhan akan validasi berbasis kebijakan atas tindakan agen dan jejak audit seputar aktivitas yang konsekuensial.

Secara historis, organisasi dapat mendefinisikan banyak persyaratan tata kelola sebelum eksekusi dan memverifikasi kepatuhan kemudian melalui audit dan tinjauan. Ketika sistem otonom beroperasi secara terus-menerus dan pada kecepatan mesin, beberapa kontrol perlu berfungsi saat proses sedang berjalan.

Manusia dalam Lingkaran Diperlukan, tetapi Bukan Model Operasional

Respons paling umum terhadap ketidakpastian dalam alur kerja AI adalah menempatkan manusia dalam lingkaran. Itu masuk akal, terutama untuk keputusan yang konsekuensial, tetapi menjadi problematis ketika tinjauan manusia diperlakukan sebagai jawaban untuk setiap pengecualian.

Bayangkan operasi agentic yang memproses ribuan atau jutaan keputusan. Jika setiap situasi tidak biasa, hasil dengan kepercayaan rendah, ambiguitas kebijakan, atau pengecualian diarahkan ke orang, organisasi belum menghilangkan bottleneck operasional. Mereka hanya memindahkan bottleneck ke antrean tinjauan. Seiring waktu, hal ini juga dapat menimbulkan masalah lain: ketika manusia diminta menyetujui terlalu banyak keputusan rutin, pengawasan manusia itu sendiri dapat menjadi kurang bermakna.

Manusia tetap penting, tetapi peran mereka perlu berubah. Alih-alih meninjau setiap keputusan, mereka harus fokus pada situasi di mana penilaian memang diperlukan, di mana otoritas agen telah tercapai, atau di mana sistem menghadapi kondisi yang tidak seharusnya diselesaikan secara mandiri.

Model operasi yang dapat diskalakan tidak dapat bergantung hanya pada penilaian risiko dan tinjauan manusia. Sebelum tindakan agen menjadi tindakan bisnis, sistem harus mempertimbangkan konteks bisnis saat ini, kebijakan yang relevan, wewenang agen, dan apa yang sudah terjadi dalam alur kerja. Hasilnya dapat melanjutkan, meminta bukti tambahan, menahan tindakan, atau meningkatkan keputusan kepada manusia.

Gambar 3: Tinjauan manusia menjadi salah satu hasil kontrol waktu nyata

Ini mengubah peran pengawasan manusia. Manusia tidak lagi dimasukkan ke setiap langkah yang tidak pasti secara default. Intervensi manusia menjadi salah satu kemungkinan hasil ketika konteks bisnis, kebijakan, wewenang, atau konsekuensi suatu tindakan memerlukan penilaian.

Pembedaannya penting untuk skala perusahaan. Beberapa tindakan harus dilanjutkan secara otomatis karena jelas berada dalam kebijakan dan wewenang. Beberapa harus dihentikan sementara karena bukti yang diperlukan tidak ada atau keadaan bisnis telah berubah. Lainnya harus ditingkatkan karena keputusan telah melewati batas yang secara sengaja disiapkan organisasi untuk manusia.

Tujuannya bukan menghapus manusia dari siklus. Tujuannya menempatkan manusia di lingkaran yang tepat, sambil memungkinkan keputusan rutin berjalan dalam batas yang jelas. Seiring sistem agen berkembang, kualitas pengawasan manusia mungkin bergantung kurang pada berapa banyak keputusan yang ditinjau orang dan lebih pada apakah sistem operasi dapat mengidentifikasi keputusan di mana penilaian manusia benar‑benar penting.

Observability Diperlukan, tetapi Melihat Bukan Mengendalikan

Industri telah membuat kemajuan signifikan dalam observabilitas AI. Tim dapat memeriksa prompt, respons model, jejak, panggilan alat, latensi, penggunaan token, dan semakin banyak lagi lintasan lengkap yang diikuti agen sebelum menghasilkan hasil.

Visibilitas ini sangat penting. panduan OpenAI tentang keamanan dan evaluasi agen juga menekankan teknik seperti evaluasi dan penilaian jejak untuk memahami perilaku agen.

Tetapi visibilitas saja tidak menyelesaikan masalah operasional.

Bayangkan menemukan bahwa agen underwriting melanggar kebijakan persetujuan sebanyak 2.700 kali minggu lalu. Itu akan menunjukkan observabilitas yang luar biasa namun operasi yang mengerikan.

Untuk proses bisnis yang berdampak, perusahaan pada akhirnya memerlukan kemampuan tidak hanya untuk memahami perilaku agen tetapi juga untuk merespons saat proses sedang berjalan.

Gambar 4: Lingkar kontrol operasional

Observabilitas menjawab apa yang dilakukan agen. Operasi Agenik juga perlu menjawab apakah agen harus melanjutkan.

Pembedaannya menjadi sangat penting ketika suatu tindakan mahal, berdampak, sulit dibalik, atau mampu memengaruhi banyak keputusan hilir.

Kegagalan Paling Sulit Mungkin Terjadi Antara Agen

Ada tantangan lain yang menjadi terlihat ketika perusahaan beralih ke alur kerja multi‑agen dan berjangka panjang. Banyak kebijakan bisnis tidak bersifat lokal pada satu tindakan.

Pertimbangkan kebijakan yang membatasi total eksposur keuangan sepanjang rangkaian keputusan. Setiap transaksi individu mungkin berada di bawah ambang batas yang diizinkan sementara eksposur kumulatif melebihinya. Melihat setiap tindakan secara terpisah tidak akan menunjukkan pelanggaran.

Masalah yang sama dapat muncul dengan wewenang. Seorang agen mungkin berwenang mengumpulkan informasi tetapi tidak membuat keputusan akhir. Setelah beberapa serah terima, agen hilir dapat menerima informasi tanpa mempertahankan pembatasan wewenang yang melekat pada tugas asli. Setiap langkah individu dapat tampak wajar sementara urutan keseluruhan melanggar proses bisnis yang dimaksud.

Konteks menciptakan masalah serupa. Informasi yang penting pada tahap pertama alur kerja mungkin diringkas, diubah, atau dihilangkan beberapa langkah kemudian. Agen hilir tidak dapat menalar tentang informasi yang tidak lagi dimilikinya, meskipun penalarannya benar.

Kegagalan ini menunjukkan bahwa unit keandalan perlu diperluas.

Kami akan terus mengevaluasi model dengan menanyakan apakah respons mereka benar. Kami akan mengevaluasi agen dengan menanyakan apakah mereka menyelesaikan tugas mereka dengan benar. Namun pada tingkat alur kerja, pertanyaannya menjadi apakah informasi, wewenang, dan kebijakan bertahan sepanjang rangkaian tindakan. Pada tingkat bisnis, pertanyaannya menjadi apakah hasil akhir keduanya benar dan diizinkan.

Ini juga konsisten dengan perspektif siklus hidup yang lebih luas dalam NIST AI Risk Management Framework, yang menekankan pengukuran dan pengelolaan risiko AI secara berkelanjutan daripada memperlakukan evaluasi sebagai aktivitas satu kali sebelum penerapan.

Inilah Tempat Operasi Agenik Dimulai

Tata kelola AI, evaluasi model, LLMOps, observabilitas, keamanan, dan AI yang bertanggung jawab sudah menangani bagian penting dari pengoperasian sistem AI. Operasi Agenik tidak menggantikan disiplin-disiplin ini. Ia menangani lapisan operasional yang menjadi penting ketika sistem otonom dan semi-otonom mulai berpartisipasi langsung dalam proses bisnis.

Operasi Agenik adalah disiplin mengoperasikan sistem AI otonom dan semi-otonom di dalam proses bisnis nyata, termasuk bagaimana otoritas, konteks, keputusan, pengecualian, intervensi manusia, dan akuntabilitas dikelola selama pelaksanaan.

Perbedaan ini penting karena objek yang dikelola tidak lagi hanya sebuah model. Itu adalah proses bisnis berkelanjutan di mana perangkat lunak dapat secara independen membuat keputusan dan mengambil tindakan.

Dalam praktiknya, ini menciptakan serangkaian pertanyaan operasional yang berbeda. Apa yang dapat dilakukan agen yang berwenang? Konteks bisnis apa yang harus tetap ada selama alur kerja yang berjalan lama? Apa yang terjadi ketika bukti baru membatalkan keputusan sebelumnya? Bagaimana organisasi dapat mendeteksi ketika tindakan yang secara individual dapat diterima secara kolektif melanggar kebijakan? Kapan agen harus melanjutkan, menjeda, menghentikan, atau meningkatkan? Berbulan-bulan kemudian, dapatkah organisasi merekonstruksi mengapa keputusan tertentu dibuat?

Ada juga pertanyaan tentang kepemilikan. Ketika sebuah agen melakukan tugas teknisnya dengan benar tetapi hasil bisnisnya salah, siapa yang bertanggung jawab atas kegagalan tersebut? Mendelegasikan eksekusi kepada agen tidak mendelegasikan akuntabilitas organisasi yang mengoperasikannya.

Agen dapat mengeksekusi pekerjaan. Perusahaan tetap memiliki hasilnya.

Tujuannya adalah Otonomi Terkontrol

Masa depan AI Agenik kadang digambarkan sebagai perkembangan menuju otonomi penuh, di mana manusia secara bertahap menghilang dari alur kerja bisnis. Bagi kebanyakan perusahaan, itu mungkin merupakan tujuan yang salah.

Tujuan yang lebih berguna adalah otonomi terkontrol.

Banyak proses yang dibantu AI saat ini mengikuti pola di mana sebuah agen mengusulkan tindakan dan seorang manusia membuat keputusan akhir. Seiring meningkatnya kepercayaan, beberapa alur kerja akan memungkinkan agen membuat keputusan dalam batas otoritas yang ditentukan sementara sistem di sekitarnya mengawasi pelaksanaan dan manusia menangani pengecualian. Alur kerja yang matang dan berisiko lebih rendah pada akhirnya dapat memungkinkan agen memutuskan dan bertindak secara independen sementara keputusan konsekuensial tetap dipantau dan direkam.

Gbr 5 : Tingkat otonomi yang meningkat

Batas yang tepat akan berbeda tergantung pada proses. Sebuah bank dapat mengizinkan otonomi yang signifikan dalam klasifikasi dokumen sambil memerlukan kontrol ketat pada keputusan kredit. Sebuah perusahaan asuransi dapat mengotomatisasi klaim rutin sambil meningkatkan kombinasi bukti yang tidak biasa. Sebuah organisasi layanan kesehatan dapat membiarkan agen mengumpulkan dan merangkum informasi sementara keputusan konsekuensial tetap diserahkan kepada manusia.

Pertanyaan penting maka bukan sekadar seberapa otonom sebuah agen dapat menjadi. Melainkan seberapa banyak otonomi yang dapat dioperasikan secara bertanggung jawab oleh sebuah organisasi.

Ini juga mengubah peran kontrol. Kontrol tidak selalu menjadi mekanisme untuk mengurangi otonomi. Jika diterapkan dengan baik, kontrol memungkinkan organisasi memperluas otonomi dengan kepercayaan yang lebih besar.

Mengoperasikan Agen Mungkin Lebih Sulit daripada Membuatnya

Model akan terus meningkat. Penggunaan alat akan membaik. Kerangka kerja agen akan berkembang. Penalaran akan meningkat, dan banyak masalah yang tampak sulit saat ini pada akhirnya akan menjadi rutin.

Model yang lebih baik, bagaimanapun, tidak menghilangkan kebijakan bisnis, perubahan konteks, pengecualian, batas organisasi, atau akuntabilitas. Dalam beberapa hal, agen yang lebih baik membuat isu-isu ini menjadi lebih penting. Sistem yang tidak dapat bertindak secara otonom memiliki otoritas operasional yang terbatas. Sistem yang mampu mengeksekusi ribuan keputusan bisnis menciptakan tanggung jawab yang sepenuhnya berbeda.

Inilah mengapa fase berikutnya dari AI perusahaan mungkin tidak ditentukan oleh organisasi mana yang menyebarkan agen terbanyak. Itu mungkin ditentukan oleh organisasi mana yang belajar cara mengoperasikannya.

80 persen pertama menunjukkan bahwa agen dapat bekerja. 20 persen sisanya menentukan apakah perusahaan dapat mempercayainya dengan bisnis.

Seiring agen menjadi lebih mampu, pertanyaan utama perusahaan dapat beralih dari apa yang dapat agen kami lakukan ke sesuatu yang lebih sulit:

Apa yang siap kita izinkan mereka lakukan, dalam kondisi apa, dan bagaimana kita akan mengetahui ketika kondisi tersebut berubah?

Itulah tempat Operasi Agenik dimulai.