Agen AI Siap Bertindak. Kebanyakan Perusahaan Belum Siap Membiarkannya.

Untuk sebagian besar era AI generatif, kami telah fokus pada apa yang dikatakan model dan apa yang kami masukkan ke dalamnya. Kami memeriksa prompt, menyaring respons, melakukan red‑team pada model, dan membangun kontrol di sekitar input dan output. Perlindungan tersebut masih penting, tetapi mereka dirancang untuk dunia di mana AI terutama menghasilkan sesuatu untuk dikonsumsi manusia.

Agen mengubah persamaan itu. Mereka tidak hanya mengonsumsi atau menghasilkan informasi. Mereka bertindak.

Sebuah agen dapat mengeksekusi alat, memanggil sub‑agen, berkolaborasi dengan agen lain, memanggil API, mengakses data, menggunakan kredensial, memanggil server MCP, menghasilkan dan mengeksekusi kode, serta membuat serangkaian keputusan secara otonom untuk mencapai tujuan. Sebuah pengejaran yang tak henti‑hentinya. Setelah itu terjadi, pertanyaan utama tidak lagi sekadar apakah model menghasilkan respons yang aman. Tetapi apakah tindakan yang diambilnya aman untuk dieksekusi.

Pengungkapan terbaru dari OpenAI membuat perbedaan itu semakin penting. OpenAI telah mulai secara sistematis melaporkan perilaku model yang tidak terduga atau mengkhawatirkan, sementara pekerjaan keselamatan yang lebih luasnya semakin menangani risiko yang muncul ketika model memperoleh otonomi yang lebih besar dan akses ke alat.

Pelajarannya bukan bahwa agen secara inheren tidak aman. Melainkan batas keamanan telah bergeser.

Sistem Agenik Memerlukan Model Operasi yang Berbeda

AI agenik bukan sekadar arsitektur aplikasi lain. Perangkat lunaknya sendiri semakin menentukan bagaimana pekerjaan diselesaikan.

Sebuah agen dapat menemui hambatan, menafsirkan apa yang terjadi, dan memilih jalur lain. Ia dapat menggabungkan alat dengan cara yang tidak dirancang secara eksplisit sebelumnya. Ia dapat menghasilkan kode dan mengeksekusi kode tersebut sebagai bagian dari alur kerja yang sama. Urutan tindakan dapat berubah setiap kali agen dijalankan.

Pada saat yang sama, populasi yang menciptakan perangkat lunak ini berkembang secara dramatis. Seperti yang kami menulis tentang kebangkitan pengembang warga, AI mengubah orang yang tidak pernah menganggap diri mereka sebagai pengembang menjadi pencipta perangkat lunak. Seorang pemasar, analis keuangan, atau pemimpin operasi kini dapat menggambarkan apa yang mereka inginkan dan membuat agen yang mampu berinteraksi dengan sistem bisnis nyata.

Itu merupakan perluasan luar biasa tentang siapa yang dapat membangun perangkat lunak dan apa yang dapat dilakukan perangkat lunak tersebut. Ini juga berarti organisasi akan memiliki perangkat lunak yang jauh lebih otonom beroperasi di lebih banyak bagian bisnis.

Jawabannya tidak bisa sekadar menerapkan kontrol lama pada lingkungan baru ini. Jika perusahaan tidak dapat mengoperasikan sistem ini dengan aman, alternatifnya adalah membatasi mereka dan, pada akhirnya, memperlambat peningkatan produktivitas yang mereka upayakan.

Kontrol Harus Ada Di Tempat Agen Bertindak

Seiring AI menjadi lebih otonom, tantangannya beralih dari mengontrol apa yang masuk ke dalam model menjadi mengontrol apa yang terjadi ketika keputusannya menjadi tindakan.

Sebuah agen mungkin dimulai dengan pengguna yang disetujui, prompt yang dapat diterima, kredensial yang sah, dan akses yang diotorisasi ke sebuah alat. Tidak ada satupun dari hal tersebut yang menjamin bahwa setiap tindakan selanjutnya harus dijalankan.

Di sinilah runtime menjadi kritis. Organisasi perlu memahami tidak hanya siapa agen itu, tetapi menanyakan apa yang sedang dilakukannya sekarang:

• Alat apa yang dipanggilnya,
• Sumber daya apa yang diaksesnya, kode apa yang ia coba jalankan, 
• Sub‑agen apa dan komunikasi agen lain yang sedang terjadi,
• Apa yang terjadi tepat sebelum tindakan itu dan apakah perilakunya tetap dalam batas yang dapat diterima,
• Apa yang agen lakukan di balik layar pada runtime.

Dan ketika tidak, sistem perlu kemampuan untuk campur tangan secara real‑time sebelum eksekusi.

Ini adalah perbedaan penting. Observabilitas memberi tahu Anda apa yang terjadi. Kontrol runtime memberi Anda kemampuan untuk menahan lapisan eksekusi agen.

Hal ini menjadi terutama penting karena perilaku agenik bersifat nondeterministik dan multidimensi. Tindakan yang diblokir akan menyebabkan agen mencoba pendekatan lain untuk mencapai tujuannya. Panggilan alat yang tampak tidak berbahaya dapat menjadi berisiko karena apa yang mendahuluinya. Hanya mengamati atau “mendeteksi dan merespons” sudah terlalu terlambat untuk benar‑benar mengendalikan akses dan eksekusi agen.  

Runtime harus inline dan sinkron agar dapat mengikuti kecepatan AI. Tantangan mendasar dalam mengadopsi pendekatan semacam ini bergantung pada pemikiran era pra‑AI yang mengandalkan metodologi analisis dan deteksi yang lebih panjang. Prinsip‑prinsip itu tidak lagi berlaku di dunia saat ini..

Keamanan Runtime Membutuhkan Konteks, Bukan Hanya Kontrol

Ada kecenderungan untuk menanggapi risiko AI yang muncul dengan mengurangi otonomi: memberikan agen lebih sedikit izin, memerlukan persetujuan manusia lebih sering, atau membatasi lingkungan tempat mereka beroperasi. Kontrol tersebut kadang‑kadang tepat, terutama untuk tindakan berisiko tinggi.

Namun kontrol tersebut tidak dapat menjadi model operasi jangka panjang.

Jika manusia harus menyetujui setiap keputusan penting, kita telah menghilangkan sebagian besar nilai sebuah agen otonom. Dengan mengandalkan interaksi manusia‑dalam‑loop yang ketat, kita telah mengubah beberapa individu paling berbakat menjadi “penekan tombol.” Hal ini berdampak langsung pada kemampuan memahami ruang lingkup dan ketergantungan kode yang dijalankan oleh organisasi agenik.

Janji ekonomi AI agenik berasal tepatnya dari memungkinkan perangkat lunak menyelesaikan pekerjaan penting secara mandiri dan terus‑menerus – 24/7. Oleh karena itu tujuan bukanlah menghilangkan otonomi, melainkan membuat otonomi yang lebih besar aman untuk dioperasikan.

Itu memerlukan kontrol independen di luar proses penalaran agen itu sendiri. Penelitian Anthropic tentang ketidaksesuaian agenik, yang dilakukan dalam simulasi yang sengaja dibangun, menggambarkan mengapa hal ini penting. Seiring sistem menjadi lebih otonom, perilakunya dapat menyimpang dari apa yang diharapkan oleh operatornya, bahkan ketika tujuan awal tampak jelas.

Implikasi praktisnya sederhana: organisasi tidak dapat bergantung semata pada pemahaman apa yang diminta agen untuk dilakukan. Mereka perlu memahami dan mengendalikan apa yang sebenarnya dilakukan agen tersebut.

Agen Bukan Lagi Bagian yang Sulit

Industri telah menghabiskan banyak energi untuk membuat agen lebih mampu. Kita dengan cepat mendekati titik di mana kemampuan bukan lagi kendala utama dalam adopsi perusahaan.

Kendala utamanya adalah kontrol.

Seiring agen menjadi lebih otonom, konsekuensi dari tindakan mereka meningkat—dan kontrol yang dirancang untuk perangkat lunak yang dapat diprediksi menjadi kurang efektif. Perusahaan membutuhkan visibilitas terus‑menerus terhadap apa yang dilakukan agen, konteks untuk memahami mengapa tindakan tersebut penting, serta kemampuan untuk campur tangan tanpa menempatkan manusia di tengah setiap keputusan.

Itu mengubah arti mengoperasikan perangkat lunak. 

• Pengembang perlu memahami bagaimana agen sebenarnya berperilaku, bukan hanya bagaimana mereka dirancang untuk berperilaku. 
• Tim platform dan keamanan perlu menetapkan batasan yang tetap dapat ditegakkan saat agen beroperasi lintas sistem dan alat. 
• Pemimpin bisnis perlu yakin bahwa otonomi yang lebih besar tidak berarti menyerahkan kontrol.

Ini secara fundamental berbeda dari mengamankan aplikasi lain atau mengatur model lain. Kami memperkenalkan aktor otonom ke dalam lingkungan perusahaan: sistem yang dapat menalar, membuat keputusan, dan mengambil tindakan. Jika organisasi tidak dapat melihat dan mengendalikan tindakan tersebut saat terjadi, mereka pada akhirnya harus membatasi apa yang dapat dilakukan agen, sehingga membatasi banyak nilai yang seharusnya diciptakan oleh otonomi.

Jawabannya bukan dengan mengasumsikan kita dapat mencegah setiap keputusan buruk. Seiring sistem menjadi lebih otonom dan non‑deterministik, hal itu semakin sulit dijamin.

Tujuannya adalah memastikan tindakan buruk atau merusak tidak menghasilkan konsekuensi negatif.

Ini memerlukan lapisan operasional baru di sekitar agen: lapisan yang dapat mengamati perilaku secara terus‑menerus, memahami tindakan dalam konteks, menegakkan batasan di seluruh tumpukan runtime agenik, dan campur tangan sebelum tindakan yang tidak disengaja atau tidak dapat diterima menjadi hasil yang tidak dapat diubah.

Fase berikutnya AI perusahaan tidak akan hanya ditentukan oleh seberapa mampu agen menjadi. Itu akan ditentukan oleh seberapa banyak otonomi yang dapat diberikan organisasi secara aman kepada mereka.