Siapa yang Mengawasi Agen-agen? Era Baru Pengawasan AI

Ketika membahas agen AI, kebanyakan orang membayangkan sistem superinteligent yang bertindak sendiri, melakukan hal-hal yang tidak terduga. Jadi, suatu hari agen sekretaris mungkin sangat berguna, dan keesokan harinya mungkin memberikan kredensial bank Anda kepada orang acak.

Bagian “superinteligent” sebenarnya tidak terlalu penting dalam kekhawatiran ini. Masalah utama bukan seberapa “pintar” agen AI, melainkan seberapa banyak kebebasan dan akses ke infrastruktur yang dimilikinya.

Dalam praktek, nilai agen ditentukan lebih oleh batas-batas wewenangnya dan bukan oleh tingkat kecerdasannya. Bahkan agen yang relatif sederhana, setelah diberi akses ke dataset, sistem perusahaan, operasi keuangan, atau API eksternal, memperoleh kemampuan untuk mempengaruhi proses pada skala yang memerlukan perhatian dan pengawasan khusus.

Oleh karena itu, sistem pemantauan dan pengawasan menjadi sangat penting, tidak hanya pada tingkat model tetapi juga pada tingkat perilaku mereka dalam infrastruktur.

Tidak mengherankan bahwa inisiatif yang bertujuan untuk mengamati dan mengontrol aktivitas agen telah mendapatkan momentum dalam beberapa tahun terakhir. Solusi praktis ini sudah diterapkan oleh perusahaan teknologi besar.

Bagaimana Agen Bekerja

Untuk memahami bagaimana pengawasan bekerja, kita perlu melihat apa yang terkandung dalam agen. Dalam istilah sederhana, dapat dilihat sebagai kombinasi inti kognitif, “otak” dan alat.

Alat adalah layanan eksternal dan integrasi yang dapat diakses agen. Sebagai contoh, untuk agen perjalanan, ini dapat mencakup Booking.com atau Airbnb untuk mencari hotel, agregator tiket pesawat untuk membeli tiket, dan sistem pembayaran atau kartu bank untuk melakukan pembayaran. Sendiri, alat-alat ini tidak pintar; mereka hanya memungkinkan agen untuk bertindak di dunia nyata.

Inti kognitif adalah model bahasa (LLM). Ini memungkinkan agen untuk bekerja secara bermakna dengan permintaan yang diformulasikan oleh manusia. Misalnya, permintaan “Saya ingin terbang ke Eropa selama tiga hari dalam sebulan, di mana cuacanya akan bagus” terlalu samar. Agen meminta LLM untuk “memecah permintaan menjadi kategori.” Sebagai tanggapan, ia menerima parameter terstruktur: di mana, kapan, berapa lama, dan dalam kondisi apa.

Sebelumnya, ChatGPT hanya menghasilkan respons teks. Sekarang, tertanam dalam agen, menjadi kombinasi “otak + alat,” mampu tidak hanya menjelaskan tetapi juga bertindak. LLM membangun tugas, dan alat memungkinkan untuk melaksanakan tindakan spesifik.

Bagaimana Pengawasan Bekerja

Pada tahap ini, sistem kontrol mulai berperan. Saya menyebut solusi keamanan ini “anjing penjaga” (suatu saat, saya bahkan mempertimbangkan untuk membuat startup yang fokus pada ini), semacam anjing penjaga yang dibangun ke dalam agen. Tugasnya adalah memantau tindakan agen dan memeriksa mereka melawan permintaan asli. Tujuannya adalah untuk memastikan agen beroperasi dalam batas yang diinginkan.

Kembali ke contoh perjalanan: katakanlah pengguna kita ingin memesan perjalanan tiga hari ke Eropa. Agen berinteraksi dengan layanan cuaca, tiket pesawat, dan akun bank untuk pembayaran. Semua tampak normal. Tapi tiba-tiba, “anjing penjaga” mendeteksi agen meminta akses ke database perusahaan atau akun bank yang tidak terkait dengan pembayaran perjalanan. Ini memicu peringatan keamanan dan menandai perilaku mencurigakan.

Penting untuk memahami skala: agen mungkin melayani ribuan pengguna per hari, dengan setiap permintaan memicu ratusan operasi, menghasilkan jutaan tindakan. “Anjing penjaga” menganalisis semua tindakan dan menghasilkan statistik. Laporan mungkin menunjukkan: “13% tindakan bersifat redundan, 7% terkait keamanan keuangan.” Detail lebih lanjut menjelaskan tindakan spesifik yang tampak mencurigakan.

Alat ini memungkinkan pengembang untuk melihat gambaran lengkap dan merespons anomali dengan cepat, membentuk solusi kontrol AI praktis yang menggabungkan pemantauan waktu nyata, deteksi anomali, dan akuntabilitas.

Siapa yang Mendapat Manfaat dari ”anjing penjaga”: Pengembang atau Pengguna?

Utamanya, “anjing penjaga” ditujukan untuk pengembang untuk memastikan sistem berfungsi dengan benar. Namun, juga dapat dibayangkan versi eksternal: agen pengamat terpisah yang memantau agen utama. Ini menambahkan lapisan keamanan AI lain, memperluas pengawasan di luar sistem internal.

Ada batasan penting: proses internal agen tetap “tertutup.” Kita hanya dapat mengamati perilakunya, bukan proses kognitifnya. Analogi dengan manusia: Saya dapat melihat seseorang mengambil telepon, mengetik nomor, dan berbicara. Tapi saya tidak tahu nomor apa yang diketik, apa niatnya, atau apa yang dikatakan. Serupa, pengamat eksternal melihat tindakan agen tetapi tidak inti kognitifnya.

Pertimbangan menarik lainnya: agen mungkin mencoba untuk melewati atau menonaktifkan pengamat seperti itu di masa depan, sama seperti manusia sering menentang pengawasan konstan. Meskipun ini terdengar seperti fiksi ilmiah hari ini, itu memungkinkan. Mengintegrasikan solusi keamanan AI internal, deteksi anomali, dan pengawasan berlapis dapat membantu mitigasi risiko ini dan mempertahankan kontrol atas sistem yang semakin otonom.

Aturan Primitif atau Analisis Konteks-Aware?

Hari ini, sistem “anjing penjaga” seperti itu bekerja pada prinsip sederhana: “diizinkan” atau “tidak diizinkan.” Misalnya, jika aturan mengatakan, “mengakses Amazon dilarang,” dan agen pergi ke sana, pelanggaran dicatat. Namun, pendekatan ini tidak memahami konteks.

Sistem yang lebih maju harus menganalisis pelanggaran dan alasan di baliknya. Mengapa agen pergi ke Amazon? Apakah itu dibenarkan dalam konteks tugas? Di sini, kita berbicara tentang pengawasan konteks-aware, serupa dengan pekerjaan seorang psikolog.

Untuk saat ini, solusi seperti itu hanya ada sebagai konsep. Sistem yang ada terbatas pada kontrol hitam-putih yang ketat. Tapi di masa depan, ketika agen menjadi lebih kompleks, “anjing penjaga” yang mampu mempertimbangkan konteks akan muncul.

Hari ini, kita menyaksikan pertumbuhan inisiatif untuk memantau agen. Mereka sedang dikembangkan secara aktif pada level perusahaan teknologi terbesar. Misalnya, ActiveFence bekerja dengan pemain besar seperti NVIDIA dan Amazon.

Lagipula, aman untuk mengasumsikan bahwa Google, OpenAI, Anthropic, dan Amazon sudah menggunakan sistem “anjing penjaga” internal, analitik, dan telemetri mereka sendiri.

Saya menyadari permintaan ini di antara klien perusahaan Keymakr – pengawasan dan pemantauan menjadi bagian inti dari infrastruktur AI. Tanpa mereka, penerapan agen skala besar akan mustahil.