Membuat Agen AI yang Dapat Dipercaya dengan Desain, Bukan dengan Kecelakaan

Agentic AI tidak datang dengan fanfare, melainkan masuk ke dalam operasi sehari-hari. Sistem yang sebelumnya hanya menunggu perintah manusia, sekarang mengambil inisiatif. Evolusi ini sudah terjadi di dalam organisasi, tetapi pembicaraan tentang tata kelola AI masih terjebak di era sebelumnya. Hukum dan struktur organisasi kita tidak pernah dibangun dengan aktor non-manusia yang otonom. Bagi perusahaan yang tunduk pada GDPR, ini bukanlah masalah teoretis, tetapi tantangan operasional yang nyata — dan ini berkembang lebih cepat daripada yang dapat ditangani oleh tim kepatuhan.

Ketika Alat AI Mulai Berbicara Kembali

Ketika membahas tata kelola, fokus biasanya pada kepatuhan, manajemen risiko, dan pencegahan kerusakan. Sementara ini sangat penting, mereka dibangun untuk dunia di mana AI sebagian besar statis: dilatih, diuji, dirilis, dan dipantau pada siklus yang dapat diprediksi.

Dengan agen AI yang dimasukkan ke dalam proses pengambilan keputusan, tantangan utama sekarang menjadi lebih tentang perilaku dan kepercayaan. Eksekutif harus bertanya pada diri sendiri, “bagaimana kita memastikan bahwa sistem yang dapat bertindak juga dapat dipercaya?” Kepercayaan adalah pilihan desain yang harus dibuat secara sadar, bukan direkayasa melalui persuasi. Organisasi yang mengikuti pedoman GDPR memahami bahwa kepatuhan sangat penting dan memiliki konsekuensi hukum.

Tiga Cara Agentic AI Menghancurkan Asumsi GDPR Hari Ini

Ketika GDPR dirancang, itu tidak ditulis untuk agen otonom. Namun, tiga prinsip inti GDPR — batasan tujuan, minimisasi data, transparansi, dan akuntabilitas — sangat penting. Agentic AI mempengaruhi setiap aspek ini dengan cara baru, dan ada tiga area kunci yang perlu ditangani.

Risiko pertama adalah bagaimana agen AI “memikirkan” tugas. Alih-alih menjalankan satu proses tetap, itu memecah pekerjaan menjadi banyak langkah kecil, sering memanggil alat eksternal, menarik dari database, membuat tebakan, dan menangani data pribadi di sepanjang jalan. Sebagian besar dari ini terjadi di luar pandangan. Menentukan data mana yang digunakan, pada langkah mana, dan untuk alasan apa itu sulit dilakukan dalam praktek — tetapi itu adalah jenis transparansi dan akuntabilitas yang diharapkan oleh GDPR.

Risiko kedua adalah bagaimana agen menggunakan memori. Mereka dapat menyimpan data pribadi dalam memori jangka pendek saat menyelesaikan tugas dan dalam memori jangka panjang di seluruh sesi. Jika memori itu tidak dipisahkan dengan jelas, informasi dari interaksi satu orang dapat bocor ke interaksi lainnya. Jika Anda tidak menegakkan batasan retensi yang jelas, data pribadi dapat tetap ada bahkan setelah seharusnya dihapus. Di bawah hak penghapusan GDPR, ini menjadi sangat sulit untuk dikelola ketika data itu terkubur di dalam memori agen, bukan di database yang dapat dengan mudah ditemukan dan diquery oleh tim privasi Anda.

Risiko ketiga adalah injeksi prompt — pada dasarnya, mengelabui agen. Ketika agen membaca dokumen, browsing web, atau memproses pesan masuk, konten berbahaya di sumber-sumber tersebut dapat mengambil alih perilakunya, mendorongnya untuk bocor data pribadi, atau meminta agar melakukan tindakan yang tidak disetujui oleh organisasi. Ini adalah pola serangan yang diketahui yang spesifik untuk sistem agenik. Ini berarti Anda dapat mengalami pelanggaran data bukan karena sistem inti Anda diretas, tetapi karena agen AI Anda menghadapi konten bermusuhan saat melakukan tugasnya — dan di bawah GDPR, Anda masih bertanggung jawab.

Membangun Kepercayaan yang Sebenarnya, Bukan Hanya Antarmuka yang Ramah

Penting untuk memahami bahwa ada perbedaan antara kepercayaan yang direkayasa dan kepercayaan yang diperoleh. Kepercayaan yang direkayasa dapat membantu meyakinkan pengguna tentang satu poin, biasanya melalui cerminan emosi, sinyal antropomorfik, atau desain persuasif.

Namun, kepercayaan yang tahan lama adalah tentang sistem yang berperilaku dengan cara yang dapat dipahami, diprediksi, dan dievaluasi oleh manusia. Alasan, batasan, dan niat agen itu sah. Ini adalah prasyarat untuk desain yang sesuai dengan GDPR, di mana transparansi harus bermakna.

Apa yang Dimaksud dengan Tumpukan Kepercayaan?

Satu strategi untuk organisasi adalah menggunakan tumpukan kepercayaan yang berlapis. Ini berarti bahwa setiap lapisan membuat jelas tentang akuntabilitas antara manusia dan mesin.

• Jalur Penalaran yang Jelas: Agen harus dapat menjelaskan bagaimana dan mengapa ia menghasilkan hasil — tidak dengan detail teknis yang mendalam, tetapi dengan cara yang dapat diikuti dan diperiksa. Ini selaras dengan aturan transparansi GDPR dan hak penjelasan untuk keputusan otomatis di bawah Artikel 22.
• Batasan Kekuasaan yang Jelas: Harus ada batasan yang jelas tentang apa yang diizinkan untuk agen, memutuskan, atau merekomendasikan. Tidak ada perluasan diam-diam kekuasaannya seiring waktu. Untuk tujuan GDPR, ini berarti manusia masih membuat keputusan; agen adalah alat, bukan pengendali.
• Tujuan Terbuka: Tujuan agen harus dinyatakan secara terbuka. Orang harus tahu apakah itu dioptimalkan untuk akurasi, keamanan, kecepatan, atau keuntungan komersial — dan tujuan itu perlu ditulis dan dipahami.
• Tantangan dan Tombol Berhenti yang Mudah: Orang harus dapat mempertanyakan, memperbaiki, atau mematikan keputusan agen tanpa gesekan. Cara yang sederhana untuk keluar adalah penting untuk kepercayaan — dan di bawah Artikel 22, ini juga merupakan persyaratan hukum.
• Tata Kelola yang Terintegrasi: Pencatatan, pemeriksaan, kontrol memori, dan pengawasan perlu dibangun ke dalam sistem sejak hari pertama, bukan ditambahkan kemudian. Desain privasi adalah struktur dasar yang membuat semua hal lain berfungsi.

Menggunakan Tumpukan Kepercayaan membuat otonomi aman untuk diperbesar.

Ketika Tata Kelola Bertemu dengan Pengalaman Dunia Nyata

Tata kelola tidak hanya tentang aturan dan proses. Ini juga tentang bagaimana sistem terasa bagi orang yang menggunakannya. Orang perlu merasa bahwa mereka masih memiliki kontrol. Mereka perlu melihat kapan AI bertindak, memahami mengapa itu melakukan sesuatu, dan tahu bagaimana untuk campur tangan ketika seharusnya berhenti.

Sistem yang memenuhi kotak kepatuhan tetapi terasa seperti kotak hitam kehilangan kepercayaan dengan cepat. Ini membutuhkan pilihan desain yang sangat sadar: tidak ada sinyal manusia yang menunjukkan empati atau penilaian moral yang sistem itu tidak miliki; sinyal yang jelas ketika AI tidak yakin atau terbatas; dan tidak ada penyesuaian pengalaman untuk menciptakan ketergantungan emosi.

Pemimpin harus melangkah lebih jauh dari pertanyaan, “Apakah AI kami bertanggung jawab?” Sebuah set pertanyaan yang lebih baik adalah: “Apa perilaku yang akan dibuat normal oleh sistem ini? Apa yang akan dipaksa orang untuk menjauhkan diri? Bagaimana itu akan membentuk penilaian seiring waktu — dan apakah kita siap untuk menjawabnya?”