Ketika AI Mulai Bertransaksi, Siapa yang Bertanggung Jawab?

Dunia keuangan sedang bergerak menuju agentic AI, di mana AI tidak hanya menjawab pertanyaan tetapi juga melakukan pembelian dan bernegosiasi atas nama Anda. Gabungkan ini dengan keuangan yang tidak terlihat, dan perbankan menghilang ke latar belakang kehidupan sehari-hari. Ini adalah lompatan besar dari membuka aplikasi atau mengisi formulir untuk memiliki mobil, perangkat lunak kerja, atau dompet identitas digital yang aman yang menangani pembayaran dan pinjaman secara instan dan otomatis.

Itulah arah yang kita tuju – dengan pasar global untuk AI raksasa di layanan keuangan yang diharapkan tumbuh dengan rata-rata tahunan melebihi 40%, melampaui $80 miliar pada tahun 2034. Dalam beberapa tahun, kita akan berhenti melakukan perbankan dan mulai mengawasi sistem yang mengelola kehidupan keuangan kita. Ketika sistem AI berpindah dari memberikan saran kepada pengguna untuk mengeksekusi transaksi atas nama mereka, fintech harus menghadapi pertanyaan mendasar: ketika mesin membuat keputusan keuangan, siapa yang membawa tanggung jawab hukum dan regulasi?

Perubahan dari Bantuan ke Keagenan

Untuk keuangan, yang secara tradisional memerlukan manusia untuk hadir pada saat transaksi, itu akan mustahil untuk mempercayakan mesin dengan keagenan untuk menentukan jika, kapan, dan bagaimana bertransaksi – tanpa memerlukan keputusan manusia.

Keuangan yang tidak terlihat sudah berkembang melalui pembayaran yang tertanam, langganan otomatis, checkout satu klik, dan rel waktu nyata. Perbankan semakin berpindah ke dalam produk dari dalam aplikasi perbankan. Gabungkan ini dengan sistem agen, dan Anda mendapatkan kemampuan keuangan yang berorientasi pada tujuan yang memahami konteks, mengumpulkan informasi yang relevan di seluruh platform, dan memulai alur kerja secara otonom. Singkatnya, keuangan agen mengubah niat manusia menjadi pengambilan keputusan dinamis dan terus-menerus tanpa memerlukan input manusia secara nyata.

Transaksi, seperti yang kita kenal, menjadi lebih seperti infrastruktur latar belakang dan kurang seperti interaksi sadar.

Apa Implikasinya?

Munculnya keuangan agen dapat dilihat melalui lensa kontrol, perilaku, dan kepercayaan.

Kontrol tidak lagi tentang membuka aplikasi atau mengklik tombol, tetapi telah diserap ke dalam lapisan yang tidak terlihat dari identitas, sistem pembayaran, dan otomatisasi, yang memandu bagaimana uang bergerak. Ini tidak lagi dilakukan pada saat transaksi, tetapi jauh lebih awal, ketika orang menentukan preferensi, batasan, tujuan, dan izin mereka. Alih-alih memutuskan setiap kali uang harus bergerak, mereka menentukan aturan di mana uang dapat bergerak. Sistem kemudian membawa kontrol itu ke depan, menafsirkan aturan tersebut secara nyata dan bertindak sesuai.

Ini secara fundamental mengubah dan bahkan menantang cara pengguna menggunakan kontrol. Sementara kontrol sebelumnya terletak pada tindakan, sekarang bergeser ke arah konfigurasi. Anda tidak lagi mengelola transaksi, tetapi Anda menetapkan kondisi di mana transaksi diperbolehkan terjadi. Pengawasan menjadi meninjau dan menyesuaikan kondisi tersebut, bukan menyetujui pembayaran satu per satu.

Bagi fintech, ini mengubah di mana tanggung jawab berada. Kontrol tidak lagi berada di antarmuka, tetapi dalam infrastruktur itu sendiri. Ini terletak pada bagaimana identitas diverifikasi, bagaimana izin didesain, bagaimana keputusan dicatat, dan bagaimana tindakan dapat diaudit atau dibatalkan. Lapisan-lapisan ini membentuk bagaimana kontrol keuangan sebenarnya dilakukan, bahkan jika pengguna tidak langsung melihatnya. Akibatnya, kontrol diarahkan ke auditabilitas pre-emptive dari logika agen. Ini memindahkan pengawasan dari persetujuan transaksi waktu nyata ke pemerintahan ‘fungsi objektif’, tujuan inti yang diprogram ke dalam AI, memastikan bahwa niat dasar mesin tetap sejalan dengan kepentingan jangka panjang pengguna sebelum satu sen bergerak.

Ketika tindakan keuangan berpindah ke latar belakang, cara orang berinteraksi dengan uang mereka juga berubah. Lebih sedikit hal untuk dikelola, lebih sedikit prompt untuk disetujui, dan lebih sedikit alasan untuk memeriksa. Secara bertahap, kebiasaan mengelola transaksi secara aktif memberi jalan bagi meninjau secara berkala bagaimana sistem beroperasi. Jika pembayaran tanpa uang membuat transaksi menjadi mudah dan perpanjangan otomatis membuatnya berkelanjutan, maka sistem agen membuatnya otonom.

Apa yang kemudian terjadi pada kepercayaan? Ketika pengguna berkembang dari rutinitas pengawasan sebelumnya, keandalan sistem yang mendasarinya menjadi kunci kepercayaan. Orang ingin tahu bagaimana keputusan dibuat, apa data yang dipertimbangkan, apa batasan yang ada, dan apa yang terjadi ketika sesuatu salah.

Apa yang Terjadi Ketika Sesuatu Salah?

Sebagian besar hukum keuangan dibangun di sekitar gagasan bahwa manusia sengaja memulai transaksi. Tetapi ketika saat niat dan saat eksekusi dipisahkan, asumsi ini melemah. Dengan sistem otonom, tindakan memulai menjadi tidak langsung. Pengguna mungkin telah mengizinkan satu set aturan yang luas, tetapi tidak transaksi spesifik. Jadi ketika sesuatu salah, keputusan yang tepat yang menyebabkannya menjadi sulit untuk ditentukan. Gagasan tentang satu pembuat keputusan yang jelas tidak lagi berlaku, dan rantai keputusan, eksekusi, dan sebab-akibat yang kerangka hukum selalu andalkan terganggu.

Sistem agen memperkenalkan interpretasi algoritmik dari niat pengguna dan hasil yang muncul dari data waktu nyata daripada instruksi eksplisit. Apa yang terlihat seperti satu transaksi sebenarnya dapat merupakan hasil dari banyak pertimbangan otomatis yang dilapis selama waktu.

Ini menciptakan tantangan praktis. Untuk satu, sengketa menjadi lebih sulit untuk diuraikan karena tidak jelas apakah masalahnya terletak pada konfigurasi awal pengguna, interpretasi sistem dari niat tersebut, data yang digunakan, atau tindakan yang diambil. Penegakan regulasi juga menjadi lebih kompleks, karena kerangka tradisional otorisasi dan akuntabilitas tidak berpindah dengan rapi ke pengambilan keputusan agen.

Namun, di mata regulator, lembaga keuangan tetap bertanggung jawab atas kegagalan, pelanggaran, atau kerusakan yang disebabkan oleh sistem ini. Hukum memperlakukan tindakan AI sebagai jika mereka dilakukan oleh karyawan manusia. Jika AI membuat kesalahan, perusahaan membawa tanggung jawab, terutama jika kesalahan tersebut muncul dari pengaturan yang buruk, konfigurasi yang salah, atau pengawasan yang tidak memadai. Jaminan kualitas dan pengawasan manusia dapat tidak pernah diremehkan dalam menghadapi pengambilan keputusan otonom. Jika ada, mereka menjadi lebih kritis untuk memastikan bahwa sistem bertindak sesuai dengan yang diharapkan.

Ini berarti bertanggung jawab atas keputusan yang dibuat oleh perangkat lunak yang dirancang untuk bertindak secara independen, sering kali dalam situasi yang tidak diperkirakan oleh manusia. Pertanyaan tentang tanggung jawab, auditabilitas, dan keterjelasan akan berpindah dari pinggiran hukum ke pusat desain. Lembaga keuangan akan memerlukan model yang lebih jelas untuk melacak keputusan, mengatribusikan tanggung jawab, dan menunjukkan bahwa bahkan tindakan otonom dapat dipahami, ditinjau, dan diperintah. Untuk menjembatani kesenjangan akuntabilitas ini, industri harus mengadopsi ‘Anggapan Presumptif dari Kegagalan Algoritmik.’ Kerangka ini secara hukum menganggap kesalahan sistem telah terjadi dalam setiap transaksi yang dipertanyakan kecuali lembaga keuangan dapat menyediakan jejak audit yang tidak dapat diubah yang membuktikan bahwa agen secara ketat mematuhi batasan yang dikodekan.

Memiliki orang senior yang mengawasi setiap ‘agen’ membantu mengelola risiko dari tindakan yang tidak diinginkan dan mencegah kesalahan dari eskalasi menjadi masalah nyata. Ini memastikan bahwa perusahaan tetap berada di sisi yang benar dari hukum sambil mempertahankan akuntabilitas.

Apa Jalur Ideal ke Depan?

Ketika AI agen memasuki keuangan, tata kelola harus menjadi sama eksplisit. Tim hukum dan kepatuhan harus bermain peran proaktif dalam merancang kerangka otorisasi untuk agen AI, mendefinisikan tanggung jawab di seluruh mitra, menetapkan batasan kontraktual untuk tindakan mesin, dan membangun standar dokumentasi yang jelas menggarisbawahi siapa yang bertanggung jawab atas apa.

Idealnya, ini adalah dunia di mana pelanggan tetap sepenuhnya mengontrol dan selalu mengetahui apa yang dilakukan oleh agen AI mereka. Alih-alih mengandalkan kontrak panjang yang membingungkan yang ditandatangani sekali, persetujuan berkembang menjadi dinamis dan granular, diberikan melalui “izin mikro” untuk tugas spesifik. Namun, untuk menghindari risiko ‘kelelahan notifikasi’, di mana pengguna menyetujui prompt tanpa membacanya, persetujuan harus diperkuat oleh ambang batas risiko yang dikodekan secara keras. Ini bertindak sebagai ‘pemutus sirkuit’ otomatis, menghentikan setiap tindakan non-deterministik atau varians tinggi yang berada di luar profil perilaku historis pengguna.

Sebagai contoh, pengguna mungkin mengizinkan agen AI mereka “izin digital” untuk menghabiskan hanya hingga EUR 50 atas nama mereka untuk satu hari. Setiap tindakan dicatat, menciptakan jejak yang jelas yang membuktikan bahwa AI tetap dalam batasan yang diizinkan. Jika AI mencoba melakukan sesuatu yang tidak biasa atau berisiko, sistem secara otomatis berhenti dan meminta konfirmasi cepat melalui sidik jari atau pemindaian wajah, misalnya. Izin mikro mengubah apa yang bisa menjadi sakit kepala hukum menjadi langkah keamanan waktu nyata – kemenangan bagi pengguna dan lembaga sama-sama. Pengguna mempertahankan visibilitas dan kontrol, sementara otonomi AI beroperasi dalam batasan yang jelas dan akuntabel. Visibilitas ini paling baik dipertahankan melalui ‘Verifikasi Terus-Menerus’, di mana lapisan ‘Penjaga’ berbasis aturan beroperasi secara paralel dengan agen AI. Lapisan sekunder ini tidak memulai transaksi tetapi memiliki wewenang absolut untuk membatalkan setiap tindakan yang melanggar batasan keamanan yang telah ditetapkan sebelumnya, memastikan bahwa keamanan yang berorientasi pada manusia tetap proaktif daripada hanya dicatat.

Akhirnya, kesuksesan keuangan agen akan tergantung pada kemampuannya untuk beroperasi dengan aman, andal, dan berorientasi pada manusia. Tantangan terletak pada mengubah sistem yang kompleks dan tidak terlihat menjadi sesuatu yang dapat dipercaya, dipahami, dan dikendalikan oleh orang-orang.