Ketika AI Mulai Melakukan Transaksi, Siapa yang Bertanggung Jawab?

Dunia keuangan sedang bergerak menuju agentic AI, di mana AI tidak hanya menjawab pertanyaan tetapi juga melakukan pembelian dan bernegosiasi atas nama Anda. Gabungkan ini dengan keuangan yang tidak terlihat, dan perbankan menghilang ke latar belakang kehidupan sehari-hari. Ini adalah lompatan besar dari membuka aplikasi atau mengisi formulir untuk memiliki mobil, perangkat lunak kerja, atau dompet identitas digital yang aman untuk menangani pembayaran dan pinjaman secara instan dan otomatis.

Itulah arah yang kita tuju – dengan pasar global untuk AI raksasa di layanan keuangan yang diharapkan tumbuh dengan rata-rata tingkat tahunan melebihi 40%, melampaui $80 miliar pada tahun 2034. Dalam beberapa tahun, kita akan berhenti melakukan perbankan dan memulai pengawasan sistem yang mengelola kehidupan keuangan kita. Ketika sistem AI bergerak dari memberikan saran kepada pengguna untuk mengeksekusi transaksi atas nama mereka, fintech harus menghadapi pertanyaan mendasar: ketika mesin membuat keputusan keuangan, siapa yang membawa tanggung jawab hukum dan regulasi?

Perubahan dari bantuan ke keagenan

Untuk keuangan, yang secara tradisional memerlukan kehadiran manusia pada saat transaksi, itu akan mustahil untuk mempercayakan mesin dengan keagenan untuk menentukan jika, kapan, dan bagaimana melakukan transaksi – tanpa momen keputusan yang memerlukan diskresi manusia.

Keuangan yang tidak terlihat sudah berkembang melalui pembayaran yang tertanam, langganan otomatis, checkout satu klik, dan rel waktu nyata. Perbankan semakin bergerak ke dalam produk dari dalam aplikasi perbankan. Gabungkan ini dengan sistem agen, dan Anda mendapatkan kemampuan keuangan yang berorientasi tujuan yang memahami konteks, mengumpulkan informasi yang relevan di seluruh platform, dan memulai alur kerja secara otonom. Singkatnya, keuangan agen mengubah niat manusia menjadi pengambilan keputusan dinamis dan berkelanjutan tanpa memerlukan input manusia waktu nyata.
Transaksi, seperti yang kita kenal, menjadi lebih infrastruktur latar belakang dan kurang interaksi sadar.

Apa implikasinya?

Munculnya keuangan agen dapat dilihat melalui lensa kontrol, perilaku, dan kepercayaan.

Kontrol tidak lagi tentang membuka aplikasi atau mengklik tombol, tetapi diserap ke dalam lapisan yang tidak terlihat dari sistem identitas, pembayaran, dan otomatisasi, yang memandu bagaimana uang bergerak. Ini tidak lagi dilakukan pada titik transaksi, tetapi jauh lebih awal, ketika orang menentukan preferensi, batasan, tujuan, dan izin mereka. Alih-alih memutuskan setiap kali uang harus bergerak, mereka menentukan aturan di mana itu dapat terjadi. Sistem kemudian membawa kontrol itu ke depan, menafsirkan aturan tersebut secara waktu nyata dan bertindak sesuai.
Ini secara fundamental mengubah dan bahkan menantang cara pengguna melakukan kontrol. Sementara kontrol dulunya terletak pada aksi, sekarang bergeser ke arah konfigurasi. Anda tidak lagi mengelola transaksi, tetapi Anda menyetel kondisi di mana transaksi diizinkan terjadi. Pengawasan menjadi meninjau dan menyesuaikan kondisi tersebut, bukan menyetujui pembayaran satu per satu.

Untuk fintech, ini mengubah di mana tanggung jawab berada. Kontrol tidak lagi berada di antarmuka, tetapi dalam infrastruktur itu sendiri. Ini terletak pada bagaimana identitas diverifikasi, bagaimana izin didesain, bagaimana keputusan dicatat, dan bagaimana tindakan dapat diaudit atau dibatalkan. Lapisan ini membentuk bagaimana kontrol keuangan sebenarnya dilakukan, bahkan jika pengguna tidak pernah langsung melihatnya. Konsekuensinya, kontrol diarahkan ke auditabilitas pre-emptive logika agen. Ini memindahkan pengawasan dari persetujuan transaksi waktu nyata ke pemerintahan ‘fungsi objektif’, tujuan inti yang diprogram ke dalam AI, memastikan bahwa niat dasar mesin tetap sejalan dengan kepentingan jangka panjang pengguna sebelum satu sen bergerak.

Ketika tindakan keuangan bergerak ke latar belakang, cara orang berinteraksi dengan uang mereka juga berubah. Lebih sedikit hal untuk dikelola, lebih sedikit prompt untuk disetujui, dan lebih sedikit alasan untuk memeriksa. Dalam waktu, kebiasaan mengelola transaksi secara aktif memberi jalan untuk secara berkala meninjau bagaimana sistem beroperasi. Jika pembayaran tanpa uang membuat transaksi tanpa usaha dan perpanjangan otomatis membuatnya berkelanjutan, maka sistem agen membuatnya otonom.

Apa yang kemudian menjadi kepercayaan? Ketika pengguna berkembang dari rutinitas pengawasan sebelumnya, keandalan sistem yang mendasarinya menjadi kunci kepercayaan. Orang ingin tahu bagaimana keputusan dibuat, apa data yang dipertimbangkan, apa batasan yang ada, dan apa yang terjadi ketika sesuatu salah.

Apa yang terjadi ketika sesuatu salah?

Sebagian besar hukum keuangan dibangun di sekitar gagasan bahwa manusia sengaja memulai transaksi. Tetapi ketika momen niat dan momen eksekusi dipisahkan, asumsi ini melemah. Dengan sistem otonom, tindakan memulai menjadi tidak langsung. Pengguna mungkin telah mengizinkan satu set aturan yang luas, tetapi tidak transaksi tertentu. Jadi ketika sesuatu salah, keputusan yang tepat yang menyebabkannya menjadi sulit untuk ditentukan. Gagasan tentang satu pembuat keputusan yang jelas tidak lagi berlaku, dan rantai keputusan yang jelas, eksekusi, dan kausalitas yang kerangka hukum selalu andalkan terganggu.

Sistem agen memperkenalkan interpretasi algoritmik dari niat pengguna dan hasil yang muncul dari data waktu nyata daripada instruksi eksplisit. Apa yang tampak seperti satu transaksi sebenarnya dapat menjadi hasil dari beberapa penilaian otomatis yang dilapiskan selama waktu.

Ini menciptakan tantangan praktis. Untuk satu, sengketa menjadi lebih sulit untuk diuraikan karena tidak jelas apakah masalahnya terletak pada konfigurasi asli pengguna, interpretasi sistem dari niat tersebut, data yang digunakan, atau tindakan yang diambil. Penegakan regulasi juga menjadi lebih kompleks, karena kerangka hukum tradisional otorisasi dan akuntabilitas tidak berpindah dengan rapi ke pengambilan keputusan agen.

Namun di mata regulator, lembaga keuangan tetap bertanggung jawab atas kegagalan, pelanggaran, atau kerusakan yang disebabkan melalui sistem ini. Hukum memperlakukan tindakan AI sebagai jika mereka dilakukan oleh karyawan manusia. Jika AI membuat kesalahan, perusahaan membawa tanggung jawab, terutama jika kesalahan timbul dari pengaturan yang buruk, konfigurasi yang salah, atau pengawasan yang tidak memadai. Jaminan kualitas dan pengawasan manusia dapat tidak pernah diremehkan dalam menghadapi pengambilan keputusan otonom. Jika ada, mereka menjadi lebih kritis untuk memastikan bahwa sistem bertindak sesuai dengan yang diinginkan.

Ini berarti bertanggung jawab atas keputusan yang dibuat oleh perangkat lunak yang dirancang untuk bertindak secara independen, seringkali dalam situasi yang tidak diperkirakan oleh manusia. Pertanyaan tentang tanggung jawab, auditabilitas, dan keterjelasan akan berpindah dari pinggiran hukum ke pusat desain. Lembaga keuangan akan memerlukan model yang lebih jelas untuk melacak keputusan, mengatribusikan tanggung jawab, dan menunjukkan bahwa bahkan tindakan otonom dapat dipahami, ditinjau, dan diperintah. Untuk menjembatani kesenjangan akuntabilitas ini, industri harus mengadopsi ‘Asumsi Pembalikan Kegagalan Algoritmik.’ Kerangka hukum ini menganggap kesalahan sistem telah terjadi dalam setiap transaksi yang dipertanyakan kecuali lembaga keuangan dapat menyediakan jejak audit yang tidak dapat diubah yang membuktikan bahwa agen secara ketat mematuhi pagar pembatas yang dikodekan.

Memiliki orang senior yang mengawasi setiap ‘agen’ membantu mengelola risiko tindakan yang tidak disengaja dan mencegah kesalahan dari eskalasi menjadi masalah nyata. Ini memastikan perusahaan tetap berada di sisi yang benar dari hukum sambil mempertahankan akuntabilitas.

Apa yang ideal untuk dilakukan?

Ketika AI agen memasuki keuangan, tata kelola harus menjadi sama eksplisit. Tim hukum dan kepatuhan harus memainkan peran proaktif dalam merancang kerangka otorisasi untuk agen AI, mendefinisikan tanggung jawab di seluruh mitra, menetapkan batasan kontraktual untuk tindakan mesin, dan menetapkan standar dokumentasi yang jelas menggarisbawahi siapa yang bertanggung jawab atas apa.

Idealnya, ini adalah dunia di mana pelanggan tetap sepenuhnya mengontrol dan selalu mengetahui apa yang tepat agen AI mereka lakukan. Alih-alih mengandalkan kontrak panjang yang membingungkan yang ditandatangani sekali, persetujuan menjadi dinamis dan granular, diberikan melalui “izin mikro” untuk tugas tertentu. Namun, untuk menghindari risiko ‘kelelahan notifikasi’, di mana pengguna menyetujui prompt tanpa membacanya, persetujuan harus diperkuat oleh ambang batas risiko yang dikodekan keras. Ini bertindak sebagai ‘pemutus sirkuit’ otomatis, menghentikan tindakan non-deterministik atau varians tinggi yang jatuh di luar profil perilaku historis pengguna.

Sebagai contoh, pengguna mungkin mengizinkan agen AI mereka “izin digital” untuk menghabiskan hanya hingga EUR 50 atas nama mereka untuk satu hari. Setiap tindakan dicatat, menciptakan jejak yang jelas yang membuktikan AI tetap dalam batasan yang diizinkan. Jika AI mencoba sesuatu yang tidak biasa atau berisiko, sistem secara otomatis berhenti dan meminta konfirmasi cepat melalui sidik jari atau pemindaian wajah, misalnya. Izin mikro mengubah apa yang bisa menjadi sakit kepala hukum menjadi langkah pengaman waktu nyata – kemenangan bagi pengguna dan lembaga alike. Pengguna mempertahankan visibilitas dan kontrol, sementara otonomi AI beroperasi dalam batasan yang jelas dan akuntabel. Visibilitas ini terbaik dipertahankan melalui ‘Verifikasi Berkelanjutan’, di mana lapisan ‘Penjaga’ berbasis aturan beroperasi paralel dengan agen AI. Lapisan sekunder ini tidak memulai transaksi tetapi memiliki wewenang absolut untuk memveto tindakan apa pun yang melanggar batasan keamanan yang telah ditetapkan sebelumnya, memastikan keamanan yang berorientasi manusia tetap proaktif daripada hanya dicatat.

Akhirnya, keberhasilan keuangan agen akan bergantung pada kemampuannya untuk beroperasi dengan aman, andal, dan berorientasi manusia. Tantangan terletak pada mengubah sistem yang kompleks dan tidak terlihat menjadi sesuatu yang dapat dipercaya, dipahami, dan dikendalikan oleh orang.