Rob Feldman, Chief Legal Officer di EnterpriseDB – Seri Wawancara

Rob Feldman, Chief Legal Officer, bertanggung jawab atas fungsi hukum dan kepatuhan di seluruh dunia di EnterpriseDB. Sebagai eksekutif berpengalaman dan pengacara, ia membangun tim hukum berkinerja tinggi untuk mendukung perusahaan teknologi yang tumbuh di lingkungan bisnis dan regulasi yang dinamis. Baru-baru ini, ia memimpin tim hukum 45 orang di Citrix Systems, Inc. sebagai General Counsel, termasuk melalui transaksi take-private senilai lebih dari $16 miliar pada 2022. Sebelum bergabung dengan Citrix, ia menghabiskan lebih dari satu dekade di praktek swasta sebagai litigator perusahaan teknologi, fokus pada pertahanan penipuan sekuritas, sengketa kekayaan intelektual dan investigasi pemerintah dan internal. Rob juga menjabat di Dewan Hukum UN Global Compact, memberikan bimbingan strategis tentang lingkungan regulasi global untuk membantu bisnis menghasilkan dampak jangka panjang yang transformatif.

EnterpriseDB adalah perusahaan perangkat lunak yang menyediakan solusi basis data kelas perusahaan yang dibangun di atas PostgreSQL open-source, membantu organisasi menjalankan beban kerja kritis dengan kinerja, keamanan, dan keandalan yang lebih baik. Didirikan pada 2004, EnterpriseDB menawarkan platform cloud dan on-premises, dukungan global, dan alat kompatibilitas Oracle, sambil semakin fokus pada platform data hibrida dan AI-ready melalui penawaran Postgres AI.

Bagaimana Anda melihat evolusi tanggung jawab untuk perusahaan yang mengoperasikan AI agenik di dalam infrastruktur data kritis

Dunia AI dan data masih bergantung pada prinsip-prinsip dasar yang seharusnya telah mengatur perusahaan sebelum sistem agenik tiba: akuntabilitas, keterbatasan, dan kejelasan tanggung jawab.

Di masa lalu, prinsip-prinsip tersebut diterapkan pada orang dan sistem yang relatif tidak aktif, dasbor, laporan, dan alat otomatis yang tidak memulai tindakan sendiri. AI agenik memperkenalkan sistem yang berperilaku lebih seperti peserta daripada instrumen. Mereka dapat bertindak secara independen, beradaptasi seiring waktu, dan semakin berinteraksi dengan manusia dan agen lain.

Jika suatu organisasi kekurangan disiplin pengendalian dan pengawasan yang kuat, maka akan mengalami kesulitan dalam lingkungan ini. AI agenik tidak menciptakan masalah tanggung jawab baru, tetapi lebih banyak memperlihatkan masalah yang sudah ada. Untuk perusahaan dengan fondasi yang kuat, perubahan ini sebenarnya memperkuat praktik yang sudah mereka ikuti, yang kami sebut sebagai “pengendalian digital.” Untuk yang lain, ini adalah sinyal yang jelas bahwa perlu dibuat batasan praktis sebelum mengoperasikan AI agenik dalam skala besar.

Hanya sekitar 13% perusahaan yang telah mencapai titik skala agenik ini dengan sukses. Mereka melakukan 2X jumlah agenik daripada yang lain dan mendapatkan 5X ROI. Namun, semakin banyak otonomi yang dimiliki sistem AI, maka semakin cepat organisasi harus menghadapi akuntabilitas. Ketika agen AI mengarahkan klaim, memindahkan uang, atau menangani data sensitif secara tidak tepat, tanggung jawab mengikuti perusahaan yang mendefinisikan lingkungan, menetapkan izin, dan memutuskan seberapa banyak kebebasan yang dimiliki sistem tersebut.

Ini adalah alasan mengapa perusahaan perlu membawa pengawasan yang jelas ke kasus penggunaan AI agenik, dan mengapa organisasi termotivasi untuk membawa fokus ke program pengendalian dan kepatuhan mereka. Analogi kepemilikan anjing dan pengendalian digital sangat berguna. Anjing memiliki tingkat otonomi tertentu, bertindak secara independen, meskipun terkadang tidak terduga, namun mereka bukanlah orang hukum. Kombinasi ini, otonomi tanpa kepribadian, mirip dengan posisi sistem AI agenik saat ini, dan pemilik harus memahami bahwa tanpa pengawasan dan pengendalian, mereka akan bertanggung jawab atas hasil buruk.

Bagaimana perusahaan harus membedakan antara AI asisten dan AI agenik dari perspektif hukum dan operasional sebelum penerapan?

Pada tingkat sederhana, perbedaan ini terletak pada otoritas. AI asisten mendukung pengambilan keputusan manusia, sedangkan AI agenik memulai tindakan dan melaksanakan keputusan. Keduanya dapat mempengaruhi alur kerja dan membentuk perilaku, misalnya, dalam layanan pelanggan atau prioritas operasional, tetapi hanya sistem agenik yang bertindak secara independen.

Jika suatu sistem dapat memicu alur kerja, menyetujui hasil, memodifikasi keadaan sistem, atau mengambil tindakan tanpa persetujuan manusia secara real-time, maka harus dianggap sebagai agenik. Penentuan ini perlu terjadi sebelum penerapan, karena setelah otoritas diberikan kepada agen, tanggung jawab hukum dan operasional bergeser bersamanya. Organisasi harus menyadari perbedaan ini agar tidak menemukan terlambat bahwa mereka telah secara tidak sengaja mendelegasikan kekuatan pengambilan keputusan, dan dengan itu, akuntabilitas.

Apakah doktrin hukum yang mapan seperti pengalihan kelalaian dan respondeat superior dapat diterapkan secara realistis pada sistem AI otonom, dan di mana kerangka kerja tersebut mulai runtuh?

Mereka berlaku lebih langsung daripada yang banyak diasumsikan. Doktrin-doktrin ini ada untuk menangani situasi di mana otoritas didelegasikan dan kerusakan terjadi, yang tepatnya merupakan salah satu tantangan potensial yang diperkenalkan oleh AI agenik.

Masalahnya bukan dengan doktrin hukum, tetapi apakah organisasi memahami tanggung jawab yang mereka ambil ketika mengoperasikan AI otonom, dan kebutuhan untuk mengatur sistem tersebut secara tepat.

Ketika organisasi gagal mendefinisikan ruang lingkup, izin, dan pengawasan, mereka menciptakan tanggung jawab hukum. Masalahnya jarang bahwa hukum tidak dapat menangani AI agenik, tetapi lebih pada bahwa perusahaan belum secara jelas mendefinisikan apa yang sistem mereka izinkan untuk dilakukan atau bagaimana mereka harus diatur.

Apa langkah-langkah praktis yang harus diambil oleh CIO dan tim hukum hari ini untuk mendefinisikan dan memitigasi tanggung jawab ketika alur kerja AI terus belajar dan beradaptasi di lingkungan produksi?

Langkah pertama adalah menganggap kontrol berdaulat atas AI dan data sebagai misi kritis. Organisasi tidak dapat mengatur tanggung jawab dengan cara yang bermakna jika sistem AI dan data mereka terfragmentasi di lingkungan yang tidak dapat mereka amati atau kelola sepenuhnya. 13% perusahaan yang sukses dengan AI agenik dalam skala besar memulai dengan fondasi ini.

Dalam prakteknya, itu berarti membatasi akses data, mendefinisikan tindakan apa yang dapat dilakukan agen secara otonom, dan menempatkan pengawasan manusia di sekitar keputusan yang berdampak tinggi. Ini juga memerlukan logging dan jejak, sehingga perilaku dapat ditinjau jika dan ketika diperlukan. Organisasi yang mengadopsi langkah-langkah ini lebih awal akan mengurangi eksposur hukum dan gesekan operasional di masa depan.

Bagaimana Anda merekomendasikan perusahaan untuk mengendalikan atau mengatur AI agenik melalui kebijakan, kontrol teknis, atau perlindungan kontraktual untuk mengurangi risiko kerusakan yang tidak disengaja?

Titik awalnya adalah kedaulatan. Perusahaan memerlukan lingkungan di mana sistem AI, data, dan konteks eksekusi mereka dapat diamati dan ditegakkan dalam skala. Pengendalian tidak dapat bergantung pada kebijakan saja. Kebijakan menetapkan harapan, tetapi kontrol teknis menentukan apa yang dapat dilakukan sistem, apakah data berada dalam keadaan istirahat atau gerak, dan bagaimana model diizinkan untuk beroperasi.

Beberapa agen harus berada dalam lingkungan yang terisolasi dengan tidak ada akses produksi. Yang lain mungkin beroperasi dengan izin terbatas dan ambang persetujuan. Agen yang sepenuhnya otonom harus jarang dan diawasi dengan hati-hati. Kontrak dapat membantu memperjelas tanggung jawab, tetapi mereka tidak menggantikan kebutuhan akan kontrol internal dan akuntabilitas.

Apakah pergeseran menuju lingkungan AI yang dikendalikan perusahaan mengubah siapa yang pada akhirnya menanggung risiko ketika agen AI menyebabkan kerusakan keuangan atau operasional?

Tidak, itu tidak mengubah siapa yang menanggung risiko. Ini membuat akuntabilitas lebih jelas, dan dalam banyak cara, mengurangi risiko. Ketika perusahaan mengendalikan data, infrastruktur, dan konteks eksekusi, mereka menghilangkan variabel yang diperkenalkan ketika data dan alat berada di tangan pihak ketiga.

Kontrol atas data dan alat AI adalah kekuatan. Kedaulatan memberikan organisasi visibilitas dan otoritas yang diperlukan untuk mengelola risiko dengan bertanggung jawab. Tanpa kontrol itu, perusahaan memperluas profil risiko mereka.

Dari perspektif Anda, apa peran transparansi dan auditabilitas dalam mengurangi eksposur hukum ketika menjalankan aplikasi AI otonom?

Mereka adalah fondasi. Auditabilitas mengubah sistem otonom menjadi sistem yang dapat dipertahankan.

Ketika insiden terjadi, regulator dan pengadilan mengajukan pertanyaan praktis: apa yang diketahui sistem, apa yang diizinkan untuk dilakukan, dan mengapa sistem bertindak? Perusahaan yang dapat menunjukkan pengawasan dan auditabilitas berada dalam posisi jauh lebih kuat dibandingkan dengan lawan mereka yang datang dengan tangan kosong.

Bagaimana perusahaan harus mempersiapkan diri untuk kewajiban hukum yang berbeda-beda pada tingkat negara bagian yang terkait dengan tanggung jawab AI, karena pedoman AI federal terus berkembang?

Organisasi tidak dapat menunggu regulator untuk menyerahkan tubuh aturan terperinci yang spesifik untuk AI. Hukum negara bagian dan federal yang ada memberikan kita 95% kejelasan yang dibutuhkan untuk menggunakan AI secara bertanggung jawab dan menghindari peristiwa tanggung jawab yang signifikan.

Kejelasan ini termasuk merancang sistem untuk memenuhi standar tanggung jawab produk yang paling menuntut, yang akan mencakup hal-hal seperti pengembangan AI yang bertanggung jawab, pengujian sebelum rilis, transparansi dan pengungkapan risiko, audit pasca-rilis, pengawasan manusia, dan pelatihan untuk pengguna kemampuan AI. Langkah-langkah dasar dan familiar ini lebih penting daripada mencoba memprediksi hasil regulasi tertentu.

Apa pertanyaan paling penting yang harus ditanyakan oleh pembeli teknologi kepada vendor tentang otonomi, pengawasan, dan tanggung jawab sebelum mengadopsi sistem AI agenik?

Dengan AI agenik, akuntabilitas pada akhirnya berada pada pihak yang memberikan otonomi. Jadi, empat pertanyaan utama yang harus dijawab adalah:

1. Siapa yang mengendalikan sistem di produksi?
2. Bagaimana izin diuji dan ditegakkan?
3. Bagaimana pembelajaran dibatasi?
4. Apa bukti audit yang tersedia jika sesuatu salah?

Jika vendor tidak dapat memberikan jawaban yang jelas, perusahaan harus melanjutkan dengan hati-hati. Kembali ke analogi anjing: peternak penting, tetapi jika sesuatu salah, tanggung jawab mungkin berada pada pemilik.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi EnterpriseDB.