Rob Feldman, Chief Legal Officer di EnterpriseDB – Seri Wawancara

Rob Feldman, Chief Legal Officer, bertanggung jawab atas fungsi hukum dan kepatuhan di seluruh dunia di EnterpriseDB. Sebagai eksekutif berpengalaman dan pengacara, ia membangun tim hukum berkinerja tinggi untuk mendukung perusahaan teknologi yang tumbuh di lingkungan bisnis dan regulasi yang dinamis. Baru-baru ini, ia memimpin tim hukum 45 orang di Citrix Systems, Inc. sebagai Penasihat Hukum Umum, termasuk melalui transaksi take-private senilai lebih dari $16 miliar pada tahun 2022. Sebelum bergabung dengan Citrix, ia menghabiskan lebih dari satu dekade di praktik swasta sebagai litigator perusahaan teknologi, fokus pada pertahanan penipuan sekuritas, sengketa kekayaan intelektual, dan penyelidikan pemerintah dan internal. Rob juga menjabat di Dewan Hukum Global Compact PBB, memberikan bimbingan strategis tentang lingkungan regulasi global untuk membantu bisnis menghasilkan dampak jangka panjang yang transformasional.

EnterpriseDB adalah perusahaan perangkat lunak yang menyediakan solusi basis data kelas perusahaan yang dibangun di atas PostgreSQL sumber terbuka, membantu organisasi menjalankan beban kerja kritis dengan kinerja, keamanan, dan keandalan yang lebih baik. Didirikan pada tahun 2004, EnterpriseDB menawarkan platform awan dan on-premises, dukungan global, dan alat-alat kompatibilitas Oracle (ORCL ), sambil semakin fokus pada platform data hibrida dan AI-siap melalui penawaran Postgres AI-nya.

Dengan pengalaman panjang Anda dalam kepemimpinan hukum perusahaan dan fokus EnterpriseDB pada Postgres kelas perusahaan dan platform data berdaulat, bagaimana Anda melihat evolusi tanggung jawab hukum untuk perusahaan yang mengoperasikan AI agen dalam infrastruktur data kritis?

Dunia AI dan data masih bergantung pada prinsip-prinsip inti yang seharusnya telah mengatur perusahaan sejak lama sebelum sistem agen tiba: akuntabilitas, keterbatasan, dan kejelasan tanggung jawab.

Di masa lalu, prinsip-prinsip tersebut diterapkan pada orang dan sistem yang relatif tidak bergerak, dasbor, laporan, dan alat otomatis yang tidak menginisiasi tindakan sendiri. AI agen memperkenalkan sistem yang berperilaku lebih seperti peserta daripada instrumen. Mereka dapat bertindak secara mandiri, beradaptasi seiring waktu, dan semakin berinteraksi dengan manusia dan agen lain.

Jika suatu organisasi kekurangan disiplin tata kelola dan kontrol yang kuat, maka akan mengalami kesulitan dalam lingkungan ini. AI agen tidak menciptakan masalah tanggung jawab baru, melainkan memperlihatkan masalah yang sudah ada. Bagi perusahaan dengan fondasi yang kuat, perubahan ini sebenarnya memperkuat praktik yang sudah mereka ikuti, yang kami sebut sebagai “pengendalian digital”. Bagi yang lain, ini adalah sinyal yang jelas bahwa mereka perlu membangun batasan praktis sebelum mengoperasikan AI agen dalam skala besar.

Hanya sekitar 13% perusahaan yang telah mencapai titik skala agen ini dengan sukses. Mereka melakukan 2X lebih banyak agen daripada yang lain dan mendapatkan 5X ROI. Namun, semakin banyak otonomi yang dimiliki suatu sistem AI, maka semakin cepat organisasi harus menghadapi akuntabilitas. Ketika suatu agen AI mengarahkan klaim, memindahkan uang, atau menangani data sensitif secara tidak tepat, tanggung jawab mengikuti perusahaan yang mendefinisikan lingkungan, menetapkan izin, dan memutuskan seberapa banyak kebebasan yang dimiliki sistem tersebut.

Ini adalah alasan mengapa perusahaan perlu membawa pengawasan yang jelas ke kasus penggunaan AI agen mereka, dan mengapa organisasi termotivasi untuk membawa fokus ke program tata kelola dan pengendalian mereka. Analogi kepemilikan anjing dan pengendalian digital sangat berguna. Anjing memiliki tingkat otonomi tertentu, bertindak secara mandiri, meskipun terkadang tidak terduga, namun mereka bukanlah orang hukum. Kombinasi tersebut, otonomi tanpa kepribadian, mirip dengan posisi sistem AI agen saat ini, dan pemilik harus memahami bahwa tanpa pengawasan dan tata kelola, mereka akan menanggung tanggung jawab atas hasil buruk.

Bagaimana perusahaan harus membedakan antara AI bantuan dan AI agen dari perspektif hukum dan operasional sebelum penerapan?

Pada tingkat sederhana, perbedaan tersebut terletak pada otoritas. AI bantuan mendukung pengambilan keputusan manusia, sedangkan AI agen menginisiasi tindakan dan melaksanakan keputusan. Keduanya dapat mempengaruhi alur kerja dan membentuk perilaku, misalnya, dalam layanan pelanggan atau prioritas operasional, tetapi hanya sistem agen yang bertindak atas pengaruh tersebut secara mandiri.

Jika suatu sistem dapat memicu alur kerja, menyetujui hasil, memodifikasi status sistem, atau mengambil tindakan tanpa persetujuan manusia secara langsung, maka harus dianggap sebagai agen. Penentuan tersebut perlu dilakukan sebelum penerapan, karena begitu otoritas diberikan kepada agen, tanggung jawab hukum dan operasional bergeser bersamanya. Organisasi harus menyadari perbedaan ini agar mereka tidak menemukan terlambat bahwa mereka telah secara tidak sengaja mendelegasikan kekuatan pengambilan keputusan, dan dengan itu, akuntabilitas.

Apakah doktrin hukum yang mapan seperti pengalihan kelalaian dan respondeat superior dapat diterapkan secara realistis pada sistem AI otonom, dan di mana kerangka kerja tersebut mulai rusak?

Mereka berlaku lebih langsung daripada yang banyak diasumsikan. Doktrin-doktrin tersebut ada untuk menangani situasi di mana otoritas didelegasikan dan kerusakan terjadi, yang tepatnya merupakan salah satu tantangan potensial yang diperkenalkan oleh AI agen.

Isu tersebut bukan dengan doktrin hukum, melainkan apakah organisasi memahami tanggung jawab yang mereka ambil ketika menerapkan AI otonom, dan kebutuhan untuk mengatur sistem tersebut secara tepat.

Ketika organisasi gagal mendefinisikan cakupan, izin, dan pengawasan, mereka menciptakan tanggung jawab hukum. Isu tersebut jarang bahwa hukum tidak dapat menangani AI agen, melainkan bahwa perusahaan belum secara jelas mendefinisikan apa yang diizinkan sistem mereka lakukan atau bagaimana mereka harus diatur.

Apa langkah-langkah praktis yang harus diambil oleh CIO dan tim hukum hari ini untuk mendefinisikan dan memitigasi tanggung jawab ketika alur kerja AI terus belajar dan beradaptasi dalam lingkungan produksi?

Langkah pertama adalah menganggap kontrol berdaulat atas AI dan data sebagai misi kritis. Organisasi tidak dapat mengatur tanggung jawab dengan efektif jika sistem AI dan data mereka terfragmentasi di lingkungan yang tidak dapat mereka amati atau kelola sepenuhnya. 13% perusahaan yang sukses dengan AI agen dalam skala besar memulai dengan fondasi ini.

Secara praktis, itu berarti membatasi akses data, mendefinisikan tindakan apa yang dapat dilakukan agen secara otonom, dan menempatkan pengawasan manusia di sekitar keputusan yang berdampak tinggi. Ini juga memerlukan pelacakan dan kemampuan pelacakan, sehingga perilaku dapat ditinjau jika dan ketika diperlukan. Organisasi yang mengadopsi langkah-langkah ini awal akan mengurangi baik paparan hukum maupun gesekan operasional di masa depan.

Bagaimana Anda merekomendasikan perusahaan untuk mengendalikan atau mengatur AI agen melalui kebijakan, kontrol teknis, atau perlindungan kontraktual untuk mengurangi risiko kerusakan yang tidak disengaja?

Titik awalnya adalah kedaulatan. Perusahaan memerlukan lingkungan di mana sistem AI, data, dan konteks eksekusi mereka dapat diamati dan ditegakkan dalam skala besar. Tata kelola tidak dapat bergantung pada kebijakan saja. Kebijakan menetapkan harapan, tetapi kontrol teknis menentukan apa yang dapat dilakukan sistem, apakah data sedang diproses atau sedang bergerak, dan bagaimana model diizinkan untuk beroperasi.

Beberapa agen harus berada dalam lingkungan yang terisolasi dengan tidak ada akses produksi. Yang lain mungkin beroperasi dengan izin terbatas dan ambang persetujuan. Agen yang sepenuhnya otonom harus jarang dan diawasi dengan hati-hati. Kontrak dapat membantu memperjelas tanggung jawab, tetapi mereka tidak menggantikan kebutuhan akan kontrol internal dan akuntabilitas.

Apakah pergeseran menuju lingkungan AI yang dikendalikan perusahaan atau berdaulat mengubah siapa yang pada akhirnya menanggung risiko ketika agen AI menyebabkan kerusakan keuangan atau operasional?

Tidak, itu tidak mengubah siapa yang menanggung risiko. Ini membuat akuntabilitas lebih jelas, dan dalam banyak cara, mengurangi risiko. Ketika perusahaan mengontrol data, infrastruktur, dan konteks eksekusi, mereka menghilangkan variabel yang diperkenalkan ketika data dan alat berada di tangan pihak ketiga.

Kontrol atas data dan alat AI adalah kekuatan. Kedaulatan memberikan organisasi visibilitas dan otoritas yang diperlukan untuk mengelola risiko secara bertanggung jawab. Tanpa kontrol tersebut, perusahaan memperluas profil risiko mereka.

Dari perspektif Anda, apa peran transparansi dan kemampuan audit dalam mengurangi paparan hukum ketika menjalankan aplikasi AI otonom?

Mereka sangat penting. Kemampuan audit membuat sistem otonom menjadi sistem yang dapat dipertanggungjawabkan.

Ketika insiden terjadi, regulator dan pengadilan mengajukan pertanyaan praktis: apa yang diketahui sistem, apa yang diizinkan untuk dilakukan, dan mengapa sistem bertindak? Perusahaan yang dapat menunjukkan pengawasan dan kemampuan audit berada dalam posisi jauh lebih kuat dibandingkan dengan rekan-rekan mereka yang datang dengan tangan kosong.

Bagaimana perusahaan harus mempersiapkan diri untuk kewajiban hukum yang berbeda-beda pada tingkat negara bagian yang terkait dengan tanggung jawab AI, karena pedoman AI federal terus berkembang?

Organisasi tidak dapat menunggu regulator untuk menyerahkan tubuh aturan yang terperinci khusus untuk AI. Hukum negara bagian dan federal yang ada memberikan kita 95% kejelasan yang kita butuhkan untuk menggunakan AI secara bertanggung jawab dan menghindari peristiwa tanggung jawab yang signifikan.

Kejelasan tersebut termasuk merancang sistem untuk memenuhi standar tanggung jawab produk yang paling menuntut, yang akan mencakup hal-hal seperti pengembangan AI yang bertanggung jawab, pengujian sebelum rilis, transparansi dan pengungkapan risiko, audit pasca-rilis, pengawasan manusia, dan pelatihan untuk pengguna kemampuan AI. Langkah-langkah dasar dan familiar ini lebih penting daripada mencoba memprediksi hasil regulasi tertentu.

Apa pertanyaan-pertanyaan yang paling penting yang harus diajukan oleh pembeli teknologi kepada vendor tentang otonomi, pengawasan, dan tanggung jawab sebelum mengadopsi sistem AI agen?

Dengan AI agen, akuntabilitas pada akhirnya berada pada pihak yang memberikan otonomi. Jadi, empat pertanyaan utama yang harus dijawab adalah:

1. Siapa yang mengontrol sistem dalam produksi?
2. Bagaimana izin diuji dan ditegakkan?
3. Bagaimana pembelajaran dibatasi?
4. Apa bukti audit yang tersedia jika terjadi kesalahan?

Jika vendor tidak dapat memberikan jawaban yang jelas, perusahaan harus berhati-hati. Kembali ke analogi anjing: peternak penting, tetapi jika terjadi kesalahan, tanggung jawab mungkin berada pada pemilik.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi EnterpriseDB.