EnterpriseDB’de Chief Legal Officer Rob Feldman ile Röportaj Serisi

Rob Feldman, Chief Legal Officer, EnterpriseDB’de dünya çapında yasal ve uyum işlevlerinden sorumludur. Deneyimli bir yönetici ve avukat olarak, büyüyen teknoloji şirketlerini dinamik iş ve düzenleyici ortamlarda desteklemek için yüksek performanslı yasal takımlar oluşturur. En son olarak, 2022’de 16 milyar doların üzerinde bir özel satın alma işleminin parçası olarak Citrix Systems, Inc.’in Genel Counsel olarak 45 kişilik bir yasal takımı yönetti. Citrix’ten önce, sekiz yılı aşkın bir süre özel uygulamada teknoloji şirketleri avukatı olarak çalıştı ve özellikle menkul kıymet dolandırıcılığı savunması, fikri mülkiyet anlaşmazlıkları ve hükümet ve iç soruşturmalar üzerine odaklandı. Rob ayrıca, işletmelere dönüşümsel, uzun vadeli etki yaratmalarına yardımcı olmak için küresel düzenleyici ortamlar hakkında stratejik rehberlik sağlamak amacıyla BM Küresel Sözleşme Hukuk Konseyi’nde görev yapmaktadır.

EnterpriseDB açık kaynaklı PostgreSQL üzerine inşa edilen işletme sınıfı veritabanı çözümleri sunan bir yazılımdır ve organizasyonların kritik iş yüklerini daha yüksek performans, güvenlik ve güvenilirlikle çalıştırmasına yardımcı olur. 2004 yılında kurulan EnterpriseDB, bulut ve şirket içi platformlar, küresel destek ve Oracle (ORCL ) uyumluluk araçları sunar ve Postgres AI teklifleri aracılığıyla AI’ye hazır ve hibrit veri platformlarına odaklanmaya devam etmektedir.

Uzun süredir kurumsal yasal liderlik deneyiminiz ve EnterpriseDB’nin işletme sınıfı Postgres ve egemen AI ve veri platformlarına odaklanması dikkate alındığında, kritik veri altyapısında agentic AI’i işlemselleştiren şirketler için sorumluluğun nasıl gelişeceğini düşünüyorsunuz?

AI ve veri dünyası, agentic sistemlerin ortaya çıkmasından çok önce işletmeler tarafından yönetilmesi gereken aynı temel ilkeler tarafından yönetilir: hesap verebilirlik, kısıtlama ve sorumluluğun açıklığı.

Geçmişte, bu ilkeler insanlara ve büyük ölçüde inert sistemlere, panellere, raporlara ve kendi başlarına eylem başlatmayan otomatik araçlara uygulanıyordu. Agentic AI, daha çok katılımcı gibi davranan ve bağımsız olarak hareket edebilen, zaman içinde uyum sağlayabilen ve giderek daha fazla insan ve diğer ajanlarla etkileşime giren sistemler sunar.

Güçlü yönetim ve kontrol disiplinlerine sahip olmayan bir organizasyon, bu ortamda zorluklarla karşılaşacaktır. Agentic AI, yeni sorumluluk sorunları yaratmaz, ancak mevcut olanları ortaya çıkar. Sağlam temellere sahip işletmeler için bu değişiklik, zaten takip ettikleri uygulamaları pekiştirir, yani “dijital bağlanma” dediklerimiz. Diğerleri için ise, agentic AI’yi büyük ölçekte işlemselleştirmeden önce pratik güvenlik önlemlerinin kurulması gerektiğini gösteren bir işarettir.

Yaklaşık %13’ü işletme, agentic ölçekte başarılı bir şekilde bu noktaya ulaşmıştır. Bunlar, diğerlerinin iki katı agentic AI kullanır ve beş katı ROI elde eder. Ancak bir AI sisteminin ne kadar özerk olursa, organizasyonlar o kadar sớm sorumlulukla yüzleşmek zorunda kalacaktır. Bir AI ajanı talebi yönlendirdiğinde, parayı taşıdığında veya hassas verileri yanlış ele aldığında, sorumluluk, bu sistemi tanımlayan, izinleri belirleyen ve bu sisteme ne kadar özgürlük tanıdığına karar veren işletmeyle kalacaktır.

Bu nedenle, şirketlerin agentic AI kullanım örneklerine net bir denetim getirmesi ve organizasyonların, güvenlik önlemlerine ve yönetim programlarına odaklanmasını teşvik etmesi gerekir. Köpek sahipliği ve dijital bağlanma analojisi kullanışlıdır. Köpekler belirli bir düzeyde özerkliğe sahiptir, bağımsız olarak hareket edebilir, ancak bazen öngörülemez bir şekilde, ancak yasal kişiler değildir. Bu kombinasyon, özerklik olmadan ajans, bugünkü agentic AI sistemlerinin bulunduğu yere benzer ve sahipler, gözetim ve yönetim olmadan kötü sonuçlar için sorumluluk taşıyacaklarını anlamalıdır.

İşletmelerin, dağıtım öncesi yasal ve işlemsel açıdan yardımcı AI ile agentic AI arasında nasıl ayrım yapması gerekir?

Basit bir düzeyde, ayrım yetkiye dayanır. Yardımcı AI, insan karar alma süreçlerini destekler, mientras ki agentic AI, eylemleri başlatır ve kararları uygular. Her ikisi de iş akışlarını etkileyebilir ve davranışı şekillendirebilir, örneğin müşteri hizmetleri veya operasyonel önceliklendirme, ancak yalnızca agentic sistemler bu etkiye bağımsız olarak hareket eder.

Eğer bir sistem, iş akışlarını tetikleyebilir, sonuçları onaylayabilir, sistem durumlarını değiştirebilir veya insan onayını beklemeden eylem alabilirse, bu bir agentic sistem olarak ele alınmalıdır. Bu belirleme, dağıtım öncesinde yapılmalıdır, çünkü bir ajanın yetkisi verildiğinde, yasal ve işlemsel sorumluluk da değişir. Organizasyonlar, bu ayrımı yapmak zorundadır, böylece bilinçsizce karar alma yetkisini devredip sorumluluğu da devretmemiş olurlar.

Negligent delegation ve respondeat superior gibi mevcut yasal doktrinler, gerçekten otonom AI sistemlerine uygulanabilir mi ve bu çerçeveler nerede bozulmaya başlar?

Daha doğrudan uygulanabilirler. Bu doktrinler, yetki devredildiğinde ve zarar meydana geldiğinde ortaya çıkan durumları ele almak için mevcuttur, ki bu da agentic AI’nin getirebileceği potansiyel bir zorluktur.

Sorun, yasal doktrinle değil, organizasyonların otonom AI sistemlerini dağıtmakla birlikte üstlendikleri sorumluluğu anlamaları ve bu sistemleri uygun şekilde yönetmeleriyle ilgilidir.

Organizasyonlar, kapsamı, izinleri ve denetimi tanımlamadığında, yasal sorumluluk yaratırlar. Sorun, genellikle kanunun agentic AI’yi ele alamaması değil, işletmelerin sistemlerinin ne için yetkilendirildiğini veya nasıl yönetileceği konusunda net olmadıklarıdır.

CIO’lar ve yasal takımlar, AI iş akışlarının üretim ortamlarında öğrenmeye ve uyum sağlamaya devam etmesi durumunda, sorumluluğu tanımlamak ve azaltmak için bugün hangi pratik adımları atmalıdır?

İlk adım, AI ve veri üzerinde egemen kontrolü kritik olarak ele almaktır. Organizasyonlar, AI sistemleri ve verilerinin bölünmüş olduğu ortamları tam olarak gözlemleyemez veya yönetemezse, sorumlulukları anlamlı bir şekilde yönetemezler. Agentic AI’de başarılı olan %13’lük işletmeler, bu temel ile başlar.

Pratikte, bu, veri erişimini sınırlamak, ajanların bağımsız olarak gerçekleştirebileceği eylemleri net bir şekilde tanımlamak ve yüksek etkili kararlar etrafında insan denetimi sağlamak anlamına gelir. Ayrıca, davranışın gerektiğinde gözden geçirilebilmesi için günlüğe kaydetme ve izlenebilirlik gerektirir. Bu önlemleri erken benimseyen organizasyonlar, hem yasal sorumluluk hem de operasyonel sürtüşmeyi azaltacaktır.

Agentic AI’yi politika, teknik kontroller veya sözleşmesel güvenceler yoluyla nasıl yönetebilir veya kontrol edebiliriz ki, istenmeyen zararlara karşı riski azaltalım?

Başlangıç noktası egemenliktir. İşletmelerin, AI sistemleri, verileri ve yürütme bağlamının gözlemlenebilir ve uygulanabilir olduğu ortamlara ihtiyacı vardır. Yönetim, yalnızca politika ile sağlanamaz. Politika beklentileri belirler, ancak teknik kontroller, sistemlerin neler yapabileceğini, verilerin dinlenme veya hareket halinde olup olmadığını ve modellerin nasıl çalıştırılabileceğini belirler.

Bazı ajanlar, üretim erişimi olmayan çitli ortamlarda bulunmalıdır. Diğerleri, sınırlı izinler ve onay eşiği ile çalışabilir. Tamamen özerk ajanlar nadir olmalı ve dikkatli bir şekilde denetlenmelidir. Sözleşmeler, sorumluluğu açıklamaya yardımcı olabilir, ancak iç kontrol ve hesap verebilirliğin yerini tutmaz.

İşletme kontrolündeki veya egemen AI ortamlarına doğru kayma, AI ajanı finansal veya operasyonel zarar verdiğinde kimin sorumluluk taşıdığı konusunda bir değişiklik getirir mi?

Değişiklik getirmez. Hesap verebilirliği netleştirir ve birçok yönden riski azaltır. İşletmeler, verilere, araçlara ve yürütme bağlamına kontrol sağladığında, üçüncü tarafların elinde olan veri ve araçlardan kaynaklanan değişkenleri ortadan kaldırır.

Veri ve AI araçları üzerinde kontrol, bir güçtür. Egemenlik, organizasyonlara riski sorumlu bir şekilde yönetmek için gerekli görünürlük ve yetkiyi sağlar. Bu kontrol olmadan, işletmeler risk profillerini genişletir.

Özerk AI uygulamalarını çalıştırdığınızda, şeffaflık ve denetlenebilirliğin yasal sorumluluğu azaltmadaki rolü nedir?

Temeldir. Denetlenebilirlik, özerk sistemleri savunulabilir sistemlere dönüştürür.

Olumsuz olaylar meydana geldiğinde, düzenleyiciler ve mahkemeler pratik sorular sorar: Sistem ne biliyordu, ne yapması gerekiyordu ve neden böyle davranmıştır? Denetim ve şeffaflığı göstermek isteyen işletmeler, boş ellerle gelen karşılıklarına göre çok daha güçlü bir konumdadır.

Federal AI rehberliği devam ederken, AI sorumluluğu ile ilgili olarak devlet düzeyindeki farklı yasal yükümlülükler için şirketler nasıl hazırlanmalıdır?

Şirketler, AI sorumluluğu ile ilgili olarak ayrıntılı kuralların belirlenmesini beklememelidir. Mevcut devlet ve federal yasalar, AI’yi sorumlu bir şekilde kullanmak ve önemli sorumluluk olaylarını önlemek için gerekli açıklığın %95’ini sağlar.

Bu açıklık, sistemlerin en talepkar ürün sorumluluğu standartlarına uygun olarak tasarlanmasını içerir, ki bu da AI yeteneklerinin sorumlu geliştirilmesi, yayın öncesi testleri, şeffaflık ve risk açıklaması, yayın sonrası denetimi, insan denetimi ve AI yetenekleri kullanıcıları için eğitim gibi şeyleri içerecektir. Bu temel adımlar, özel düzenleyici sonuçları öngörmeğe çalışmaktan daha önemlidir.

Agentic AI sistemlerini benimsemeden önce, teknoloji alıcılarının, otonomi, denetim ve sorumluluk hakkında satıcılar ile hangi önemli soruları sormaları gerekir?

Agentic AI ile, hesap verebilirlik nihayetinde özerklik yetkisini veren tarafa kalır. Bu nedenle, cevaplanması gereken dört ana soru vardır:

1. Üretim ortamında sistemi kim kontrol eder?
2. İzinler nasıl test edilir ve uygulanır?
3. Öğrenme nasıl kısıtlanır?
4. Şeyler yanlış gittiğinde hangi denetim kanıtları mevcuttur?

Eğer bir satıcı net cevaplar veremezse, işletmelerin dikkatli olması gerekir. Köpek analojisine geri dönersek: yetiştiriciler önemlidir, ancak bir şey yanlış giderse, sorumluluk sahibi olabilir.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular EnterpriseDB‘yi ziyaret edebilir.