Rob Feldman, Chief Legal Officer v EnterpriseDB – Interview Series

Rob Feldman, Chief Legal Officer, je zodpovědný za celosvětové právní a compliance funkce v EnterpriseDB. Jako zkušený manažer a právník buduje vysoce výkonné právní týmy, které podporují rostoucí technologické společnosti v dynamických obchodních a regulačních prostředích. Nedávno vedl 45členný právní tým v Citrix Systems, Inc. jako jeho generální právník, včetně jeho transakce v hodnotě více než 16 miliard dolarů v roce 2022. Předtím strávil více než deset let v soukromé praxi jako právník pro technologické společnosti, se zaměřením na obranu proti podvodům s cennými papíry, spory o duševní vlastnictví a vládní a interní vyšetřování. Rob také působí v Radě pro globální smlouvu OSN, kde poskytuje strategická doporučení pro globální regulační prostředí, aby pomohl podnikům dosáhnout transformačních a dlouhodobých dopadů.

EnterpriseDB je softwarová společnost, která poskytuje podnikové řešení databází postavené na open-source PostgreSQL, pomáhající organizacím spouštět kritické úlohy s vyššími výkony, bezpečností a spolehlivostí. Založena v roce 2004, EnterpriseDB nabízí cloudová a místně nasazená platforma, globální podporu a nástroje pro kompatibilitu s Oracle (ORCL ), přičemž se stále více zaměřuje na AI-ready a hybridní datové platformy prostřednictvím svých nabídek Postgres AI.

Ve světle vašich dlouholetých zkušeností v korporátním právní vedení a zaměření EnterpriseDB na podnikové Postgres a suverénní AI a datové platformy, jak vidíte vývoj odpovědnosti pro společnosti, které provozují agentic AI uvnitř kritické datové infrastruktury

Svět AI a dat stále závisí na stejných základních principech, které by měly platit pro podniky již dávno, a to na odpovědnosti, zdrženlivosti a jasnosti odpovědnosti.

V minulosti byly tyto principy aplikovány na lidi a většinou nečinné systémy, panely, zprávy a automatizované nástroje, které neiniciovaly akci samy o sobě. Agentic AI zavádí systémy, které se chovají více jako účastníci než nástroje. Mohou jednat nezávisle, přizpůsobovat se časem a stále více interagovat s lidmi a jinými agenty.

Pokud organizace postrádá silné governance a kontrolní disciplíny, bude mít potíže v tomto prostředí. Agentic AI nezvyšuje nové problémy s odpovědností, ale spíše odhaluje stávající. Pro podniky se silnými základy tento posun vlastně posiluje postupy, které již následují, co popisujeme jako „digitální svazování“. Pro ostatní je to jasný signál, že praktické zábrany potřebují být zavedeny před provozováním agentic AI ve velkém měřítku.

Pouze asi 13 % podniků dosáhlo tohoto bodu agentic rozsahu úspěšně. Tyto podniky dělají dvakrát více agentic než všechny ostatní a získávají pětkrát vyšší návratnost investic. Ale čím více autonomie má AI systém, tím dříve musí organizace řešit otázku odpovědnosti. Když AI agent směruje požadavek, přesouvá peníze nebo špatně nakládá se citlivými daty, odpovědnost následuje podnik, který definoval prostředí, nastavil oprávnění a rozhodl, jakou svobodu měl tento systém.

To je důvod, proč společnosti potřebují přinést jasnou kontrolu nad svými agentic AI použitími a proč jsou organizace motivovány k tomu, aby se zaměřily na své zábrany a programy governance. Analogie vlastnictví psa a digitálního svazování je užitečná. Psi mají určitou úroveň autonomie, jednají nezávisle, i když někdy nepředvídatelně, ale nejsou právními osobami. Tato kombinace, autonomie bez osobnosti, je podobná tomu, kde se dnes nacházejí agentic AI systémy, a majitelé musí pochopit, že bez dohledu a governance budou nést odpovědnost za špatné výsledky.

Jak by měly podniky rozlišovat mezi asistivní AI a agentic AI z právního a provozního hlediska před nasazením?

Na základní úrovni se rozlišení redukuje na autoritu. Asistivní AI podporuje rozhodování lidí, zatímco agentic AI iniciovaly akce a vykonávají rozhodnutí. Obě mohou ovlivňovat pracovní postupy a chování, například v zákaznickém servisu nebo operačním prioritizování, ale pouze agentic systémy jednají na základě tohoto vlivu nezávisle.

Pokud systém může spustit pracovní postupy, schválit výsledky, změnit systémové stavy nebo vykonat akci bez schválení v reálném čase, měl by být považován za agentic. Toto určení musí nastat před nasazením, protože jakmile je agentovi udělena autorita, právní a provozní odpovědnost se s ní posune. Organizace musí být si tohoto rozlišení vědomy, aby neobjevily příliš pozdě, že neúmyslně delegovaly rozhodovací pravomoc a s ní i odpovědnost.

Mohou být zavedené právní doktríny, jako je zanedbaná delegace a respondeat superior, realisticky aplikovány na autonomní AI systémy, a kde tyto rámce začínají selhávat?

Aplikují se více než se mnoho lidí domnívá. Tyto doktríny existují, aby řešily situace, kdy je udělena autorita a dochází ke škodě, což je přesně jeden z potenciálních problémů, které agentic AI zavádí.

Problém není s právním rámcem, ale zda organizace rozumí odpovědnosti, kterou přebírají, když nasazují autonomní AI, a potřebě tyto systémy řídit.

Když organizace selhávají ve definici rozsahu, oprávnění a dohledu, vytvářejí právní odpovědnost. Problém často není v tom, že zákon nemůže zvládnout agentic AI, ale že podniky jasně nedefinovaly, co jejich systémy byly oprávněny dělat, nebo jak mají být řízeny.

Jaké praktické kroky by měli CIO a právní týmy podniknout dnes, aby definovali a zmírnili odpovědnost, když AI pracovní postupy pokračují v učení a adaptaci v produkčních prostředích?

Prvním krokem je zacházet se suverénní kontrolou nad AI a daty jako s kritickou misí. Organizace nemohou smysluplně řídit odpovědnost, pokud jejich AI systémy a data jsou fragmentovaná v prostředích, která nemohou plně pozorovat nebo řídit. 13 % podniků, které úspěšně dosáhlo agentic rozsahu, začíná touto základnou.

V praxi to znamená omezit přístup k datům, jasně definovat, které akce mohou agenti vykonávat autonomně, a umístit lidský dohled kolem rozhodnutí s vysokým dopadem. To také vyžaduje protokolování a stopovatelnost, aby se mohlo chování přezkoumat, pokud a kdy je to potřeba. Organizace, které tyto opatření přijmou brzy, sníží jak právní expozici, tak provozní tření.

Jak byste doporučil podnikům, aby svazovaly nebo řídily agentic AI prostřednictvím politiky, technických kontrol nebo smluvních záruk, aby snížily riziko neúmyslné újmy?

Startovním bodem je suverenita. Podniky potřebují prostředí, ve kterých jsou jejich AI systémy, data a kontext vykonání pozorovatelné a vynutitelné ve velkém měřítku. Governance nemůže spoléhat pouze na politiku. Politika stanoví očekávání, ale technické kontroly určují, co systémy mohou skutečně dělat, zda jsou data v klidu nebo v pohybu, a jak jsou modely povoleny k provozu.

Některé agenty patří do ohrazených prostředí s žádným přístupem k produkci. Jiné mohou fungovat s omezenými oprávněními a prahovými hodnotami schválení. Plně autonomní agenti by měli být vzácní a pečlivě monitorováni. Smlouvy mohou pomoci vyjasnit odpovědnost, ale nenahrazují potřebu vnitřní kontroly a odpovědnosti.

Změní se posun směrem k podnikovým řízeným nebo suverénním AI prostředím, kdo nakonec nese riziko, když AI agent způsobí finanční nebo provozní škodu?

Nezmění se, kdo nese riziko. To činí odpovědnost jasnější a mnoha způsoby snižuje riziko. Když podniky kontrolují data, infrastrukturu a kontext vykonání, odstraňují proměnné, které jsou zavedeny, když data a nástroje jsou v rukou třetích stran.

Kontrola nad daty a AI nástroji je silnou stránkou. Suverenita poskytuje organizacím viditelnost a autoritu, které jsou potřebné pro odpovědné řízení rizik.

Jakou roli hrají transparentnost a stopovatelnost při snižování právní expozice při spuštění autonomních AI aplikací?

Jsou základem. Stopovatelnost přeměňuje autonomní systémy na obhajitelné systémy.

Když dojde k incidentům, regulační orgány a soudy požadují praktické otázky: co systém věděl, co bylo povoleno, a proč jednal? Podniky, které mohou prokázat dohled a stopovatelnost, jsou ve velmi silnější pozici ve srovnání se svými protějšky, kteří přicházejí s prázdnou rukou.

Jak by měly podniky připravovat na různé právní povinnosti související s AI odpovědností na úrovni států, zatímco federální pokyny pro AI pokračují v evoluci?

Organizace nemohou čekat, až regulační orgány vydají podrobná pravidla specifická pro AI. Stávající státní a federální zákony poskytují nám 95 % jasnosti, které potřebujeme k tomu, abychom používali AI zodpovědně a vyhýbali se významným událostem odpovědnosti.

Tato jasnost zahrnuje návrh systémů, které splňují nejpřísnější standardy odpovědnosti za výrobek, které budou nutně zahrnovat věci, jako je odpovědný vývoj AI schopností, testování před vydáním, transparentnost a riziko oznamování, audit po vydání, lidský dohled a školení uživatelů AI schopností. Tyto základní a známé kroky jsou důležitější než pokusy předpovědět konkrétní regulační výsledky.

Jaké jsou nejdůležitější otázky, které by měli technologičtí kupci klást dodavatelům o autonomii, dohledu a odpovědnosti před přijetím agentic AI systémů?

S agentic AI, odpovědnost nakonec spočívá u strany, která autorizuje autonomii. Takže čtyři hlavní otázky, které byste měli zodpovědět, jsou:

1. Kdo kontroluje systém v produkci?
2. Jak jsou oprávnění testována a vynucena?
3. Jak je učení omezeno?
4. Jaké důkazy o auditu jsou k dispozici, pokud něco goes wrong?

Pokud dodavatel nemůže poskytnout jasná odpovědi, podniky by měly postupovat s opatrností. Vracíme se k analogii s psem: chovatelé jsou důležití, ale pokud něco goes wrong, odpovědnost může spočívat u majitele.

Děkuji za skvělý rozhovor, čtenáři, kteří si přejí dozvědět se více, by měli navštívit EnterpriseDB.