Rob Feldman, Chief Legal Officer bij EnterpriseDB – Interview Series

Rob Feldman, Chief Legal Officer, is verantwoordelijk voor de wereldwijde juridische en compliance-functies bij EnterpriseDB. Als ervaren uitvoerend directeur en advocaat, bouwt hij high-performing juridische teams om groeiende technologiebedrijven te ondersteunen in dynamische zakelijke en regelgevende omgevingen. Onlangs leidde hij een team van 45 juristen bij Citrix Systems, Inc. als algemeen directeur, inclusief de +$16 miljard overname-transactie in 2022. Voordat hij bij Citrix kwam, was hij meer dan een decennium lang actief in de private praktijk als een technologiebedrijf dat zich richt op aandelenfraude, intellectueel eigendomsrechtsgeschillen en overheids- en interne onderzoeken. Rob is ook lid van de UN Global Compact Legal Council, waar hij strategische richtlijnen biedt over wereldwijde regelgevende omgevingen om bedrijven te helpen bij het bereiken van transformatieve, langetermijnresultaten.

EnterpriseDB is een softwarebedrijf dat ondernemingsklare databasesystemen biedt op basis van open-source PostgreSQL, waardoor organisaties kritieke workloads kunnen uitvoeren met betere prestaties, beveiliging en betrouwbaarheid. Opgericht in 2004, biedt EnterpriseDB cloud- en on-premisesplatforms, wereldwijde ondersteuning en Oracle-compatibiliteitsinstrumenten, en richt het zich steeds meer op AI-klaar en hybride dataplatforms via zijn Postgres AI-aanbod.

Gezien uw lange ervaring in corporate juridische leiderschap en de focus van EnterpriseDB op ondernemingsklare Postgres en soevereine AI- en dataplatforms, hoe ziet u de aansprakelijkheid evolueren voor bedrijven die agente AI operationaliseren binnen kritieke data-infrastructuur?

De wereld van AI en data is nog steeds afhankelijk van dezelfde kernprincipes die ondernemingen lang voordat agente systemen arriveerden, hadden moeten regeren: verantwoordelijkheid, beperking en duidelijkheid van verantwoordelijkheid.

In het verleden werden deze principes toegepast op mensen en grotendeels inerte systemen, dashboards, rapporten en geautomatiseerde tools die geen actie op eigen initiatief ondernamen. Agente AI introduceert systemen die zich meer als deelnemers dan als instrumenten gedragen. Ze kunnen onafhankelijk handelen, zich in de loop van de tijd aanpassen en steeds meer interactie hebben met zowel mensen als andere agenten.

Als een organisatie geen sterke governance- en controle-disciplines heeft, zal het worstelen in deze omgeving. Agente AI creëert geen nieuwe verantwoordelijkheidsproblemen, maar legt bestaande bloot. Voor ondernemingen met een solide fundament versterkt deze verschuiving de praktijken die ze al volgen, wat we “digitale leashing” noemen. Voor anderen is het een duidelijk signaal dat praktische beperkingen moeten worden ingesteld voordat agente AI op grote schaal wordt geïmplementeerd.

Slechts ongeveer 13% van de ondernemingen heeft dit punt van agente schaal succesvol bereikt. Ze doen 2X zoveel agente dan alle anderen en krijgen 5X de ROI. Maar hoe meer autonomie een AI-systeem heeft, hoe eerder organisaties verantwoordelijkheid moeten confronteren. Wanneer een AI-agent een claim routeert, geld verplaatst of gevoelige gegevens verkeerd afhandelt, volgt de verantwoordelijkheid de onderneming die de omgeving heeft gedefinieerd, de machtigingen heeft ingesteld en heeft besloten hoeveel vrijheid dat systeem had.

Dit is waarom bedrijven duidelijke toezicht moeten houden op hun agente AI-gevallen, en waarom organisaties worden aangemoedigd om focus te brengen op hun beperkingen en governance-programma’s. De analogie van hondeneigendom en digitale leashing is nuttig. Honden hebben een bepaalde mate van autonomie, handelen onafhankelijk, maar zijn geen juridische personen. Die combinatie, autonomie zonder persoonlijkheid, is vergelijkbaar met waar de agente AI-systemen van vandaag staan, en eigenaren moeten begrijpen dat, zonder toezicht en governance, ze verantwoordelijk zullen zijn voor slechte resultaten.

Hoe moeten ondernemingen onderscheid maken tussen assistente AI en agente AI vanuit een juridisch en operationeel perspectief voordat ze worden geïmplementeerd?

Op een eenvoudig niveau komt het onderscheid neer op autoriteit. Assistente AI ondersteunt menselijke besluitvorming, terwijl agente AI initieert acties en voert besluiten uit. Beide kunnen workflows en gedrag beïnvloeden (bijvoorbeeld in klantenservice of operationele prioriteit), maar alleen agente systemen handelen onafhankelijk op die invloed.

Als een systeem workflows kan activeren, resultaten kan goedkeuren, systeemtoestanden kan wijzigen of actie kan ondernemen zonder goedkeuring van een mens in real-time, moet het als agente worden behandeld. Die bepaling moet gebeuren voordat het wordt geïmplementeerd, omdat zodra autoriteit aan een agent wordt toegekend, de juridische en operationele verantwoordelijkheid verschuift. Organisaties moeten zich bewust zijn van dit onderscheid, zodat ze niet te laat ontdekken dat ze onbewust besluitvormingsbevoegdheid hebben overgedragen, en daarmee verantwoordelijkheid.

Kunnen gevestigde juridische doctrines zoals nalatige overdracht en respondeat superior realistisch worden toegepast op autonome AI-systemen, en waar beginnen deze kaders te breken?

Ze zijn meer direct toepasbaar dan veel mensen aannemen. Deze doctrines bestaan om situaties aan te pakken waarin autoriteit wordt overgedragen en schade optreedt, wat precies een van de potentiële uitdagingen is die agente AI introduceert.

Het probleem ligt niet bij de juridische doctrine, maar of organisaties begrijpen de verantwoordelijkheid die ze aannemen wanneer ze autonome AI implementeren, en de noodzaak om die systemen dienovereenkomstig te reguleren.

Wanneer organisaties falen om de reikwijdte, machtigingen en toezicht te definiëren, creëren ze juridische aansprakelijkheid. Het probleem is zelden dat de wet niet met agente AI om kan gaan, maar veeleer dat ondernemingen niet duidelijk hebben gedefinieerd wat hun systemen waren geautoriseerd om te doen of hoe ze moeten worden gereguleerd.

Welke praktische stappen moeten CIO’s en juridische teams nemen om aansprakelijkheid te definiëren en te mitigeren wanneer AI-workflows blijven leren en aanpassen in productieomgevingen?

De eerste stap is om soevereine controle over AI en gegevens als kritiek te behandelen. Organisaties kunnen geen aansprakelijkheid reguleren als hun AI-systemen en gegevens gefragmenteerd zijn over omgevingen die ze niet volledig kunnen observeren of beheren. De 13% van de ondernemingen die succesvol zijn met agente AI op grote schaal, beginnen met deze basis.

In de praktijk betekent dit dat gegevenstoegang wordt beperkt, duidelijk wordt gedefinieerd welke acties agenten autonoom kunnen uitvoeren, en menselijk toezicht wordt geplaatst rondom beslissingen met grote impact. Het vereist ook logging en traceerbaarheid, zodat gedrag kan worden beoordeeld wanneer en indien nodig. Organisaties die deze maatregelen vroeg aannemen, zullen zowel juridische blootstelling als operationele wrijving in de toekomst verminderen.

Hoe beveelt u aan dat ondernemingen agente AI reguleren of beperken via beleid, technische controles of contractuele waarborgen om het risico van onbedoelde schade te verminderen?

Het startpunt is soevereiniteit. Ondernemingen hebben omgevingen nodig waarin hun AI-systemen, gegevens en uitvoeringscontext observeerbaar en afdwingbaar zijn op grote schaal. Governance kan niet alleen op beleid berusten. Beleid stelt verwachtingen, maar technische controles bepalen wat systemen daadwerkelijk kunnen doen, of gegevens in rust zijn of in beweging, en hoe modellen mogen opereren.

Sommige agenten horen in omheinde omgevingen met geen productietoegang. Andere mogen opereren met beperkte machtigingen en goedkeuringsdrempels. Volledig autonome agenten moeten zeldzaam zijn en zorgvuldig worden gesuperviseerd. Contracten kunnen helpen bij het verduidelijken van verantwoordelijkheid, maar ze vervangen niet de noodzaak voor interne controle en verantwoordelijkheid.

Verandert de verschuiving naar ondernemingsgecontroleerde of soevereine AI-omgevingen wie uiteindelijk het risico draagt wanneer een AI-agent financiële of operationele schade veroorzaakt?

Het verandert niet wie het risico draagt. Het maakt aansprakelijkheid duidelijker en vermindert in veel opzichten het risico. Wanneer ondernemingen de gegevens, infrastructuur en uitvoeringscontext controleren, verwijderen ze variabelen die worden geïntroduceerd wanneer gegevens en tooling in handen zijn van derden.

Controle over gegevens en AI-tooling is een kracht. Soevereiniteit geeft organisaties de zichtbaarheid en autoriteit die nodig is om risico’s verantwoordelijk te beheren. Zonder die controle, breiden ondernemingen hun risicoprofiel uit.

Wat is de rol van transparantie en controleerbaarheid in het verminderen van juridische blootstelling bij het uitvoeren van autonome AI-toepassingen?

Ze zijn fundamenteel. Controleerbaarheid maakt autonome systemen verdedigbare systemen.

Wanneer incidenten optreden, vragen regulators en rechtbanken praktische vragen: wat wist het systeem, wat was het geautoriseerd om te doen, en waarom handelde het? De ondernemingen die toezicht en controleerbaarheid kunnen aantonen, zijn in een veel sterkere positie in vergelijking met hun tegenhangers die met lege handen komen.

Hoe moeten bedrijven zich voorbereiden op verschillende staat-niveau juridische verplichtingen met betrekking tot AI-aansprakelijkheid, terwijl federale AI-richtlijnen blijven evolueren?

Ondernemingen kunnen niet wachten tot regulators een lichaam van gedetailleerde regels specifiek voor AI uitvaardigen. Bestaande staat- en federale wetgeving geven ons 95% van de duidelijkheid die we nodig hebben om AI verantwoordelijk te gebruiken en aanzienlijke aansprakelijkheidsgebeurtenissen te vermijden.

Die duidelijkheid omvat het ontwerpen van systemen om te voldoen aan de meest veeleisende productaansprakelijkheidsnormen, wat noodzakelijkerwijs dingen omvat zoals verantwoordelijke ontwikkeling van AI-mogelijkheden, voorafgaand testen, transparantie en risicodiscussie, post-release auditing, menselijk toezicht en gebruikerstraining voor AI-mogelijkheden. Deze basis- en vertrouwde stappen zijn belangrijker dan het proberen te voorspellen specifieke reguleringsresultaten.

Wat zijn de belangrijkste vragen die technologie-kopers moeten stellen aan leveranciers over autonomie, toezicht en aansprakelijkheid voordat ze agente AI-systemen aannemen?

Met agente AI rust de uiteindelijke verantwoordelijkheid bij de partij die autonomie autoriseert. Dus, de vier belangrijkste vragen die u moet beantwoorden, zijn:

1. Wie controleert het systeem in productie?
2. Hoe worden machtigingen getest en afgedwongen?
3. Hoe wordt leren beperkt?
4. Wat is het bewijs van controle als er iets misgaat?

Als een leverancier geen duidelijke antwoorden kan geven, moeten ondernemingen voorzichtig zijn. Terugkijkend naar de analogie van hondeneigendom: fokkers zijn belangrijk, maar als er iets misgaat, kan de verantwoordelijkheid bij de eigenaar liggen.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen EnterpriseDB bezoeken.