Rob Feldman, Chief Legal Officer bij EnterpriseDB – Interviewreeks

Rob Feldman, Chief Legal Officer, is verantwoordelijk voor de wereldwijde juridische en compliance-functies bij EnterpriseDB. Als ervaren uitvoerend directeur en advocaat bouwt hij high-performing juridische teams om groeiende technologiebedrijven te ondersteunen in dynamische bedrijfs- en regelgevingsomgevingen. Onlangs leidde hij een team van 45 juristen bij Citrix Systems, Inc. als algemeen directeur, inclusief de meer dan $16 miljard waard take-private-transactie in 2022. Voordat hij bij Citrix kwam, werkte hij meer dan een decennium in de private praktijk als technologiebedrijfsjurist, met een focus op aandelenfraudeverdediging, intellectuele eigendomsdisputen en overheids- en interne onderzoeken. Rob maakt ook deel uit van de UN Global Compact Legal Council, waar hij strategische richtlijnen biedt over wereldwijde regelgevingsomgevingen om bedrijven te helpen bij het behalen van transformatieve, langetermijnimpact.

EnterpriseDB is een softwarebedrijf dat ondernemingsbrede databasesystemen biedt op basis van open-source PostgreSQL, waarmee organisaties kritieke workloads kunnen uitvoeren met betere prestaties, beveiliging en betrouwbaarheid. Opgericht in 2004 biedt EnterpriseDB cloud- en on-premisesplatforms, wereldwijde ondersteuning en Oracle-compatibiliteitstools, en richt zich steeds meer op AI-ready en hybride dataplatforms via zijn Postgres AI-aanbod.

Gezien uw lange ervaring in corporate juridische leiderschap en de focus van EnterpriseDB op ondernemingsbrede Postgres en soevereine AI- en dataplatforms, hoe ziet u de aansprakelijkheid evolueren voor bedrijven die agente AI operationaliseren binnen kritieke data-infrastructuur

De wereld van AI en data is nog steeds afhankelijk van dezelfde basisprincipes die ondernemingen lang voordat agente systemen arriveerden, zouden moeten regeren: verantwoordelijkheid, beperking en duidelijke verantwoordelijkheid.

In het verleden werden deze principes toegepast op mensen en grotendeels inerte systemen, dashboards, rapporten en geautomatiseerde tools die geen actie op eigen initiatief ondernamen. Agente AI introduceert systemen die zich meer als deelnemers dan als instrumenten gedragen. Ze kunnen onafhankelijk handelen, zich in de loop van de tijd aanpassen en steeds meer interactie hebben met zowel mensen als andere agenten.

Als een organisatie geen sterke governance- en controle-disciplines heeft, zal het worstelen in deze omgeving. Agente AI creëert geen nieuwe verantwoordelijkheidsproblemen, maar legt bestaande bloot. Voor ondernemingen met een solide fundament versterkt deze verschuiving eigenlijk de praktijken die ze al volgen, wat we “digitale leashing” noemen. Voor anderen is het een duidelijk signaal dat praktische railingen moeten worden ingesteld voordat agente AI op grote schaal wordt geoperationaliseerd.

Slechts ongeveer 13% van de ondernemingen hebben dit punt van agente schaal succesvol bereikt. Ze doen 2X zoveel agente dan alle anderen en krijgen 5X de ROI. Maar hoe meer autonomie een AI-systeem heeft, hoe sneller organisaties verantwoordelijkheid moeten confronteren. Wanneer een AI-agent een claim routeert, geld verplaatst of gevoelige gegevens verkeerd afhandelt, volgt de verantwoordelijkheid de onderneming die de omgeving heeft gedefinieerd, de machtigingen heeft ingesteld en heeft besloten hoeveel vrijheid dat systeem had.

Dit is waarom bedrijven duidelijke toezicht moeten brengen op hun agente AI-gevallen, en waarom organisaties zijn gestimuleerd om focus te brengen op hun railingen en governance-programma’s. De analogie van hondeneigendom en digitale leashing is nuttig. Honden hebben een bepaalde mate van autonomie, handelen onafhankelijk, soms onvoorspelbaar, maar zijn geen rechtspersonen. Die combinatie, autonomie zonder persoonlijkheid, is vergelijkbaar met waar de huidige agente AI-systemen zich bevinden, en eigenaren moeten begrijpen dat zonder toezicht en governance, ze verantwoordelijk zullen zijn voor slechte resultaten.

Hoe moeten ondernemingen onderscheid maken tussen assistive AI en agente AI vanuit een juridisch en operationeel perspectief voordat ze worden geïmplementeerd?

Op een eenvoudig niveau komt het onderscheid neer op autoriteit. Assistive AI ondersteunt menselijke besluitvorming, terwijl agente AI acties initieert en besluiten uitvoert. Beide kunnen workflows en gedrag beïnvloeden (bijvoorbeeld in klantenservice of operationele prioriteit), maar alleen agente systemen handelen onafhankelijk op die invloed.

Als een systeem workflows kan triggeren, resultaten kan goedkeuren, systeemstaten kan wijzigen of actie kan ondernemen zonder real-time menselijke goedkeuring, moet het als agente worden behandeld. Die bepaling moet gebeuren voordat implementatie, omdat zodra autoriteit is verleend aan een agent, juridische en operationele verantwoordelijkheid verschuift met het. Organisaties moeten zich bewust zijn van dit onderscheid, zodat ze niet te laat ontdekken dat ze per ongeluk beslissingsbevoegdheid hebben gedelegeerd, en daarmee, verantwoordelijkheid.

Kunnen gevestigde juridische doctrines zoals nalatige delegatie en respondeat superior realistisch worden toegepast op autonome AI-systemen, en waar beginnen deze kaders te breken?

Ze zijn meer rechtstreeks toepasbaar dan veel mensen aannemen. Deze doctrines bestaan om situaties aan te pakken waarin autoriteit is gedelegeerd en schade optreedt, wat precies een van de potentiële uitdagingen is die agente AI introduceert.

Het probleem ligt niet bij de juridische doctrine, maar of organisaties begrijpen de verantwoordelijkheid die ze aannemen wanneer ze autonome AI implementeren, en de noodzaak om die systemen dienovereenkomstig te reguleren.

Wanneer organisaties de reikwijdte, machtigingen en toezicht niet definiëren, creëren ze juridische aansprakelijkheid. Het probleem is zelden dat de wet autonome AI niet aankan, maar veeleer dat ondernemingen niet duidelijk hebben gedefinieerd wat hun systemen waren geautoriseerd te doen of hoe ze moeten worden gereguleerd.

Welke praktische stappen moeten CIO’s en juridische teams nemen om aansprakelijkheid te definiëren en te mitigeren wanneer AI-workflows blijven leren en aanpassen in productieomgevingen?

De eerste stap is om soevereine controle over AI en data als kritiek te behandelen. Organisaties kunnen geen aansprakelijkheid regelen als hun AI-systemen en data zijn gefragmenteerd over omgevingen die ze niet volledig kunnen observeren of beheren. De 13% van de ondernemingen die succesvol zijn met agente AI op grote schaal, beginnen met dit fundament.

In de praktijk betekent dit dat toegang tot data wordt beperkt, duidelijk wordt gedefinieerd welke acties agents onafhankelijk kunnen uitvoeren, en menselijk toezicht wordt geplaatst rondom hoge-impactbeslissingen. Het vereist ook logging en traceerbaarheid, zodat gedrag kan worden beoordeeld wanneer en als dat nodig is. Organisaties die deze maatregelen vroeg aannemen, zullen zowel juridische blootstelling als operationele wrijving in de toekomst verminderen.

Hoe beveelt u aan dat ondernemingen agente AI reguleren of besturen via beleid, technische controles of contractuele waarborgen om het risico van onbedoeld letsel te verminderen?

Het startpunt is soevereiniteit. Ondernemingen hebben omgevingen nodig waarin hun AI-systemen, data en uitvoeringscontext observeerbaar en afdwingbaar zijn op grote schaal. Governance kan niet alleen op beleid berusten. Beleid stelt verwachtingen, maar technische controles bepalen wat systemen daadwerkelijk kunnen doen, of data in rust is of in beweging, en hoe modellen mogen opereren.

Sommige agenten horen in omheinde omgevingen met geen productietoegang. Andere mogen opereren met beperkte machtigingen en goedkeuringsdrempels. Volledig autonome agenten moeten zeldzaam zijn en zorgvuldig worden gesuperviseerd. Contracten kunnen helpen verantwoordelijkheid te verduidelijken, maar ze vervangen niet de noodzaak voor interne controle en verantwoordelijkheid.

Verandert de verschuiving naar ondernemingsgecontroleerde of soevereine AI-omgevingen wie uiteindelijk het risico draagt wanneer een AI-agent financiële of operationele schade veroorzaakt?

Het verandert niet wie het risico draagt. Het maakt verantwoordelijkheid duidelijker en vermindert in veel opzichten het risico. Wanneer ondernemingen de controle hebben over data, infrastructuur en uitvoeringscontext, verwijderen ze variabelen die worden geïntroduceerd wanneer data en tooling in handen zijn van derden.

Controle over data en AI-hulpmiddelen is een kracht. Soevereiniteit geeft ondernemingen de zichtbaarheid en autoriteit die nodig is om risico’s verantwoordelijk te beheren. Zonder die controle, vergroten ondernemingen hun risicoprofiel.

Vanuit uw perspectief, welke rol spelen transparantie en controleerbaarheid bij het verminderen van juridische blootstelling bij het uitvoeren van autonome AI-toepassingen?

Ze zijn fundamenteel. Controleerbaarheid maakt autonome systemen verdedigbare systemen.

Wanneer incidenten optreden, vragen regulators en rechtbanken praktische vragen: wat wist het systeem, wat was het geautoriseerd te doen en waarom handelde het? De ondernemingen die toezicht en controleerbaarheid kunnen aantonen, zijn in een veel sterker positie in vergelijking met hun tegenhangers die met lege handen komen.

Naarmate federale AI-richtlijnen blijven evolueren, hoe moeten bedrijven zich voorbereiden op verschillende staat-niveau juridische verplichtingen met betrekking tot AI-aansprakelijkheid?

Ondernemingen kunnen niet wachten tot regulators een lichaam van gedetailleerde regels specifiek voor AI uitvaardigen. Bestaande staat- en federale wetgeving geven ons 95% van de duidelijkheid die we nodig hebben om AI op verantwoorde wijze te gebruiken en significante aansprakelijkheidsgebeurtenissen te vermijden.

Die duidelijkheid omvat het ontwerpen van systemen om te voldoen aan de meest veeleisende productaansprakelijkheidsnormen, die noodzakelijkerwijs dingen zoals verantwoorde ontwikkeling van AI-mogelijkheden, voorafgaand testen, transparantie en risicodisclosure, post-release auditing, menselijk toezicht en training voor gebruikers van AI-mogelijkheden omvatten. Deze basis- en vertrouwde stappen zijn belangrijker dan proberen specifieke regelgevingsresultaten te voorspellen.

Wat zijn de belangrijkste vragen die technologie-kopers moeten stellen aan leveranciers over autonomie, toezicht en aansprakelijkheid voordat ze agente AI-systemen aannemen?

Bij agente AI rust de verantwoordelijkheid uiteindelijk bij de partij die autonomie autoriseert. Dus de vier belangrijkste vragen die u moet beantwoorden, zijn:

1. Wie controleert het systeem in productie?
2. Hoe worden machtigingen getest en afgedwongen?
3. Hoe wordt leren beperkt?
4. Wat is het controlebewijs beschikbaar als er iets misgaat?

Als een leverancier geen duidelijke antwoorden kan geven, moeten ondernemingen voorzichtig te werk gaan. Terug naar de hond-analogie: fokkers zijn belangrijk, maar als er iets misgaat, kan de verantwoordelijkheid bij de eigenaar liggen.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten EnterpriseDB bezoeken.