Rob Feldman, Chief Legal Officer hos EnterpriseDB – Interview Serie

Rob Feldman, Chief Legal Officer, er ansvarlig for de globale juridiske og compliance-funktioner hos EnterpriseDB. En erfaren direktør og advokat, han bygger højtpræsterende juridiske hold til at støtte voksende teknologivirksomheder i dynamiske forretnings- og reguleringsmiljøer. Senest ledede han et 45-mand stort juridisk hold hos Citrix Systems, Inc. som dets generalsekretær, herunder gennem dets + 16 milliarder dollars take-private-transaktion i 2022. Før Citrix tilbragte han mere end et årti i privat praksis som en teknologivirksomheds retssag, fokuseret på securities fraud-forsvar, immaterielle rettighedsstridigheder og regerings- og interne undersøgelser. Rob er også medlem af UN Global Compact Legal Council, hvor han giver strategisk vejledning om globale reguleringsmiljøer for at hjælpe virksomheder med at drive transformative, langsigtede resultater.

EnterpriseDB er et softwarefirma, der tilbyder enterprise-klasse database-løsninger bygget på open-source PostgreSQL, hvilket hjælper organisationer med at køre mission-kritiske arbejdslaster med større ydeevne, sikkerhed og pålidelighed. Grundlagt i 2004 tilbyder EnterpriseDB cloud- og on-premises-platforme, global support og Oracle-kompatibilitetsværktøjer, mens de stadig fokuserer på AI-klare og hybrid data-platforme gennem deres Postgres AI-tilbud.

Givet din lange erfaring med corporate juridisk ledelse og EnterpriseDB’s fokus på enterprise-klasse Postgres og suveræne AI- og data-platforme, hvordan ser du på ansvar udviklingen for virksomheder, der operationaliserer agentic AI inden for kritiske data-infrastrukturer

Verden af AI og data afhænger stadig af de samme grundlæggende principper, der skulle have styret virksomheder længe før agentic-systemer ankom: ansvar, tilbageholdenhed og klarhed i ansvar.

I fortiden blev disse principper anvendt på mennesker og primært inerte systemer, dashboards, rapporter og automatiserede værktøjer, der ikke selv initierede handlinger. Agentic AI introducerer systemer, der opfører sig mere som deltagere end instrumenter. De kan handle uafhængigt, tilpasse sig over tid og stadig interagere med både mennesker og andre agenter.

Hvis en organisation mangler stærk styring og kontrol-disciplin, vil den have svært ved at klare sig i dette miljø. Agentic AI skaber ikke nye ansvarsproblemer, men eksponerer eksisterende. For virksomheder med solide funderinger forstærker denne ændring faktisk praksisser, de allerede følger, hvad vi beskriver som “digital leashing”. For andre er det et klart signal om, at praktiske guardrails skal etableres, før agentic AI operationaliseres i stor skala.

Kun omkring 13% af virksomhederne har nået dette punkt med agentic skala succesfuldt. De gør 2 gange så meget agentic end alle andre og får 5 gange så stor ROI. Men jo mere autonomi et AI-system har, desto snarere må organisationer konfrontere ansvar. Når en AI-agent ruter en krav, flytter penge eller mishandler følsomme data, følger ansvar den virksomhed, der definerede miljøet, fastsatte tilladelserne og besluttede, hvor meget frihed systemet havde.

Dette er hvorfor virksomheder skal bringe klar oversigt til deres agentic AI-brugsændringer, og hvorfor organisationer er motiveret til at bringe fokus til deres guardrails og styringsprogrammer. Analogien med hundeejerskab og digital leashing er nyttig. Hunde har en vis grad af autonomi, handler uafhængigt, om end nogen gange upredicably, men de er ikke juridiske personer. Denne kombination, autonomi uden personlighed, ligner, hvor i dagens agentic AI-systemer befinder sig, og ejere må forstå, at fravær af oversigt og styring vil føre til ansvar for dårlige resultater.

Hvordan skal virksomheder skelne mellem assistive AI og agentic AI fra et juridisk og operativt perspektiv før udrulning?

På et simpelt niveau kommer forskellen ned til myndighed. Assistive AI understøtter menneskelig beslutningstagning, mens agentic AI initierer handlinger og udfører beslutninger. Begge kan påvirke arbejdsgange og forme adfærd, f.eks. i kundeservice eller operationsprioritering, men kun agentic systemer handler uafhængigt på den påvirkning.

Hvis et system kan udløse arbejdsgange, godkende resultater, ændre systemtilstand eller tage handlinger uden realtids-godkendelse fra mennesker, skal det behandles som agentic. Denne bestemmelse skal ske før udrulning, fordi når myndighed er givet til en agent, skifter juridisk og operativt ansvar med det. Organisationer må være opmærksomme på denne forskel, så de ikke opdager for sent, at de har deles beslutningstagningsevne og dermed ansvar.

Kan etablerede juridiske doktriner som negligent delegation og respondeat superior realistisk anvendes på autonome AI-systemer, og hvor begynder disse rammer at bryde sammen?

De anvendes mere direkte, end mange antager. Disse doktriner eksisterer for at tackle situationer, hvor myndighed er delegeret og skade opstår, hvilket er præcis en af de potentielle udfordringer, agentic AI introducerer.

Problemet er ikke med den juridiske doktrin, men om organisationer forstår ansvarligt, de påtager sig, når de udruller autonom AI, og behovet for at styre disse systemer derefter.

Når organisationer ikke definerer omfang, tilladelser og tilsyn, skaber de juridisk ansvar. Problemet er sjældent, at loven ikke kan håndtere agentic AI, men snarere, at virksomheder ikke har tydeligt defineret, hvad deres systemer var autoriseret til at gøre eller hvordan de skal styres.

Hvad praktiske skridt skal CIO’er og juridiske hold tage i dag for at definere og mindske ansvar, når AI-arbejdsgange fortsætter med at lære og tilpasse sig i produktionsmiljøer?

Det første skridt er at behandle suveræn kontrol over AI og data som mission-kritisk. Organisationer kan ikke meningsfuldt styre ansvar, hvis deres AI-systemer og data er fragmenteret på miljøer, de ikke fuldt ud kan observere eller styre. De 13% af virksomheder, der lykkes med agentic AI i stor skala, starter med denne grundlæggelse.

I praksis betyder det at begrænse adgang til data, tydeligt definere, hvilke handlinger agenter kan udføre uafhængigt, og placere menneskelig oversigt omkring vigtige beslutninger. Det kræver også logging og sporing, så adfærd kan gennemgås, når og hvis det er nødvendigt. Organisationer, der tidligt adopterer disse foranstaltninger, vil reducere både juridisk eksponering og operativ friktion længere nede ad vejen.

Hvordan anbefaler du, at virksomheder lænker eller styrer agentic AI gennem politik, tekniske kontroller eller kontraktuelle sikkerhedsforanstaltninger for at reducere risikoen for uventet skade?

Udgangspunktet er suverænitet. Virksomheder skal have miljøer, hvor deres AI-systemer, data og eksekveringskontekst er observerbare og gennemtvingelige i stor skala. Styring kan ikke kun afhænge af politik. Politik sætter forventninger, men tekniske kontroller bestemmer, hvad systemer faktisk kan gøre, uanset om data er i ro eller i bevægelse, og hvordan modeller er tilladt at operere.

Nogle agenter hører hjemme i indhegnede miljøer med ingen produktionsadgang. Andre kan operere med begrænsede tilladelser og godkendelsesgrænser. Fuldt autonome agenter skal være sjældne og nøje overvåget. Kontrakter kan hjælpe med at klargøre ansvar, men de erstatter ikke behovet for intern kontrol og ansvar.

Ændrer skiftet mod enterprise-kontrollerede eller suveræne AI-miljøer, hvem der ultimativt bærer risikoen, når en AI-agent forårsager finansielle eller operationelle skader?

Det ændrer ikke, hvem der bærer risikoen. Det gør ansvar mere klart og reducerer på mange måder risikoen. Når virksomheder kontrollerer data, infrastruktur og eksekveringskontekst, fjerner de variable, der introduceres, når data og værktøjer er i hænderne på tredjeparter.

Kontrol over data og AI-værktøjer er en styrke. Suverænitet giver organisationer den synlighed og myndighed, der kræves for at styre risiko ansvarligt. Uden denne kontrol udvider virksomheder deres risikoprofil.

Fra dit perspektiv, hvilken rolle spiller gennemsigtighed og revision i reducere juridisk eksponering, når der køres autonome AI-programmer?

De er grundlæggende. Revision gør autonome systemer til forsvarlige systemer.

Når uheld forekommer, spørger myndigheder og domstole praktiske spørgsmål: Hvad vidste systemet, hvad var det autoriseret til at gøre, og hvorfor handlede det? Virksomheder, der kan demonstrere oversigt og revision, er i en meget stærkere position i forhold til deres modparter, der kommer tomhændede.

Da føderale AI-retningslinjer fortsætter med at udvikle sig, hvordan skal virksomheder forberede sig på forskellige statsniveaueretslige forpligtelser i forhold til AI-ansvar?

Virksomheder kan ikke vente på, at myndighederne kommer med en samling detaljerede regler specifikt for AI. Eksisterende stats- og føderal lov giver os 95% af den klarehed, vi behøver for at bruge AI ansvarligt og undgå betydelige ansvarsbegivenheder.

Denne klarehed inkluderer design af systemer til at opfylde de mest krævende produktansvarsstandarder, som nødvendigvis vil inkludere ting som ansvarlig udvikling af AI-kapaciteter, præ-udgivelsestest, gennemsigtighed og risikodisclosure, post-udgivelse revision, menneskelig oversigt og træning for brugere af AI-kapaciteter. Disse grundlæggende og velkendte skridt betyder mere end at forsøge at forudsige specifikke regulatoriske resultater.

Hvad er de vigtigste spørgsmål, teknologi-købere skal stille til leverandører om autonomi, oversigt og ansvar, før de adopterer agentic AI-systemer?

Med agentic AI hviler ansvar ultimativt hos den part, der autoriserer autonomi. Så de fire hovedspørgsmål, du skal besvare, er:

1. Hvem kontrollerer systemet i produktion?
2. Hvordan testes og gennemtvinges tilladelser?
3. Hvordan begrænses læring?
4. Hvad revisionsevidens er tilgængeligt, hvis noget går galt?

Hvis en leverandør ikke kan give klare svar, skal virksomheder gå videre med forsigtighed. Tilbage til hundeanalogien: avlere betyder noget, men hvis noget går galt, kan ansvarlig hedde ejeren.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge EnterpriseDB.