Rob Feldman, Chief Legal Officer hos EnterpriseDB – Interviewserie

Rob Feldman, Chief Legal Officer, er ansvarlig for de globale juridiske og compliance-funktioner hos EnterpriseDB. En erfaren leder og advokat, han bygger højtydende juridiske hold til at støtte voksende teknologivirksomheder i dynamiske forretnings- og reguleringsmiljøer. Senest ledede han et 45-mand stort juridisk hold hos Citrix Systems, Inc. som dets generalsekretær, herunder gennem dets + $ 16 milliarder take-private-transaktion i 2022. Før Citrix tilbragte han mere end et årti i privat praksis som en teknologivirksomheds procesadvokat, fokuseret på sikkerhedsfraudsagsfører, immaterielle rettighedsstridigheder og regerings- og interne undersøgelser. Rob sidder også i FN’s Globale Komplet Retsråd, hvor han giver strategisk vejledning om globale reguleringsmiljøer til at hjælpe virksomhederne med at drive transformerende, langsigtede resultater.

EnterpriseDB er en softwarevirksomhed, der tilbyder enterprise-klasse database-løsninger bygget på open-source PostgreSQL, hvilket hjælper organisationer med at køre mission-kritiske arbejdsmængder med større ydeevne, sikkerhed og pålidelighed. Grundlagt i 2004 tilbyder EnterpriseDB cloud- og on-premises-platforme, globale support og Oracle-kompatibilitetsværktøjer, mens de stadig fokuserer på AI-klare og hybrid data-platforme gennem deres Postgres AI-tilbud.

Med din lange erfaring i corporate juridisk ledelse og EnterpriseDB’s fokus på enterprise-klasse Postgres og suveræne AI- og dataplatforme, hvordan ser du ansvar udvikle sig for virksomheder, der operationaliserer agens AI inden for kritisk data-infrastruktur

Verden af AI og data afhænger stadig af de samme grundlæggende principper, der skulle have styret virksomheder længe før agenssystemer ankom: ansvar, tilbageholdenhed og klarhed i ansvar.

I fortiden blev disse principper anvendt på mennesker og i høj grad inerte systemer, dashboards, rapporter og automatiserede værktøjer, der ikke selv iværksatte handlinger. Agens AI introducerer systemer, der opfører sig mere som deltagere end instrumenter. De kan handle uafhængigt, tilpasse sig over tid og stadig mere interagere med både mennesker og andre agenter.

Hvis en organisation mangler stærk styring og kontrol-disciplin, vil den have svært ved at klare sig i dette miljø. Agens AI skaber ikke nye ansvarsproblemer, men eksponerer eksisterende. For virksomheder med solide funderinger forstærker denne ændring faktisk praksis, som vi beskriver som “digital leashing”. For andre er det et klart signal om, at praktiske sikkerhedsforanstaltninger behøver at etableres, før agens AI operationaliseres i stor målestok.

Kun omkring 13% af virksomhederne har nået dette punkt med agens skala succesfuldt. De gør 2 gange så meget agens end alle de andre og får 5 gange så stor ROI. Men jo mere autonomi et AI-system har, desto snarere må organisationer konfrontere ansvar. Når en AI-agent routerer en krav, flytter penge eller misligholder følsomme data, følger ansvar den virksomhed, der definerede miljøet, fastsatte tilladelserne og besluttede, hvor meget frihed systemet havde.

Dette er hvorfor virksomheder behøver at bringe klar oversigt til deres agens AI-brugstilfælde, og hvorfor organisationer er motiveret til at fokusere på deres sikkerhedsforanstaltninger og styringsprogrammer. Analogien med hundeejerskab og digital leashing er nyttig. Hunde har en vis grad af autonomi, handler uafhængigt, omend nogen gange upredicably, men de er ikke juridiske personer. Den kombination, autonomi uden personlighed, ligner, hvor i dagens agens AI-systemer befinder sig, og ejere må forstå, at uden oversigt og styring, vil de bære ansvar for dårlige resultater.

Hvordan skal virksomheder skelne mellem assistent AI og agens AI fra et juridisk og operationelt perspektiv før udrulning?

På et simpelt niveau kommer forskellen ned til myndighed. Assistent AI understøtter menneskelig beslutningstagning, mens agens AI iværksætter handlinger og udfører beslutninger. Begge kan påvirke arbejdsgange og forme adfærd, f.eks. i kundeservice eller operationel prioritering, men kun agens systemer handler på den påvirkning uafhængigt.

Hvis et system kan udløse arbejdsgange, godkende resultater, ændre systemtilstande eller handle uden reel-tidsmæssig menneskelig godkendelse, skal det behandles som agens. Denne bestemmelse skal ske før udrulning, fordi når myndighed er givet til en agent, skifter juridisk og operationel ansvar med det. Organisationer må være bevidste om denne forskel, så de ikke opdager for sent, at de uvidende har delegeret beslutningsmagt og dermed ansvar.

Kan etablerede juridiske doktriner, såsom uagtsom delegation og respondeat superior, realistisk anvendes på autonome AI-systemer, og hvor begynder disse rammer at bryde sammen?

De anvendes mere direkte, end mange antager. Disse doktriner findes for at tackle situationer, hvor myndighed er delegeret og skade opstår, hvilket præcis er en af de potentielle udfordringer, agens AI introducerer.

Problemet er ikke med den juridiske doktrin, men om organisationer forstår ansvarligt, de påtager sig, når de udruller autonom AI, og behovet for at styre disse systemer derefter.

Når organisationer ikke definerer omfang, tilladelser og tilsyn, skaber de juridisk ansvar. Problemet er sjældent, at loven ikke kan håndtere agens AI, men snarere, at virksomheder ikke har klart defineret, hvad deres systemer var autoriseret til at gøre eller hvordan de skal styres.

Hvad praktiske skridt skal CIO’er og juridiske hold tage i dag for at definere og mindske ansvar, når AI-arbejdsgange fortsætter med at lære og tilpasse sig i produktionsmiljøer?

Det første skridt er at behandle suveræn kontrol over AI og data som mission-kritisk. Organisationer kan ikke meningsfuldt styre ansvar, hvis deres AI-systemer og data er fragmenteret over miljøer, de ikke fuldt ud kan observere eller styre. De 13% af virksomheder, der lykkes med agens AI i stor målestok, starter med denne grundlæggelse.

I praksis betyder det at begrænse adgang til data, klart definere, hvilke handlinger agenter kan udføre autonomt, og placere menneskelig tilsyn omkring højt-impact beslutninger. Det kræver også logging og sporing, så adfærd kan gennemgås, hvis og når det er nødvendigt. Organisationer, der adopterer disse foranstaltninger tidligt, vil reducere både juridisk eksponering og operationel friktion længere nede.

Hvordan anbefaler du, at virksomheder “leasher” eller styrer agens AI gennem politik, tekniske kontroller eller kontraktuelle sikkerhedsforanstaltninger for at reducere risikoen for uventet skade?

Udgangspunktet er suverænitet. Virksomheder behøver miljøer, hvor deres AI-systemer, data og eksekveringskontekst er observerbare og gennemtvingelige i stor målestok. Styring kan ikke kun basere sig på politik. Politik sætter forventninger, men tekniske kontroller bestemmer, hvad systemer faktisk kan gøre, uanset om data er i hvile eller i bevægelse, og hvordan modeller er tilladt at operere.

Nogle agenter hører hjemme i hegnet miljøer med ingen produktionsadgang. Andre kan operere med begrænsede tilladelser og godkendelsesgrænser. Fuldt autonome agenter skal være sjældne og nøje overvåget. Kontrakter kan hjælpe med at klargøre ansvar, men de erstatter ikke behovet for intern kontrol og ansvar.

Ændrer skiftet mod enterprise-kontrolleret eller suveræn AI-miljøer, hvem der ultimativt bærer risikoen, når en AI-agent forårsager finansielle eller operationelle skader?

Det ændrer ikke, hvem der bærer risikoen. Det gør ansvarligehed klarere og reducerer på mange måder risikoen. Når virksomheder kontrollerer data, infrastruktur og eksekveringskontekst, fjerner de variable, der introduceres, når data og værktøjer er i hænderne på tredjeparter.

Kontrol over data og AI-værktøjer er en styrke. Suverænitet giver organisationer den synlighed og myndighed, der kræves for at styre risiko ansvarligt. Uden denne kontrol udvider virksomheder deres risikoprofil.

Fra dit perspektiv, hvilken rolle spiller gennemsigtighed og revision i reducere juridisk eksponering, når man kører autonome AI-applikationer?

De er grundlæggende. Revision gør autonome systemer til forsvarlige systemer.

Når uheld sker, spørger myndighederne og domstolene praktiske spørgsmål: hvad vidste systemet, hvad var det autoriseret til at gøre, og hvorfor handlede det? De virksomheder, der kan demonstrere oversigt og revision, er i en meget stærkere position i forhold til deres modparter, der kommer tomhændede.

Da føderale AI-retningslinjer fortsætter med at udvikle sig, hvordan skal virksomheder forberede sig på forskellige statsniveauer for juridiske forpligtelser i forhold til AI-ansvar?

Virksomheder kan ikke vente på, at myndighederne kommer med en samling detaljerede regler specifikt for AI. Eksisterende stats- og føderale love giver os 95% af den klarhed, vi behøver for at bruge AI ansvarligt og undgå betydelige ansvarsbegivenheder.

Den klarhed omfatter design af systemer til at opfylde de mest krævende produktansvarsstandarder, som nødvendigvis vil omfatte ting som ansvarlig udvikling af AI-kapaciteter, præ-udgivelses-test, gennemsigtighed og risikoadskillelse, post-udgivelses-revision, menneskelig tilsyn og træning for brugere af AI-kapaciteter. Disse grundlæggende og velkendte skridt betyder mere end at prøve at forudsige specifikke regulatoriske resultater.

Hvad er de vigtigste spørgsmål, teknologi-købere skal stille til leverandører om autonomi, tilsyn og ansvar, før de adopterer agens AI-systemer?

Med agens AI ligger ansvarligehed ultimativt hos den part, der autoriserer autonomi. Så de fire hovedspørgsmål, du skal besvare, er:

1. Hvem kontrollerer systemet i produktion?
2. Hvordan testes og gennemtvinges tilladelser?
3. Hvordan begrænses læring?
4. Hvad er bevis for revision, hvis noget går galt?

Hvis en leverandør ikke kan give klare svar, skal virksomheder gå frem med forsigtighed. Tilbage til analogien med hundeejerskab: avlere betyder noget, men hvis noget går galt, kan ansvarligehed hvile hos ejeren.

Tak for det store interview, læsere, der ønsker at lære mere, skal besøge EnterpriseDB.