Rob Feldman, Chief Legal Officer at EnterpriseDB – Intervjuiserie

Rob Feldman, Chief Legal Officer, er ansvarlig for verdensomspennende juridiske og compliance-funksjoner hos EnterpriseDB. En erfaren eksekutiv og advokat, bygger han høytytende juridiske team for å støtte voksende teknologiselskaper i dynamiske forretnings- og reguleringeringsmiljøer. Nylig ledet han et 45-mann stort juridisk team i Citrix Systems, Inc. som dets generalsekretær, inkludert gjennom dets + $ 16 milliarder take-private-transaksjon i 2022. Før Citrix, tilbrakte han mer enn ett tiår i privat praksis som en teknologiselskaps advokat, fokusert på aksjebedrageri, intellektuelle eiendomsstridigheter og regjerings- og interne undersøkelser. Rob er også medlem av UN Global Compact Legal Council, som gir strategisk veiledning om globale reguleringer for å hjelpe bedrifter å drive transformative, langsiktige resultater.

EnterpriseDB er et programvareselskap som tilbyr bedriftsgraderte database-løsninger bygget på åpen kildekode PostgreSQL, som hjelper organisasjoner å kjøre kritiske arbeidsbyrder med større ytelse, sikkerhet og pålitelighet. Grunnlagt i 2004, tilbyr EnterpriseDB sky- og lokale plattformer, global støtte og Oracle-kompatibilitetsverktøy, samtidig som de øker fokuset på AI-klare og hybride dataplattformer gjennom sine Postgres AI-tilbud.

Gitt din lange erfaring i corporate juridisk ledelse og EnterpriseDBs fokus på bedriftsgradert Postgres og suverene AI- og dataplattformer, hvordan ser du på ansvarsevolusjon for selskaper som operasjonelle agentic AI innen kritisk data-infrastruktur

Verden av AI og data avhenger fortsatt av de samme grunnleggende prinsippene som bør ha styrt bedrifter lenge før agentic-systemer ankom: ansvar, selvkontroll og klarhet i ansvar.

I fortiden ble disse prinsippene anvendt på mennesker og i stor grad inerte systemer, dashboards, rapporter og automatiserte verktøy som ikke initierte handlinger på egen hånd. Agentic AI introduserer systemer som oppfører seg mer som deltakere enn instrumenter. De kan handle uavhengig, tilpasse seg over tid og øke interaksjonen med både mennesker og andre agenter.

Hvis en organisasjon mangler sterke styre- og kontroll-dissipliner, vil de stride i denne omgangen. Agentic AI skaper ikke nye ansvarsproblemer, men eksponerer eksisterende. For bedrifter med solide grunnlag, forsterker denne skiftet faktisk praksisene de allerede følger, det vi beskriver som “digital leashing.” For andre er det et tydelig signal om at praktiske guardrails må etableres før operationalisering av agentic AI i stor skala.

Kun om lag 13% av bedrifter har nådd dette punktet med agentic skala vellykket. De gjør 2X mengden agentic enn alle andre og får 5X ROI. Men jo mer autonomi et AI-system har, desto snartere må organisasjonene konfrontere ansvar. Når en AI-agent ruter en krav, flytter penger eller mishandler følsomme data, følger ansvar bedriften som definerte miljøet, satte tillatelser og bestemte hvor mye frihet systemet hadde.

Dette er hvorfor selskaper må bringe klar tilsyn til sine agentic AI-bruksområder, og hvorfor organisasjoner er incentivisert til å bringe fokus til sine guardrails og styreprogrammer. Analogien til hunde-eierskap og digital leashing er nyttig. Hunder har en viss grad av autonomi, handler uavhengig, om enn noen ganger uprediktabelt, men de er ikke juridiske personer. Denne kombinasjonen, autonomi uten personlighet, er lignende hvor dagens agentic AI-systemer sitter, og eierne må forstå at uten tilsyn og styre, vil de bære ansvar for dårlige resultater.

Hvordan bør bedrifter skille mellom assistive AI og agentic AI fra et juridisk og operasjonelt perspektiv før deployering?

På et enkelt nivå kommer distinksjonen ned til myndighet. Assistive AI støtter menneskelig beslutning, mens agentic AI initierer handlinger og utfører beslutninger. Begge kan påvirke arbeidsflyter og forme atferd, for eksempel i kundeservice eller operasjonell prioritering, men bare agentic systemer handler uavhengig.

Hvis et system kan utløse arbeidsflyter, godkjenne resultater, modifisere systemtilstander eller handle uten samtidig menneskelig godkjenning, bør det behandles som agentic. Denne bestemmelsen må skje før deployering, fordi når myndighet er gitt til en agent, skifter juridisk og operasjonelt ansvar med det. Organisasjoner må være bevisste på denne distinksjonen, så de ikke oppdager for sent at de har uavsiktlig delegert beslutningsmyndighet og med det, ansvar.

Kan etablerte juridiske doktriner som negligent delegasjon og respondeat superior realistisk anvendes på autonome AI-systemer, og hvor begynner disse rammevirkene å bryte sammen?

De anvendes mer direkte enn mange antar. Disse doktrinene eksisterer for å håndtere situasjoner hvor myndighet er delegert og skade skjer, som er en av de potensielle utfordringene agentic AI introduserer.

Problemstillingen er ikke med den juridiske doktrinen, men om organisasjoner forstår ansvar som de påtar seg når de deployer autonom AI, og behovet for å styre disse systemene i henhold til.

Når organisasjoner ikke definerer omfang, tillatelser og tilsyn, skaper de juridisk ansvar. Problemstillingen er sjelden at loven ikke kan håndtere agentic AI, men snarere at bedrifter ikke har tydelig definert hva deres systemer var autorisert til å gjøre eller hvordan de skal styres.

Hva praktiske skritt bør CIO-er og juridiske team ta i dag for å definere og minimere ansvar når AI-arbeidsflyter fortsetter å lære og tilpasse seg i produksjonsmiljøer?

Det første skrittet er å behandle suveren kontroll over AI og data som kritisk. Organisasjoner kan ikke meningsfullt styre ansvar hvis deres AI-systemer og data er fragmentert over miljøer de ikke fullt ut kan observere eller håndtere. De 13% av bedrifter som lykkes med agentic AI i stor skala starter med dette grunnlaget.

I praksis betyr det å begrense datatilgang, tydelig definere hvilke handlinger agenter kan utføre autonomt, og plassere menneskelig tilsyn rundt høy-impakt beslutninger. Det krever også logging og sporbarhet, så atferd kan gjenanskues når og hvis det er nødvendig. Organisasjoner som adopterer disse tiltakene tidlig vil redusere både juridisk eksponering og operasjonell friksjon nedover linjen.

Hvordan anbefaler du at bedrifter leder eller styrer agentic AI gjennom policy, tekniske kontroller eller kontraktuelle sikkerhetsforanstaltninger for å redusere risikoen for uforutsett skade?

Utgangspunktet er suverenitet. Bedrifter trenger miljøer hvor deres AI-systemer, data og eksekveringskontekst er observerbare og håndhevbare i stor skala. Styre kan ikke bare basere seg på policy. Policy setter forventninger, men tekniske kontroller bestemmer hva systemer faktisk kan gjøre, uansett om data er i ro eller i bevegelse, og hvordan modeller er tillatt å operere.

Noen agenter hører hjemme i innhegnede miljøer med ingen produksjonsadgang. Andre kan operere med begrensede tillatelser og godkjenningstrinn. Fullt autonome agenter bør være sjeldne og nøye overvåket. Kontrakter kan hjelpe med å klargjøre ansvar, men de erstatter ikke behovet for intern kontroll og ansvar.

Endrer skiftet mot bedriftskontrollerte eller suverene AI-miljøer hvem som ultimate bærer risiko når en AI-agent forårsaker finansiell eller operasjonell skade?

Det endrer ikke hvem som bærer risikoen. Det gjør ansvar klarere, og på mange måter reduserer risiko. Når bedrifter kontrollerer data, infrastruktur og eksekveringskontekst, fjerner de variable introdusert når data og verktøy er i hendene på tredjeparter.

Kontroll over data og AI-verktøy er en styrke. Suverenitet gir organisasjoner synlighet og myndighet nødvendig for å håndtere risiko ansvarlig. Uten denne kontrollen, utvider bedrifter sin risikoprofil.

Fra ditt perspektiv, hva slags rolle spiller gjennomsiktighet og sporbarhet i å redusere juridisk eksponering når det kjøres autonome AI-applikasjoner?

De er grunnleggende. Sporbarhet gjør autonome systemer til forsvarlige systemer.

Når hendelser skjer, spør regulatorer og domstoler praktiske spørsmål: hva visste systemet, hva var det autorisert til å gjøre, og hvorfor handlet det? Bedrifter som kan demonstrere tilsyn og sporbarhet er i en mye sterkere posisjon sammenlignet med deres motparter som kommer tomhendede.

Etterhvert som føderale AI-retningslinjer fortsetter å utvikle seg, hvordan bør selskaper forberede seg på ulike delstatsnivåets juridiske forpliktelser relatert til AI-ansvar?

Organisasjoner kan ikke vente på at regulatorer håndterer ned en samling detaljerte regler spesifikke for AI. Eksisterende delstats- og føderale lover gir oss 95% av klarheten vi trenger for å bruke AI ansvarlig og unngå betydelige ansvarsbegivenheter.

Denne klarheten inkluderer å designe systemer for å møte de mest krævende produktansvarsstandardene, som vil nødvendigvis inkludere ting som ansvarlig utvikling av AI-kapasiteter, pre-release testing, gjennomsiktighet og risikodisklosur, post-release auditing, menneskelig tilsyn og opplæring for brukere av AI-kapasiteter. Disse grunnleggende og familiære skrittene betyr mer enn å forsøke å forutsi spesifikke regulatoriske resultater.

Hva er de viktigste spørsmålene teknologikjøpere bør stille leverandører om autonomi, tilsyn og ansvar før de adopterer agentic AI-systemer?

Med agentic AI, hviler ansvar ultimate hos parten som autoriserer autonomi. Så, de fire hovedspørsmålene du bør besvare, er:

1. Hvem kontrollerer systemet i produksjon?
2. Hvordan testes og håndheves tillatelser?
3. Hvordan begrenses læring?
4. Hva slags sporbarhetsevidens er tilgjengelig hvis noe går galt?

Hvis en leverandør ikke kan gi klare svar, bør bedrifter gå videre med forsiktighet. Gå tilbake til hunde-analogien: avlere betyr noe, men hvis noe går galt, kan ansvar hvile hos eieren.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke EnterpriseDB.