Rob Feldman, Chief Legal Officer i EnterpriseDB – Intervju-serie

Rob Feldman, Chief Legal Officer, er ansvarlig for de globale juridiske og compliance-funksjonene i EnterpriseDB. En erfaren leder og advokat, han bygger høyt performende juridiske team for å støtte voksende teknologiselskaper i dynamiske forretnings- og reguleringeringsmiljøer. Nylig ledet han et 45-manns juridisk team i Citrix Systems, Inc. som generalsekretær, inkludert gjennom deres +$16 milliarder take-private-transaksjon i 2022. Før Citrix, tilbrakte han mer enn et tiår i privat praksis som en teknologiselskaps advokat, fokusert på sikkerhetsbedrageri-forsvar, immaterielle rettstvister og regjerings- og interne undersøkelser. Rob er også medlem av FN-s Global Compact Legal Council, som gir strategisk veiledning om globale reguleringeringsmiljøer for å hjelpe bedrifter å drive transformative, langsiktige resultater.

EnterpriseDB er et programvareselskap som tilbyr bedriftsklasse-database-løsninger bygget på åpen kildekode PostgreSQL, som hjelper organisasjoner å kjøre kritiske arbeidsbelastninger med større ytelse, sikkerhet og pålitelighet. Grunnlagt i 2004, tilbyr EnterpriseDB sky- og lokale plattformer, global støtte og Oracle-kompatibilitetsverktøy, samt økende fokus på AI-klare og hybrid data-plattformer gjennom sine Postgres AI-tilbud.

Gitt din lange erfaring med korporativ juridisk ledelse og EnterpriseDBs fokus på bedriftsklasse Postgres og suverene AI- og dataplatformer, hvordan ser du på ansvarsutviklingen for selskaper som operasjonelle agenter AI innen kritisk data-infrastruktur

Verden av AI og data avhenger fortsatt av de samme grunnleggende prinsippene som burde ha styrt bedrifter lenge før agenter-systemer ankom: ansvar, begrensning og klarhet i ansvar.

I fortiden ble disse prinsippene anvendt på mennesker og i stor grad inerte systemer, dashboards, rapporter og automatiserte verktøy som ikke initierte handlinger på egen hånd. Agenter AI introduserer systemer som oppfører seg mer som deltakere enn instrumenter. De kan handle uavhengig, tilpasse seg over tid og øke interaksjon med både mennesker og andre agenter.

Hvis en organisasjon mangler sterke styrings- og kontroll-disipliner, vil de stride i dette miljøet. Agenter AI skaper ikke nye ansvarsproblemer, men avdekker eksisterende. For bedrifter med solide grunnlag, forsterker denne skiftet praksisene de allerede følger, det vi beskriver som “digital leashing.” For andre er det et tydelig signal om at praktiske retningslinjer må etableres før operasjonelle agenter AI i stor skala.

Kun om lag 13% av bedrifter har nådd dette punktet med agenter AI-skalaen vellykket. De gjør 2 ganger så mye agenter enn alle andre og får 5 ganger så mye ROI. Men jo mer autonomi et AI-system har, desto snartere må organisasjoner konfrontere ansvar. Når en AI-agent ruter en krav, flytter penger eller mishandler følsomme data, følger ansvar bedriften som definerte miljøet, satte tillatelser og bestemte hvor mye frihet systemet hadde.

Dette er hvorfor selskaper må bringe klar tilsyn til sine agenter AI-brukstilfeller, og hvorfor organisasjoner er incentivisert til å bringe fokus til sine retningslinjer og styringsprogrammer. Analogien til hunde-eierskap og digital leashing er nyttig. Hunder har en viss grad av autonomi, handler uavhengig, om enn noen ganger uforutsigbart, men de er ikke juridiske personer. Denne kombinasjonen, autonomi uten personlighet, er lignende hvor dagens agenter AI-systemer sitter, og eierne må forstå at uten tilsyn og styring, vil de bære ansvar for dårlige resultater.

Hvordan bør bedrifter skille mellom assistent AI og agenter AI fra et juridisk og operasjonelt perspektiv før deployering?

På et enkelt nivå kommer skillet ned til myndighet. Assistent AI støtter menneskelig beslutning, mens agenter AI initierer handlinger og utfører beslutninger. Begge kan påvirke arbeidsflyter og forme atferd, for eksempel i kundeservice eller operasjonell prioritering, men bare agenter handler på den påvirkningen uavhengig.

Hvis et system kan utløse arbeidsflyter, godkjenne resultater, modifisere systemtilstander eller handle uten sanntids menneskelig godkjenning, bør det behandles som agenter. Den avgjørelsen må skje før deployering, fordi når myndighet er gitt til en agent, skifter juridisk og operasjonell ansvar med det. Organisasjoner må være bevisste på denne skillet, så de ikke oppdager for sent at de har uforvarende delegert beslutningsmyndighet og med det, ansvar.

Kan etablerte juridiske doktriner som uaktsom delegasjon og respondeat superior realistisk bli anvendt på autonome AI-systemer, og hvor begynner disse rammer å bryte sammen?

De anvendes mer direkte enn mange antar. Disse doktrinene eksisterer for å håndtere situasjoner hvor myndighet er delegert og skade skjer, som er en av de potensielle utfordringene agenter AI introduserer.

Problemet er ikke med den juridiske doktrinen, men om organisasjoner forstår ansvar de påtar seg når de deployer autonome AI, og behovet for å styre disse systemene på en tilsvarende måte.

Når organisasjoner ikke definerer omfang, tillatelser og tilsyn, skaper de juridisk ansvar. Problemet er sjelden at loven ikke kan håndtere agenter AI, men at bedrifter ikke har tydelig definert hva deres systemer var autorisert til å gjøre eller hvordan de skal styres.

Hva praktiske skritt bør CIO-er og juridiske team ta i dag for å definere og minimere ansvar når AI-arbeidsflyter fortsetter å lære og tilpasse seg i produksjonsmiljøer?

Det første skrittet er å behandle suveren kontroll over AI og data som kritisk. Organisasjoner kan ikke meningsfullt styre ansvar hvis deres AI-systemer og data er fragmentert over miljøer de ikke fullt ut kan observere eller håndtere. De 13% av bedrifter som lykkes med agenter AI i stor skala starter med dette grunnlaget.

I praksis betyr det å begrense data-tilgang, tydelig definere hvilke handlinger agenter kan utføre autonomt og plassere menneskelig tilsyn rundt høyt-impakt beslutninger. Det krever også logging og sporing, så atferd kan gjenkjennes når og hvis nødvendig. Organisasjoner som adopterer disse målene tidlig vil redusere både juridisk eksponering og operasjonell friksjon nedover linjen.

Hvordan anbefaler du at bedrifter “leasher” eller styrer agenter AI gjennom politikk, tekniske kontroller eller kontraktmessige sikkerhetsforanstaltninger for å redusere risikoen for uforutsett skade?

Utgangspunktet er suverenitet. Bedrifter trenger miljøer hvor deres AI-systemer, data og eksekveringskontekst er observerbare og håndterbare i stor skala. Styring kan ikke bare basere seg på politikk. Politikk setter forventninger, men tekniske kontroller bestemmer hva systemer faktisk kan gjøre, uavhengig av om data er i ro eller i bevegelse, og hvordan modeller er tillatt å operere.

Noen agenter hører hjemme i innhegnede miljøer med ingen produksjons-tilgang. Andre kan operere med begrensede tillatelser og godkjenningstrinn. Fullt autonome agenter bør være sjeldne og nøye overvåket. Kontrakter kan hjelpe med å klargjøre ansvar, men de erstatter ikke behovet for intern kontroll og ansvar.

Endrer skiftet mot bedriftskontrollerte eller suverene AI-miljøer hvem som ultimate bærer risikoen når en AI-agent forårsaker finansiell eller operasjonell skade?

Det endrer ikke hvem som bærer risikoen. Det gjør ansvar klarere og på mange måter reduserer risikoen. Når bedrifter kontrollerer data, infrastruktur og eksekveringskontekst, fjerner de variable introdusert når data og verktøy er i hendene på tredjeparter.

Kontroll over data og AI-verktøy er en styrke. Suverenitet gir organisasjoner synlighet og myndighet nødvendig for å håndtere risiko ansvarlig. Uten denne kontrollen, utvider bedrifter sin risikoprofil.

Fra ditt perspektiv, hva rolle spiller gjennomsiktighet og sporing i å redusere juridisk eksponering når man kjører autonome AI-applikasjoner?

De er grunnleggende. Sporing gjør autonome systemer til forsvarlige systemer.

Når hendelser skjer, spør regulatorer og domstoler praktiske spørsmål: hva visste systemet, hva var det autorisert til å gjøre og hvorfor handlet det? Bedrifter som kan demonstrere tilsyn og sporing er i en mye sterkere posisjon sammenlignet med deres motparter som kommer tomhendede.

Ettersom føderale AI-retningslinjer fortsetter å utvikle seg, hvordan bør selskaper forberede seg på forskjellige statlige juridiske forpliktelser relatert til AI-ansvar?

Organisasjoner kan ikke vente på at regulatorer kommer med en samling detaljerte regler spesifikt for AI. Eksisterende statlige og føderale lover gir oss 95% av klarheten vi trenger for å bruke AI ansvarlig og unngå betydelige ansvarshendelser.

Denne klarheten inkluderer å designe systemer for å møte de mest krevende produktansvarsstandarder, som vil nødvendigvis inkludere ting som ansvarlig utvikling av AI-kapasiteter, pre-release testing, gjennomsiktighet og risikodisklosur, post-release auditing, menneskelig tilsyn og trening for brukere av AI-kapasiteter. Disse grunnleggende og kjente skrittene betyr mer enn å prøve å forutsi spesifikke regulatoriske resultater.

Hva er de viktigste spørsmålene teknologi-kjøpere bør stille leverandører om autonomi, tilsyn og ansvar før de adopterer agenter AI-systemer?

Med agenter AI, hviler ansvar ultimate hos partiet som autoriserer autonomi. Så, de fire hovedspørsmålene du bør besvare er:

1. Hvem kontrollerer systemet i produksjon?
2. Hvordan testes og håndheves tillatelser?
3. Hvordan begrenses læring?
4. Hva slags sporingsevidens er tilgjengelig hvis noe går galt?

Hvis en leverandør ikke kan gi klare svar, bør bedrifter gå videre med forsiktighet. Gå tilbake til hunde-analogien: avlere betyr noe, men hvis noe går galt, kan ansvar hvile hos eieren.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke EnterpriseDB.