Rob Feldman, Chief Legal Officer på EnterpriseDB – Intervju-serie

Rob Feldman, Chief Legal Officer, ansvarar för de globala juridiska och regelefterlevnadsfunktionerna på EnterpriseDB. En erfaren chef och jurist, han bygger högpresterande juridiska team för att stödja växande teknikföretag i dynamiska affärs- och regleringsmiljöer. Nyligen ledde han ett 45-personers juridiskt team på Citrix Systems, Inc. som dess generalsekreterare, inklusive under dess +$16 miljarder take-private-transaktion 2022. Före Citrix tillbringade han mer än ett decennium i privat praktik som en teknikföretagsjurist, fokuserad på värdepappersbedrägeriförsvar, immateriella tvister och regerings- och interna utredningar. Rob sitter också i FN:s Global Compact Legal Council, som ger strategisk vägledning om globala regleringsmiljöer för att hjälpa företag driva transformerande, långsiktiga insatser.

EnterpriseDB är ett programvaruföretag som tillhandahåller företagsklassade databaslösningar byggda på öppen källkod PostgreSQL, som hjälper organisationer att köra kritiska arbetsbelastningar med bättre prestanda, säkerhet och tillförlitlighet. Grundat 2004, erbjuder EnterpriseDB moln- och lokala plattformar, globalt stöd och Oracle-kompatibilitetsverktyg, samtidigt som de alltmer fokuserar på AI-klara och hybriddataplattformar genom sina Postgres AI-erbjudanden.

Med tanke på din långa erfarenhet av företagsledning och EnterpriseDB:s fokus på företagsklassad Postgres och suveräna AI- och dataplattformar, hur ser du på ansvarsskyldigheten för företag som operationaliserar agenterat AI inom kritiska datainfrastrukturer

Världen av AI och data beror fortfarande på samma grundläggande principer som borde ha styrt företag långt innan agenterade system anlände: ansvar, återhållsamhet och tydlighet i ansvar.

I det förflutna tillämpades dessa principer på människor och i huvudsak inaktiva system, instrumentpaneler, rapporter och automatiserade verktyg som inte initierade åtgärder på egen hand. Agenterat AI introducerar system som beter sig mer som deltagare än instrument. De kan agera oberoende, anpassa sig över tid och alltmer interagera med både människor och andra agenter.

Om en organisation saknar starka styrnings- och kontroll discipliner, kommer de att ha svårt i denna miljö. Agenterat AI skapar inte nya ansvarssproblem, utan snarare exponerar befintliga. För företag med sunda grunder förstärker denna förändring faktiskt de metoder de redan följer, det som vi beskriver som “digitalt kopplande”. För andra är det ett tydligt tecken på att praktiska skyddsanordningar behöver etableras innan agenterat AI operationaliseras i stor skala.

Bara cirka 13% av företagen har nått denna punkt av agenterad skala med framgång. De gör 2X mängden agenterat än alla andra och får 5X ROI. Men ju mer autonomi ett AI-system har, desto snabbare måste organisationer konfrontera ansvar. När ett AI-agenter dirigerar ett anspråk, flyttar pengar eller missköter känsliga data, följer ansvar företaget som definierade miljön, satte behörigheter och bestämde hur mycket frihet som systemet hade.

Detta är varför företag behöver införa tydlig tillsyn över sina agenterade AI-användningsfall, och varför organisationer är inciterade att fokusera på sina skyddsanordningar och styrningsprogram. Analogin med hundägande och digitalt kopplande är användbar. Hundar har en viss nivå av autonomi, agerar oberoende, om än ibland oförutsägbart, men de är inte juridiska personer. Den kombinationen, autonomi utan personlighet, är liknande där dagens agenterade AI-system befinner sig, och ägare måste förstå att utan tillsyn och styrning, kommer de att bära ansvar för dåliga resultat.

Hur bör företag skilja mellan assistent-AI och agenterat AI från ett juridiskt och operativt perspektiv innan distribution?

På en enkel nivå beror distinktionen på behörighet. Assistent-AI stöder mänskligt beslutsfattande, medan agenterat AI initierar åtgärder och verkställer beslut. Båda kan påverka arbetsflöden och forma beteende, till exempel i kundservice eller operativ prioritering, men endast agenterade system agerar på den påverkan oberoende.

Om ett system kan utlösa arbetsflöden, godkänna resultat, ändra systemtillstånd eller vidta åtgärder utan realtidsmänskligt godkännande, bör det behandlas som agenterat. Den bestämningen måste ske innan distribution, eftersom när behörighet ges till en agent, skiftar det juridiska och operativa ansvaret med det. Organisationer måste vara medvetna om denna distinktion så att de inte upptäcker för sent att de har oavsiktligt delegerat beslutsfattande befogenheter och därmed ansvar.

Kan etablerade juridiska doktriner som oaktsam delegation och respondeat superior realistiskt tillämpas på autonoma AI-system, och var bryter dessa ramar itu?

De tillämpas mer direkt än många antar. Dessa doktriner existerar för att hantera situationer där behörighet delegeras och skada uppstår, vilket är precis en av de potentiella utmaningar som agenterat AI introducerar.

Problemet är inte med den juridiska doktrinen, utan om organisationer förstår det ansvar de antar när de distribuerar autonomt AI, och behovet av att styra dessa system på lämpligt sätt.

När organisationer inte definierar omfattning, behörigheter och tillsyn, skapar de rättsligt ansvar. Problemet är sällan att lagen inte kan hantera agenterat AI, utan snarare att företag inte har tydligt definierat vad deras system var auktoriserade att göra eller hur de ska styras.

Vilka praktiska steg bör CIO:er och juridiska team vidta idag för att definiera och mildra ansvar när AI-arbetsflöden fortsätter att lära sig och anpassa sig i produktionsmiljöer?

Det första steget är att behandla suverän kontroll över AI och data som en kritisk uppgift. Organisationer kan inte meningsfullt styra ansvar om deras AI-system och data är fragmenterade över miljöer som de inte kan fullständigt observera eller hantera. De 13% av företagen som lyckas med agenterat AI i stor skala börjar med denna grund.

I praktiken innebär det att begränsa dataåtkomst, tydligt definiera vilka åtgärder agenter kan utföra oberoende, och placera mänsklig tillsyn runt beslut med stor påverkan. Det kräver också loggning och spårbarhet, så att beteende kan granskas när och om det behövs. Organisationer som antar dessa åtgärder tidigt kommer att minska både rättsligt ansvar och operativ friktion längre fram.

Hur rekommenderar du att företag kopplar eller styr agenterat AI genom policy, tekniska kontroller eller kontraktuella säkerhetsåtgärder för att minska risken för oavsiktlig skada?

Utgångspunkten är suveränitet. Företag behöver miljöer där deras AI-system, data och exekveringskontext är observerbara och verkställbara i stor skala. Styrning kan inte enbart förlita sig på policy. Policy sätter förväntningar, men tekniska kontroller bestämmer vad system kan göra, oavsett om data är i vila eller rörelse, och hur modeller tillåts operera.

Vissa agenter hör hemma i inhägnade miljöer med ingen produktionsåtkomst. Andra kan operera med begränsade behörigheter och godkännandetrösklar. Fullt autonoma agenter bör vara sällsynta och noggrant övervakade. Kontrakt kan hjälpa till att förtydliga ansvar, men de ersätter inte behovet av intern kontroll och ansvar.

Ändrar skiftet mot företagskontrollerade eller suveräna AI-miljöer vem som slutligen bär risken när ett AI-agenter orsakar ekonomisk eller operativ skada?

Det ändrar inte vem som bär risken. Det gör ansvar tydligare och minskar i många avseenden risken. När företag kontrollerar data, infrastruktur och exekveringskontext, tar de bort variabler som introduceras när data och verktyg är i händerna på tredje parter.

Kontroll över data och AI-verktyg är en styrka. Suveränitet ger organisationer den synlighet och auktoritet som krävs för att hantera risk på ett ansvarsfullt sätt. Utan den kontrollen expanderar företag sitt riskprofil.

Från ditt perspektiv, vilken roll spelar transparens och granskning i att minska rättsligt ansvar när man kör autonoma AI-applikationer?

De är grundläggande. Granskning gör autonoma system till försvarbara system.

När incidenter inträffar, frågar myndigheter och domstolar praktiska frågor: vad visste systemet, vad var det auktoriserat att göra, och varför agerade det? De företag som kan demonstrera tillsyn och granskning är i en mycket starkare position jämfört med deras motparter som kommer tomhänta.

Medan federal AI-vägledning fortsätter att utvecklas, hur bör företag förbereda sig för skiftande statliga rättsliga skyldigheter i fråga om AI-ansvar?

Organisationer kan inte vänta på att myndigheter ska utfärda en samling detaljerade regler specifika för AI. Befintlig statlig och federal lag ger oss 95% av den tydlighet vi behöver för att använda AI på ett ansvarsfullt sätt och undvika betydande ansvarsfall.

Den tydligheten inkluderar att utforma system för att uppfylla de mest krävande produktansvarsnormerna, som nödvändigtvis inkluderar saker som ansvarsfull utveckling av AI-förmågor, för-testning, transparens och riskexponering, efter-testning, mänsklig tillsyn och utbildning för användare av AI-förmågor. Dessa grundläggande och välbekanta steg är viktigare än att försöka förutsäga specifika regleringsresultat.

Vilka är de viktigaste frågorna som teknikköpare bör ställa till leverantörer om autonomi, tillsyn och ansvar innan de antar agenterat AI-system?

Med agenterat AI vilar ansvar slutligen hos den part som auktoriserar autonomi. Så de fyra huvudsakliga frågorna du bör besvara är:

1. Vem kontrollerar systemet i produktion?
2. Hur testas och verkställs behörigheter?
3. Hur begränsas inlärning?
4. Vilka granskningsbevis finns tillgängliga om något går fel?

Om en leverantör inte kan ge tydliga svar, bör företag gå vidare med försiktighet. Återgå till hundanalogin: uppfödare spelar roll, men om något går fel, kan ansvaret vila hos ägaren.

Tack för det utmärkta intervjun, läsare som vill lära sig mer kan besöka EnterpriseDB.