Rob Feldman, Chief Legal Officer la EnterpriseDB – Seria de interviuri

Rob Feldman, Chief Legal Officer, este responsabil pentru funcțiile juridice și de conformitate la nivel mondial la EnterpriseDB. Un executiv experimentat și avocat, el construiește echipe juridice de înaltă performanță pentru a sprijini companiile de tehnologie în medii de afaceri și reglementare dinamice. Recent, el a condus o echipă juridică de 45 de persoane la Citrix Systems, Inc. în calitate de consilier juridic general, inclusiv prin tranzacția de achiziție de peste 16 miliarde de dolari în 2022. Înainte de a lucra la Citrix, el a petrecut peste un deceniu în practică privată ca avocat specializat în litigii de companii de tehnologie, axat pe apărarea împotriva fraudelor cu titluri, dispute de proprietate intelectuală și investigații guvernamentale și interne. Rob este, de asemenea, membru al Consiliului Juridic al Pactului Global al Națiunilor Unite, oferind îndrumări strategice cu privire la mediile de reglementare globale pentru a ajuta companiile să dezvolte impactul transformator pe termen lung.

EnterpriseDB este o companie de software care oferă soluții de baze de date de nivel întreprindere, construite pe baza PostgreSQL open-source, ajutând organizațiile să ruleze sarcini critice cu o performanță, securitate și fiabilitate mai mare. Fondată în 2004, EnterpriseDB oferă platforme cloud și on-premises, suport global și unelte de compatibilitate Oracle (ORCL ), concentrându-se tot mai mult pe platforme de date hibride și AI-gata prin ofertele sale Postgres AI.

Având în vedere experiența dvs. lungă în conducerea juridică corporativă și focusul EnterpriseDB pe Postgres de nivel întreprindere și platforme de date suverane și AI, cum vedeți evoluția răspunderii pentru companiile care operaționalizează AI agențic în infrastructura de date critică?

Lumea AI și a datelor depinde încă de aceleași principii de bază care ar fi trebuit să guverneze întreprinderile mult înainte de sosirea sistemelor agențice: răspundere, reținere și claritate a responsabilității.

În trecut, aceste principii au fost aplicate oamenilor și, în mare măsură, sistemelor inerte, tablourilor de bord, rapoartelor și instrumentelor automate care nu inițiau acțiuni de sine stătătoare. AI agențic introduce sisteme care se comportă mai mult ca participanți decât instrumente. Ele pot acționa independent, se pot adapta în timp și interacționează din ce în ce mai mult cu oameni și alți agenți.

Dacă o organizație lipsește de o guvernanță puternică și discipline de control, va lupta în acest mediu. AI agențic nu creează noi probleme de răspundere, ci expune mai degrabă pe cele existente. Pentru întreprinderile cu fundații solide, această schimbare întărește practicile pe care le urmează deja, ceea ce numim „înfrânarea digitală”. Pentru altele, este un semnal clar că trebuie să se stabilească garduri practice înainte de a operaționaliza AI agențic la scară largă.

Doar aproximativ 13% din întreprinderi au ajuns la acest punct de scară agențică cu succes. Ele fac de două ori mai mult decât toate celelalte și obțin de cinci ori mai mult ROI. Dar cu cât un sistem AI are mai multă autonomie, cu atât mai curând organizațiile trebuie să se confrunte cu răspunderea. Când un agent AI direcționează o pretenție, mută bani sau manipulează date sensibile, răspunderea urmează întreprinderii care a definit mediul, a stabilit permisiunile și a decis câtă libertate are acel sistem.

Acesta este motivul pentru care companiile trebuie să aducă o supraveghere clară a cazurilor de utilizare a AI agențic și de ce organizațiile sunt încurajate să se concentreze asupra gardurilor și programelor de guvernanță. Analogia cu proprietatea câinilor și înfrânarea digitală este utilă. Câinii au un anumit nivel de agenție, acționează independent, chiar dacă uneori imprevizibil, dar nu sunt persoane juridice. Această combinație, agenție fără personalitate juridică, este similară cu situația în care se află sistemele AI agențice de astăzi, iar proprietarii trebuie să înțeleagă că, în absența supravegherii și guvernanței, vor suporta răspunderea pentru rezultatele negative.

Cum ar trebui întreprinderile să distingă între AI asistent și AI agențic din punct de vedere juridic și operațional înainte de implementare?

La un nivel simplu, distincția se reduce la autoritate. AI asistent susține procesul de luare a deciziilor umane, în timp ce AI agențic inițiază acțiuni și execută decizii. Ambele pot influența fluxurile de lucru și comportamentul, de exemplu, în serviciul clienților sau în prioritizarea operațională, dar numai sistemele agențice acționează independent pe baza acestei influențe.

Dacă un sistem poate declanșa fluxuri de lucru, aprobă rezultate, modifică stări de sistem sau ia acțiuni fără aprobarea umană în timp real, ar trebui să fie tratat ca agențic. Această determinare trebuie să aibă loc înainte de implementare, deoarece odată ce autoritatea este acordată unui agent, răspunderea juridică și operațională se schimbă odată cu aceasta. Organizațiile trebuie să fie conștiente de această distincție pentru a nu descoperi prea târziu că au delegat neintenționat puterea de a lua decizii și, odată cu aceasta, răspunderea.

Se pot aplica în mod realist doctrinele juridice stabilite, cum ar fi delegarea neglijentă și respondeat superior, sistemelor autonome de AI, și unde încep aceste cadre să se prăbușească?

Se aplică mai direct decât se presupune adesea. Aceste doctrine există pentru a aborda situațiile în care autoritatea este delegată și se produce un prejudiciu, ceea ce este una dintre provocările potențiale pe care le introduce AI agențic.

Problema nu este cu doctrina juridică, ci dacă organizațiile înțeleg răspunderea pe care o asumă atunci când implementează AI autonom și nevoia de a guverna aceste sisteme în consecință.

Când organizațiile nu definesc scopul, permisiunile și supravegherea, ele creează răspundere juridică. Problema nu este că legea nu poate face față AI agențic, ci mai degrabă că întreprinderile nu au definit clar ce au fost autorizate sistemele să facă sau cum ar trebui să fie guvernate.

Care sunt pașii practici pe care ar trebui să îi ia directorii IT și echipele juridice pentru a defini și a reduce răspunderea atunci când fluxurile de lucru AI continuă să învețe și să se adapteze în mediile de producție?

Primul pas este să trateze controlul suveran asupra AI și datelor ca fiind critic pentru misiune. Organizațiile nu pot guverna în mod semnificativ răspunderea dacă sistemele și datele lor AI sunt fragmentate în medii pe care nu le pot observa sau gestiona pe deplin. Cele 13% din întreprinderi care reușesc cu AI agențic la scară încep cu această fundație.

În practică, acest lucru înseamnă limitarea accesului la date, definirea clară a acțiunilor pe care agenții le pot efectua autonom și plasarea supravegherii umane în jurul deciziilor cu impact ridicat. Acest lucru necesită, de asemenea, înregistrarea și trasabilitatea, astfel încât comportamentul să poată fi examinat atunci când și dacă este necesar. Organizațiile care adoptă aceste măsuri devreme vor reduce atât expunerea juridică, cât și frecarea operațională pe termen lung.

Cum recomandați întreprinderilor să înfrâneze sau să guverneze AI agențic prin politici, controale tehnice sau garanții contractuale pentru a reduce riscul de prejudicii neintenționate?

Punctul de plecare este suveranitatea. Întreprinderile au nevoie de medii în care sistemele, datele și contextul de execuție AI sunt observabile și impuse la scară. Guvernanța nu poate să se bazeze numai pe politici. Politica stabilește așteptări, dar controalele tehnice determină ce pot face sistemele, indiferent dacă datele sunt în repaus sau în mișcare și cum sunt permise modelele să funcționeze.

Unii agenți aparțin în medii împrejmuite, fără acces la producție. Alții pot opera cu permisiuni limitate și praguri de aprobare. Agenții complet autonomi ar trebui să fie rari și supravegheați cu atenție. Contractele pot ajuta la clarificarea răspunderii, dar nu înlocuiesc nevoia de control și răspundere internă.

Schimbă schimbarea către medii de AI controlate de întreprindere sau suverane răspunderea finală atunci când un agent AI cauzează prejudicii financiare sau operaționale?

Nu schimbă răspunderea finală. Clarifică răspunderea și, în multe feluri, reduce riscul. Când întreprinderile controlează datele, infrastructura și contextul de execuție, ele elimină variabilele introduse atunci când datele și instrumentele se află în mâinile terților.

Controlul asupra datelor și instrumentelor AI este o forță. Suveranitatea oferă organizațiilor vizibilitatea și autoritatea necesare pentru a gestiona riscul în mod responsabil. Fără acest control, întreprinderile își extind profilul de risc.

În ce măsură joacă transparența și auditabilitatea un rol în reducerea expunerii juridice atunci când se rulează aplicații AI autonome?

Sunt fundamentale. Auditabilitatea transformă sistemele autonome în sisteme justificabile.

Când apar incidente, regulatorii și instanțele solicită întrebări practice: ce știa sistemul, ce era autorizat să facă și de ce a acționat? Întreprinderile care pot demonstra supraveghere și auditabilitate se află într-o poziție mult mai puternică în comparație cu contrapărțile care vin cu mâinile goale.

Cum ar trebui companiile să se pregătească pentru obligațiile juridice diferite la nivel de stat legate de răspunderea AI, pe măsură ce continuă să evolueze îndrumările federale privind AI?

Organizațiile nu pot aștepta ca regulatorii să stabilească un corp detaliat de reguli specifice AI. Legile și regulamentele actuale oferă 95% din claritatea de care avem nevoie pentru a utiliza AI în mod responsabil și pentru a evita evenimente semnificative de răspundere.

Această claritate include proiectarea sistemelor pentru a îndeplini cele mai exigente standarde de răspundere a produsului, care va include, în mod necesar, lucruri precum dezvoltarea responsabilă a capacităților AI, testarea premergătoare lansării, transparența și divulgarea riscurilor, auditarea post-lansare, supravegherea umană și instruirea utilizatorilor de capacități AI. Aceste pași de bază și familiari contează mai mult decât încercarea de a prezice rezultatele specifice ale reglementărilor.

Care sunt cele mai importante întrebări pe care cumpărătorii de tehnologie ar trebui să le pună furnizorilor despre autonomie, supraveghere și răspundere înainte de a adopta sisteme AI agențice?

Cu AI agențic, răspunderea finală se află în cele din urmă cu partea care autorizează autonomia. Prin urmare, cele patru întrebări principale pe care ar trebui să le răspundeți sunt:

1. Cine controlează sistemul în producție?
2. Cum sunt testate și impuse permisiunile?
3. Cum este limitată învățarea?
4. Care sunt dovezi de audit disponibile dacă ceva merge prost?

Dacă un furnizor nu poate oferi răspunsuri clare, întreprinderile ar trebui să procedeze cu prudență. Revenind la analogia cu câinii: crescătorii contează, dar dacă ceva merge prost, răspunderea poate cădea asupra proprietarului.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe pot vizita EnterpriseDB.