Interviuri
Rob Feldman, Chief Legal Officer la EnterpriseDB – Seria de interviuri
Rob Feldman, Chief Legal Officer, este responsabil pentru funcțiile juridice și de conformitate la nivel mondial la EnterpriseDB. Un executiv experimentat și avocat, el construiește echipe juridice de înaltă performanță pentru a sprijini companiile de tehnologie în creștere în medii de afaceri și reglementare dinamice. Cel mai recent, el a condus o echipă juridică de 45 de persoane la Citrix Systems, Inc. în calitate de consilier juridic general, inclusiv prin tranzacția de peste 16 miliarde de dolari de a fi privatizat în 2022. Înainte de Citrix, el a petrecut peste un deceniu în practică privată ca litigator al companiilor de tehnologie, axat pe apărarea înșelăciunii cu titluri, disputelor de proprietate intelectuală și investigațiilor guvernamentale și interne. Rob mai servește și în Consiliul Juridic al Pactului Global al Națiunilor Unite, oferind îndrumări strategice cu privire la mediile de reglementare globale pentru a ajuta companiile să conducă un impact pe termen lung transformativ.
EnterpriseDB este o companie de software care oferă soluții de baze de date de nivel întreprindere construite pe PostgreSQL open-source, ajutând organizațiile să ruleze sarcini critice cu o performanță, securitate și fiabilitate mai mare. Fondată în 2004, EnterpriseDB oferă platforme cloud și on-premises, suport global și unelte de compatibilitate Oracle, concentrându-se tot mai mult pe platforme de date hibride și AI-gata prin ofertele sale Postgres AI.
Având în vedere experiența dvs. lungă în conducerea juridică corporativă și focalizarea EnterpriseDB pe Postgres de nivel întreprindere și platforme de date suverane și AI, cum vedeți evoluția răspunderii pentru companiile care operaționalizează AI agențic în infrastructura critică de date
Lumea AI și a datelor depinde încă de aceleași principii de bază care ar fi trebuit să guverneze întreprinderile cu mult înainte de a apărea sistemele agențice: răspundere, reținere și claritate a responsabilității.
În trecut, aceste principii au fost aplicate oamenilor și în mare măsură sistemelor inerte, tablourilor de bord, rapoartelor și instrumentelor automate care nu inițiau acțiuni de sine stătătoare. AI-ul agențic introduce sisteme care se comportă mai mult ca participanți decât ca instrumente. Ei pot acționa independent, se pot adapta în timp și interacționa din ce în ce mai mult cu oameni și alți agenți.
Dacă o organizație lipsește de discipline puternice de guvernanță și control, va lupta în acest mediu. AI-ul agențic nu creează noi probleme de răspundere, ci mai degrabă expune pe cele existente. Pentru întreprinderile cu fundații solide, această schimbare întărește practicile pe care le urmează deja, ceea ce descriem ca “înfrânare digitală”. Pentru altele, este un semnal clar că trebuie să se stabilească garduri practice înainte de a operaționaliza AI-ul agențic la scară.
Aproximativ 13% din întreprinderi au atins acest punct de scară agențică cu succes. Ei fac de două ori mai mult decât toți ceilalți și obțin de cinci ori mai mult ROI. Dar cu cât are un sistem de inteligență artificială mai multă autonomie, cu atât mai repede organizațiile trebuie să confrunte răspunderea. Când un agent de inteligență artificială direcționează o pretenție, mută bani sau manipulează date sensibile în mod necorespunzător, răspunderea urmează întreprinderii care a definit mediul, a stabilit permisiunile și a decis câtă libertate are acel sistem.
Acesta este motivul pentru care companiile trebuie să aducă supraveghere clară în cazurile de utilizare a AI-ului agențic și de ce organizațiile sunt încurajate să aducă focus asupra gardurilor și programelor de guvernanță. Analogia proprietarilor de câini și a înfrânării digitale este utilă. Câinii au un anumit nivel de agenție, acționează independent, chiar dacă uneori imprevizibil, dar nu sunt persoane juridice. Această combinație, agenție fără persoană, este similară cu cea a sistemelor de inteligență artificială agențică de astăzi, și proprietarii trebuie să înțeleagă că, în absența supravegherii și a guvernanței, vor suporta răspunderea pentru rezultatele negative.
Cum ar trebui întreprinderile să distingă între AI-ul asistent și AI-ul agențic din punct de vedere juridic și operațional înainte de implementare?
La un nivel simplu, distincția se reduce la autoritate. AI-ul asistent sprijină luarea deciziilor umane, în timp ce AI-ul agențic inițiază acțiuni și execută decizii. Ambele pot influența fluxurile de lucru și comportamentul, de exemplu, în serviciul clienților sau în prioritizarea operațională, dar numai sistemele agențice acționează independent asupra acestei influențe.
Dacă un sistem poate declanșa fluxuri de lucru, aprobă rezultate, modifică stări de sistem sau ia măsuri fără aprobarea în timp real a omului, ar trebui să fie tratat ca agențic. Această determinare trebuie să aibă loc înainte de implementare, deoarece odată ce autoritatea este acordată unui agent, răspunderea juridică și operațională se deplasează odată cu aceasta. Organizațiile trebuie să fie conștiente de această distincție, astfel încât să nu descopere prea târziu că au delegat puterea de decizie, și odată cu aceasta, răspunderea.
Se pot aplica doctrinele juridice stabilite, cum ar fi delegarea neglijentă și respondeat superior, realist, sistemelor autonome de inteligență artificială, și unde încep aceste cadre să se prăbușească?
Ele se aplică mai direct decât mulți presupun. Aceste doctrine există pentru a aborda situațiile în care autoritatea este delegată și se produce un prejudiciu, ceea ce este exact una dintre provocările potențiale pe care le introduce inteligența artificială agențică.
Problema nu este cu doctrina juridică, ci dacă organizațiile înțeleg răspunderea pe care o asumă atunci când implementează inteligență artificială autonomă și nevoia de a guverna aceste sisteme în consecință.
Când organizațiile nu definesc în mod clar domeniul de aplicare, permisiunile și supravegherea, ele creează răspundere juridică. Problema nu este că legea nu poate face față inteligenței artificiale agențice, ci mai degrabă că întreprinderile nu au definit în mod clar ce au fost autorizate sistemele să facă sau cum urmează să fie guvernate.
Care sunt pașii practice pe care ar trebui să îi ia astăzi directorii informatici și echipele juridice pentru a defini și a reduce răspunderea atunci când fluxurile de lucru cu inteligență artificială continuă să învețe și să se adapteze în mediile de producție?
Primul pas este să trateze controlul suveran asupra inteligenței artificiale și a datelor ca fiind critic pentru misiune. Organizațiile nu pot guverna în mod semnificativ răspunderea dacă sistemele și datele lor de inteligență artificială sunt fragmentate în medii pe care nu le pot observa sau gestiona pe deplin. Cele 13% din întreprinderi care reușesc cu inteligența artificială agențică la scară încep cu această fundație.
În practică, acest lucru înseamnă limitarea accesului la date, definirea clară a acțiunilor pe care le pot efectua agenții în mod autonom și plasarea supravegherii umane în jurul deciziilor cu impact ridicat. Acest lucru necesită, de asemenea, înregistrarea și trasabilitatea, astfel încât comportamentul să poată fi examinat atunci când și dacă este necesar. Organizațiile care adoptă aceste măsuri devreme vor reduce atât expunerea juridică, cât și frecarea operațională pe termen lung.
Cum recomandați întreprinderilor să înfrâneze sau să guverneze inteligența artificială agențică prin politici, controale tehnice sau garanții contractuale pentru a reduce riscul de prejudicii neintenționate?
Punctul de plecare este suveranitatea. Întreprinderile au nevoie de medii în care sistemele, datele și contextul de execuție al inteligenței artificiale să fie observabile și impuse la scară. Guvernanța nu poate să se bazeze numai pe politici. Politica stabilește așteptări, dar controalele tehnice determină ce pot face sistemele în realitate, indiferent dacă datele sunt în repaus sau în mișcare și cum sunt permise modelele să funcționeze.
Unii agenți aparțin în medii împrejmuite, fără acces la producție. Alții pot opera cu permisiuni limitate și praguri de aprobare. Agenții complet autonomi ar trebui să fie rari și supravegheați cu atenție. Contractele pot ajuta la clarificarea răspunderii, dar nu înlocuiesc nevoia de control și răspundere internă.
Schimbarea către medii de inteligență artificială controlate de întreprindere sau suverane modifică cine suportă în cele din urmă riscul atunci când un agent de inteligență artificială provoacă prejudicii financiare sau operaționale?
Nu modifică cine suportă riscul. Clarifică răspunderea și, în multe feluri, reduce riscul. Când întreprinderile controlează datele, infrastructura și contextul de execuție, ele elimină variabilele introduse atunci când datele și instrumentele sunt în mâinile terților.
Controlul asupra datelor și instrumentelor de inteligență artificială este o forță. Suveranitatea oferă organizațiilor vizibilitatea și autoritatea necesare pentru a gestiona riscul în mod responsabil. Fără acest control, întreprinderile își măresc profilul de risc.
Din perspectiva dvs., care este rolul transparenței și al auditabilității în reducerea expunerii juridice atunci când se rulează aplicații autonome de inteligență artificială?
Ele sunt fundamentale. Auditabilitatea transformă sistemele autonome în sisteme justificabile.
Când apar incidente, regulatorii și instanțele solicită întrebări practice: ce știa sistemul, ce era autorizat să facă și de ce a acționat? Întreprinderile care pot demonstra supraveghere și auditabilitate se află într-o poziție mult mai puternică în comparație cu omologii lor care vin cu mâinile goale.
Pe măsură ce îndrumările federale privind inteligența artificială continuă să evolueze, cum ar trebui companiile să se pregătească pentru obligațiile legale diferite la nivel de stat privind răspunderea pentru inteligența artificială?
Organizațiile nu pot aștepta ca regulatorii să stabilească un set detaliat de reguli specifice inteligenței artificiale. Legile statale și federale existente ne oferă 95% din claritatea de care avem nevoie pentru a utiliza inteligența artificială în mod responsabil și pentru a evita evenimente semnificative de răspundere.
Această claritate include proiectarea sistemelor pentru a îndeplini cele mai exigente standarde de răspundere a produsului, ceea ce va include în mod necesar lucruri precum dezvoltarea responsabilă a capacităților de inteligență artificială, testarea prealabilă lansării, transparența și divulgarea riscurilor, auditarea post-lansare, supravegherea umană și instruirea utilizatorilor de capacități de inteligență artificială. Aceste pași de bază și familiari contează mai mult decât încercarea de a prezice rezultatele reglementărilor specifice.
Care sunt cele mai importante întrebări pe care cumpărătorii de tehnologie ar trebui să le pună furnizorilor despre autonomie, supraveghere și răspundere înainte de a adopta sisteme de inteligență artificială agențică?
Cu inteligența artificială agențică, răspunderea revine în cele din urmă părții care autorizează autonomia. Deci, cele patru întrebări principale pe care ar trebui să le răspundeți sunt:
- Cine controlează sistemul în producție?
- Cum sunt testate și impuse permisiunile?
- Cum este limitată învățarea?
- CE dovezi de audit sunt disponibile dacă ceva merge prost?
Dacă un furnizor nu poate oferi răspunsuri clare, întreprinderile ar trebui să procedeze cu prudență. Revenind la analogia cu câinele: crescătorii contează, dar dacă ceva merge prost, răspunderea poate reveni proprietarului.
Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe ar trebui să viziteze EnterpriseDB.
