Rob Feldman, Chief Legal Officer at EnterpriseDB – Interview Series

Rob Feldman, Chief Legal Officer, è responsabile per le funzioni legali e di conformità in tutto il mondo presso EnterpriseDB. Un executive esperto e avvocato, costruisce team legali ad alte prestazioni per supportare aziende tecnologiche in crescita in ambienti commerciali e normativi dinamici. Recentemente, ha guidato un team legale di 45 persone in Citrix Systems, Inc. come Consigliere generale, incluso nel suo trasferimento da pubblico a privato da oltre 16 miliardi di dollari nel 2022. Prima di Citrix, ha trascorso più di un decennio in pratica privata come litigatore di aziende tecnologiche, focalizzato sulla difesa delle frodi sui titoli, dispute sulla proprietà intellettuale e indagini governative e interne. Rob fa anche parte del Consiglio legale del Patto globale delle Nazioni Unite, fornendo orientamento strategico sugli ambienti normativi globali per aiutare le aziende a guidare un impatto trasformativo e a lungo termine.

EnterpriseDB è un’azienda software che fornisce soluzioni di database di livello aziendale basate su PostgreSQL open-source, aiutando le organizzazioni a eseguire carichi di lavoro critici con maggiore prestazione, sicurezza e affidabilità. Fondata nel 2004, EnterpriseDB offre piattaforme cloud e on-premises, supporto globale e strumenti di compatibilità con Oracle, concentrandosi sempre più su piattaforme di dati ibride e pronte all’intelligenza artificiale attraverso le sue offerte Postgres AI.

Data la tua lunga esperienza nella leadership legale aziendale e la focalizzazione di EnterpriseDB su Postgres e piattaforme di dati sovrani e intelligenza artificiale, come vedi l’evoluzione della responsabilità per le aziende che operazionalizzano intelligenza artificiale agente all’interno di infrastrutture di dati critiche

Il mondo dell’intelligenza artificiale e dei dati dipende ancora dagli stessi principi fondamentali che avrebbero dovuto governare le aziende molto prima dell’arrivo dei sistemi agenti: responsabilità, autocontrollo e chiarezza delle responsabilità.

In passato, quei principi venivano applicati alle persone e in larga misura a sistemi inerti, dashboard, report e strumenti automatizzati che non iniziavano azioni di propria iniziativa. L’intelligenza artificiale agente introduce sistemi che si comportano più come partecipanti che come strumenti. Possono agire in modo indipendente, adattarsi nel tempo e interagire sempre più con esseri umani e altri agenti.

Se un’organizzazione manca di forti discipline di governance e controllo, lottare in questo ambiente. L’intelligenza artificiale agente non crea nuovi problemi di responsabilità, ma piuttosto espone quelli esistenti. Per le aziende con solide fondamenta, questo passaggio rafforza in realtà le pratiche che già seguono, ciò che descriviamo come “guinzaglio digitale”. Per gli altri, è un chiaro segnale che servono guardrail pratiche da stabilire prima di operazionalizzare l’intelligenza artificiale agente su larga scala.

Solo circa 13% delle aziende hanno raggiunto questo punto di scala agente con successo. Fanno il doppio della quantità di agente rispetto a tutti gli altri e ottengono un ritorno sugli investimenti 5 volte superiore. Tuttavia, più autonomia ha un sistema di intelligenza artificiale, prima le organizzazioni devono affrontare la responsabilità. Quando un agente di intelligenza artificiale instrada una richiesta, sposta denaro o gestisce male dati sensibili, la responsabilità segue l’azienda che ha definito l’ambiente, impostato le autorizzazioni e deciso quanto libertà aveva quel sistema.

È per questo che le aziende devono portare una chiara supervisione ai loro casi d’uso di intelligenza artificiale agente e perché le organizzazioni sono incentivati a portare focus ai loro programmi di guardrail e governance. L’analogia della proprietà di cani e del guinzaglio digitale è utile. I cani hanno un certo livello di agenzia, agiscono in modo indipendente, sebbene a volte imprevedibile, e non sono persone giuridiche. Quella combinazione, agenzia senza personalità giuridica, è simile a dove si trovano oggi i sistemi di intelligenza artificiale agente, e i proprietari devono capire che, in assenza di supervisione e governance, saranno responsabili per esiti negativi.

Come dovrebbero distinguere le aziende tra intelligenza artificiale assistiva e intelligenza artificiale agente da una prospettiva legale e operativa prima del deploy?

A un livello semplice, la distinzione si riduce all’autorità. L’intelligenza artificiale assistiva supporta la presa di decisioni umana, mentre l’intelligenza artificiale agente inizia azioni ed esegue decisioni. Entrambe possono influenzare i flussi di lavoro e plasmare il comportamento, ad esempio, nel servizio clienti o nella priorità operativa, ma solo i sistemi agenti agiscono su quell’influenza in modo indipendente.

Se un sistema può attivare flussi di lavoro, approvare risultati, modificare stati di sistema o intraprendere azioni senza approvazione umana in tempo reale, dovrebbe essere trattato come agente. Quella determinazione deve avvenire prima del deploy, perché una volta che l’autorità è stata concessa a un agente, la responsabilità legale e operativa si sposta con essa. Le organizzazioni devono essere consapevoli di questa distinzione in modo da non scoprire troppo tardi di aver delegato inavvertitamente il potere decisionale, e con esso, la responsabilità.

Possono dottrine legali stabilite come la delega negligente e il principio di responsabilità degli superiori essere realisticamente applicate a sistemi di intelligenza artificiale autonomi, e dove iniziano a rompersi quei framework?

Si applicano più direttamente di quanto molti suppongano. Queste dottrine esistono per affrontare situazioni in cui l’autorità è delegata e si verifica un danno, che è precisamente una delle sfide potenziali che l’intelligenza artificiale agente introduce.

Il problema non è con la dottrina legale, ma se le organizzazioni capiscono la responsabilità che assumono quando deployano intelligenza artificiale autonoma e la necessità di governare quei sistemi di conseguenza.

Quando le organizzazioni non definiscono l’ambito, le autorizzazioni e la supervisione, creano responsabilità legale. Il problema raramente è che la legge non può gestire l’intelligenza artificiale agente, ma piuttosto che le aziende non hanno chiaramente definito cosa i loro sistemi erano autorizzati a fare o come dovevano essere governati.

Quali passi pratici dovrebbero intraprendere oggi i CIO e i team legali per definire e mitigare la responsabilità quando i flussi di lavoro di intelligenza artificiale continuano a imparare e adattarsi in ambienti di produzione?

Il primo passo è trattare il controllo sovrano sull’intelligenza artificiale e sui dati come mission-critico. Le organizzazioni non possono governare in modo significativo la responsabilità se i loro sistemi di intelligenza artificiale e i dati sono frammentati in ambienti che non possono osservare o gestire appieno. Il 13% delle aziende che hanno successo con l’intelligenza artificiale agente su larga scala inizia con questa fondazione.

Nella pratica, significa limitare l’accesso ai dati, definire chiaramente quali azioni gli agenti possono eseguire in modo autonomo e collocare la supervisione umana intorno a decisioni ad alto impatto. Richiede anche la registrazione e la tracciabilità, in modo che il comportamento possa essere esaminato quando e se necessario. Le organizzazioni che adottano queste misure per prime ridurranno sia l’esposizione legale che l’attrito operativo in seguito.

Come consiglieresti alle aziende di governare o “guinzagliare” l’intelligenza artificiale agente attraverso politiche, controlli tecnici o salvaguardie contrattuali per ridurre il rischio di danni non intenzionali?

Il punto di partenza è la sovranità. Le aziende necessitano di ambienti in cui i loro sistemi di intelligenza artificiale, i dati e il contesto di esecuzione siano osservabili e applicabili su larga scala. La governance non può affidarsi solo alle politiche. Le politiche stabiliscono aspettative, ma i controlli tecnici determinano cosa i sistemi possono effettivamente fare, se i dati sono in riposo o in movimento e come i modelli sono autorizzati a operare.

Alcuni agenti appartengono ad ambienti recintati con nessun accesso alla produzione. Altri possono operare con autorizzazioni limitate e soglie di approvazione. Gli agenti completamente autonomi dovrebbero essere rari e attentamente supervisionati. I contratti possono aiutare a chiarire la responsabilità, ma non sostituiscono la necessità di controllo interno e responsabilità.

Il passaggio verso ambienti di intelligenza artificiale controllati dalle aziende o sovrani cambia chi sopporta ultimately il rischio quando un agente di intelligenza artificiale causa danni finanziari o operativi?

Non cambia chi sopporta il rischio. Rende la responsabilità più chiara e, in molti modi, riduce il rischio. Quando le aziende controllano i dati, l’infrastruttura e il contesto di esecuzione, rimuovono variabili introdotte quando i dati e gli strumenti sono in mano a terze parti.

Il controllo dei dati e degli strumenti di intelligenza artificiale è una forza. La sovranità dà alle organizzazioni la visibilità e l’autorità necessarie per gestire il rischio in modo responsabile. Senza quel controllo, le aziende espandono il loro profilo di rischio.

Da una prospettiva, quale ruolo hanno la trasparenza e la tracciabilità nel ridurre l’esposizione legale quando si eseguono applicazioni di intelligenza artificiale autonoma?

Sono fondamentali. La tracciabilità trasforma sistemi autonomi in sistemi difendibili.

Quando si verificano incidenti, i regolatori e i tribunali pongono domande pratiche: cosa sapeva il sistema, cosa era autorizzato a fare e perché ha agito? Le aziende che possono dimostrare la supervisione e la tracciabilità sono in una molto posizione più forte rispetto ai loro omologhi che si presentano a mani vuote.

Mentre la guida federale sull’intelligenza artificiale continua a evolversi, come dovrebbero prepararsi le aziende per gli obblighi legali differenziati a livello statale relativi alla responsabilità dell’intelligenza artificiale?

Le organizzazioni non possono aspettare che i regolatori emanino un corpo di regole dettagliate specifiche per l’intelligenza artificiale. Le leggi statali e federali esistenti ci danno il 95% della chiarezza necessaria per utilizzare l’intelligenza artificiale in modo responsabile ed evitare eventi di responsabilità significativi.

Quella chiarezza include la progettazione di sistemi per soddisfare gli standard di responsabilità dei prodotti più esigenti, che includeranno necessariamente cose come lo sviluppo responsabile delle capacità di intelligenza artificiale, test pre-rilascio, trasparenza e divulgazione del rischio, audit post-rilascio, supervisione umana e formazione per gli utenti delle capacità di intelligenza artificiale. Questi passi fondamentali e familiari contano più che cercare di prevedere risultati regolatori specifici.

Quali sono le domande più importanti che gli acquirenti di tecnologia dovrebbero porre ai fornitori sull’autonomia, la supervisione e la responsabilità prima di adottare sistemi di intelligenza artificiale agente?

Con l’intelligenza artificiale agente, la responsabilità ultima riposa con la parte che autorizza l’autonomia. Quindi, le quattro principali domande che dovresti rispondere sono:

1. Chi controlla il sistema in produzione?
2. Come vengono testate e applicate le autorizzazioni?
3. Come viene limitato l’apprendimento?
4. Quali prove di audit sono disponibili se qualcosa va storto?

Se un fornitore non può fornire risposte chiare, le aziende dovrebbero procedere con cautela. Tornando all’analogia del cane: i allevatori contano, ma se qualcosa va storto, la responsabilità può ricadere sul proprietario.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare EnterpriseDB.