Rob Feldman, Chief Legal Officer di EnterpriseDB – Serie di Interviste

Rob Feldman, Chief Legal Officer, è responsabile delle funzioni legali e di conformità in tutto il mondo presso EnterpriseDB. Un executive esperto e avvocato, costruisce team legali ad alte prestazioni per supportare aziende tecnologiche in crescita in ambienti commerciali e normativi dinamici. Recentemente, ha guidato un team legale di 45 persone in Citrix Systems, Inc. come Consigliere generale, incluso nel suo + $ 16 miliardi di transazione di privatizzazione nel 2022. Prima di Citrix, ha trascorso più di un decennio nella pratica privata come litigante di società tecnologiche, focalizzato sulla difesa delle frodi sui titoli, controversie sulla proprietà intellettuale e indagini governative e interne. Rob fa anche parte del Consiglio legale del Patto globale delle Nazioni Unite, fornendo orientamento strategico sugli ambienti normativi globali per aiutare le aziende a guidare un impatto trasformativo e a lungo termine.

EnterpriseDB è un’azienda software che fornisce soluzioni di database di livello aziendale basate su PostgreSQL open-source, aiutando le organizzazioni a eseguire carichi di lavoro critici con maggiore prestazioni, sicurezza e affidabilità. Fondata nel 2004, EnterpriseDB offre piattaforme cloud e on-premises, supporto globale e strumenti di compatibilità Oracle (ORCL ), concentrandosi sempre più su piattaforme di dati ibride e pronte all’AI attraverso le offerte Postgres AI.

Considerando la tua lunga esperienza nella leadership legale aziendale e la focalizzazione di EnterpriseDB su Postgres e piattaforme di dati sovrane, come vedi l’evoluzione della responsabilità per le aziende che operazionalizzano AI agente all’interno delle infrastrutture di dati critiche

Il mondo dell’AI e dei dati dipende ancora dagli stessi principi fondamentali che avrebbero dovuto governare le aziende molto prima dell’arrivo dei sistemi agente: responsabilità, autocontrollo e chiarezza di responsabilità.

In passato, quei principi venivano applicati alle persone e a sistemi largamente inerti, dashboard, report e strumenti automatizzati che non iniziavano azioni di propria iniziativa. L’AI agente introduce sistemi che si comportano più come partecipanti che come strumenti. Possono agire in modo indipendente, adattarsi nel tempo e interagire sempre più con esseri umani e altri agenti.

Se un’organizzazione manca di forti discipline di governance e controllo, lotterà in questo ambiente. L’AI agente non crea nuovi problemi di responsabilità, ma piuttosto ne espone di esistenti. Per le aziende con fondamenta solide, questo passaggio rafforza in realtà le pratiche che già seguono, ciò che descriviamo come “guinzaglio digitale”. Per gli altri, è un chiaro segnale che servono barriere pratiche prima di operazionalizzare l’AI agente su larga scala.

Solo circa il 13% delle aziende ha raggiunto questo punto di scala agente con successo. Fanno il doppio dell’amount di agente di tutte le altre e ottengono 5 volte il ROI. Ma più autonomia ha un sistema AI, più presto le organizzazioni devono affrontare la responsabilità. Quando un agente AI instrada una richiesta, sposta denaro o gestisce male dati sensibili, la responsabilità segue l’azienda che ha definito l’ambiente, ha stabilito le autorizzazioni e ha deciso quanto libertà aveva quel sistema.

Questo è il motivo per cui le aziende devono portare una chiara supervisione ai loro casi d’uso di AI agente e perché le organizzazioni sono incentivati a portare attenzione ai loro sistemi di controllo e programmi di governance. L’analogia della proprietà di cani e del guinzaglio digitale è utile. I cani hanno un certo livello di autonomia, agiscono in modo indipendente, sebbene a volte imprevedibile, eppure non sono persone giuridiche. Quella combinazione, autonomia senza personalità giuridica, è simile a dove si trovano oggi i sistemi AI agente, e i proprietari devono capire che, in assenza di supervisione e governance, saranno responsabili per esiti negativi.

Come dovrebbero distinguere le aziende tra AI assistente e AI agente da un punto di vista legale e operativo prima della distribuzione?

A un livello semplice, la distinzione si basa sull’autorità. L’AI assistente supporta la presa di decisioni umana, mentre l’AI agente inizia azioni ed esegue decisioni. Entrambi possono influenzare i flussi di lavoro e plasmare il comportamento, ad esempio, nel servizio clienti o nella priorità operativa, ma solo i sistemi agente agiscono su quell’influenza in modo indipendente.

Se un sistema può attivare flussi di lavoro, approvare risultati, modificare stati di sistema o agire senza approvazione umana in tempo reale, dovrebbe essere trattato come agente. Quella determinazione deve avvenire prima della distribuzione, perché una volta che l’autorità è stata concessa a un agente, la responsabilità legale e operativa si sposta con essa. Le organizzazioni devono essere consapevoli di questa distinzione in modo da non scoprire troppo tardi di aver delegato involontariamente il potere decisionale e, con esso, la responsabilità.

Possono essere applicate realisticamente dottrine legali stabilite come la delega negligente e il principio di responsabilità per i sistemi AI autonomi, e dove iniziano a rompersi quelle strutture?

Si applicano più direttamente di quanto molti suppongano. Queste dottrine esistono per affrontare situazioni in cui l’autorità è delegata e si verifica un danno, il che è precisamente una delle sfide potenziali che l’AI agente introduce.

Il problema non è con la dottrina legale, ma se le organizzazioni capiscono la responsabilità che assumono quando distribuiscono AI autonoma e la necessità di governare quei sistemi di conseguenza.

Quando le organizzazioni falliscono nel definire l’ambito, le autorizzazioni e la supervisione, creano responsabilità legale. Il problema raramente è che la legge non può gestire l’AI agente, ma piuttosto che le aziende non hanno chiaramente definito cosa i loro sistemi erano autorizzati a fare o come dovevano essere governati.

Quali passi pratici dovrebbero intraprendere i CIO e i team legali oggi per definire e mitigare la responsabilità quando i flussi di lavoro AI continuano a imparare e adattarsi in ambienti di produzione?

Il primo passo è trattare il controllo sovrano su AI e dati come mission-critical. Le organizzazioni non possono governare significativamente la responsabilità se i loro sistemi AI e dati sono frammentati in ambienti che non possono osservare o gestire appieno. Il 13% delle aziende che hanno successo con l’AI agente su larga scala inizia con questa base.

Nella pratica, significa limitare l’accesso ai dati, definire chiaramente quali azioni gli agenti possono eseguire autonomamente e porre la supervisione umana intorno a decisioni ad alto impatto. Richiede anche la registrazione e la tracciabilità, in modo che il comportamento possa essere esaminato quando e se necessario. Le organizzazioni che adottano queste misure precocemente ridurranno sia l’esposizione legale che l’attrito operativo lungo la strada.

Come consigli di governare l’AI agente attraverso politiche, controlli tecnici o salvaguardie contrattuali per ridurre il rischio di danni non intenzionali?

Il punto di partenza è la sovranità. Le aziende hanno bisogno di ambienti in cui i loro sistemi AI, dati e contesto di esecuzione siano osservabili e applicabili su larga scala. La governance non può fare affidamento solo sulla politica. La politica stabilisce le aspettative, ma i controlli tecnici determinano cosa i sistemi possono effettivamente fare, se i dati sono in riposo o in movimento e come i modelli sono autorizzati a funzionare.

Alcuni agenti appartengono ad ambienti recintati con nessun accesso alla produzione. Altri possono operare con autorizzazioni limitate e soglie di approvazione. Gli agenti completamente autonomi dovrebbero essere rari e attentamente supervisionati. I contratti possono aiutare a chiarire la responsabilità, ma non sostituiscono la necessità di controllo interno e responsabilità.

Il passaggio verso ambienti di AI controllati dalle aziende o sovrani cambia chi porta alla fine il rischio quando un agente AI causa danni finanziari o operativi?

Non cambia chi porta il rischio. Rende l’accountability più chiara e in molti modi riduce il rischio. Quando le aziende controllano i dati, l’infrastruttura e il contesto di esecuzione, rimuovono variabili introdotte quando i dati e gli strumenti sono in mano a terze parti.

Il controllo sui dati e sugli strumenti AI è una forza. La sovranità dà alle organizzazioni la visibilità e l’autorità richieste per gestire il rischio in modo responsabile. Senza quel controllo, le aziende espandono il loro profilo di rischio.

Da una prospettiva, qual è il ruolo della trasparenza e della tracciabilità nel ridurre l’esposizione legale quando si eseguono applicazioni AI autonome?

Sono fondamentali. La tracciabilità trasforma sistemi autonomi in sistemi difendibili.

Quando si verificano incidenti, i regulatori e i tribunali pongono domande pratiche: cosa sapeva il sistema, cosa era autorizzato a fare e perché ha agito? Le aziende che possono dimostrare la supervisione e la tracciabilità sono in una molto posizione più forte rispetto ai loro omologhi che arrivano a mani vuote.

Mentre la guida federale sull’AI continua a evolversi, come dovrebbero prepararsi le aziende per gli obblighi legali differenziati a livello statale relativi alla responsabilità dell’AI?

Le organizzazioni non possono aspettare che i regulatori forniscono un corpo di regole dettagliate specifiche per l’AI. La legge statale e federale esistente ci dà il 95% della chiarezza di cui abbiamo bisogno per utilizzare l’AI in modo responsabile e evitare eventi di responsabilità significativi.

Quella chiarezza include la progettazione di sistemi per soddisfare gli standard di responsabilità dei prodotti più esigenti, che includeranno necessariamente cose come lo sviluppo responsabile delle capacità AI, il testing pre-rilascio, la trasparenza e la divulgazione del rischio, l’auditing post-rilascio, la supervisione umana e la formazione per gli utenti delle capacità AI. Questi passi di base e familiari contano più che cercare di prevedere risultati regolatori specifici.

Quali sono le domande più importanti che gli acquirenti di tecnologia dovrebbero porre ai fornitori riguardo all’autonomia, alla supervisione e alla responsabilità prima di adottare sistemi AI agente?

Con l’AI agente, la responsabilità finale riposa con la parte che autorizza l’autonomia. Quindi, le quattro principali domande che dovresti rispondere sono:

1. Chi controlla il sistema in produzione?
2. Come vengono testate e applicate le autorizzazioni?
3. Come viene limitato l’apprendimento?
4. Quali prove di audit sono disponibili se qualcosa va storto?

Se un fornitore non può fornire risposte chiare, le aziende dovrebbero procedere con cautela. Tornando all’analogia del cane: i allevatori contano, ma se qualcosa va storto, la responsabilità può riposare con il proprietario.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare EnterpriseDB.