Rob Feldman, Chief Legal Officer da EnterpriseDB – Série de Entrevistas

Rob Feldman, Chief Legal Officer, é responsável pelas funções legais e de conformidade em todo o mundo na EnterpriseDB. Um executivo experiente e advogado, ele constrói equipes jurídicas de alto desempenho para apoiar empresas de tecnologia em crescimento em ambientes de negócios e regulamentação dinâmicos. Mais recentemente, ele liderou uma equipe jurídica de 45 pessoas na Citrix Systems, Inc. como seu Conselheiro Geral, incluindo sua transação de privatização de +$16 bilhões em 2022. Antes da Citrix, ele passou mais de uma década na prática privada como litigante de empresas de tecnologia, focado na defesa de fraude de valores mobiliários, disputas de propriedade intelectual e investigações governamentais e internas. Rob também atua no Conselho Jurídico do Pacto Global da ONU, fornecendo orientação estratégica sobre ambientes regulamentares globais para ajudar as empresas a impulsionar um impacto transformador e de longo prazo.

EnterpriseDB é uma empresa de software que fornece soluções de banco de dados de nível empresarial baseadas em PostgreSQL de código aberto, ajudando as organizações a executar cargas de trabalho críticas com maior desempenho, segurança e confiabilidade. Fundada em 2004, a EnterpriseDB oferece plataformas em nuvem e locais, suporte global e ferramentas de compatibilidade com o Oracle, enquanto cada vez mais se concentra em plataformas de dados híbridos e prontas para IA por meio de suas ofertas de Postgres AI.

Dada sua longa experiência em liderança jurídica corporativa e o foco da EnterpriseDB em Postgres e plataformas de dados soberanas, como você vê a evolução da responsabilidade para as empresas que operacionalizam AI agente dentro da infraestrutura de dados crítica

O mundo da IA e dos dados ainda depende dos mesmos princípios fundamentais que deveriam ter governado as empresas muito antes dos sistemas agentes chegarem: responsabilidade, restrição e clareza de responsabilidade.

No passado, esses princípios eram aplicados a pessoas e sistemas basicamente inativos, painéis, relatórios e ferramentas automatizadas que não iniciavam ações por conta própria. A IA agente introduz sistemas que se comportam mais como participantes do que instrumentos. Eles podem agir de forma independente, adaptar-se ao longo do tempo e interagir cada vez mais com humanos e outros agentes.

Se uma organização falta disciplinas de governança e controle fortes, ela lutará nesse ambiente. A IA agente não cria novos problemas de responsabilidade, mas expõe os existentes. Para as empresas com fundamentos sólidos, essa mudança reforça as práticas que elas já seguem, o que descrevemos como “controle digital”. Para os outros, é um sinal claro de que barreiras práticas precisam ser estabelecidas antes de operacionalizar a IA agente em larga escala.

Apenas cerca de 13% das empresas alcançaram esse ponto de escala agente com sucesso. Elas fazem 2X a quantidade de agente do que todas as outras e obtêm 5X o ROI. Mas quanto mais autonomia um sistema de IA tem, mais cedo as organizações devem enfrentar a responsabilidade. Quando um agente de IA roteia uma reclamação, move dinheiro ou manipula dados sensíveis de forma inadequada, a responsabilidade segue a empresa que definiu o ambiente, estabeleceu as permissões e decidiu quanto de liberdade esse sistema tinha.

Isso é por que as empresas precisam trazer supervisão clara para seus casos de uso de IA agente e por que as organizações são incentivadas a dar foco às suas barreiras e programas de governança. A analogia da propriedade de cães e controle digital é útil. Os cães têm um certo nível de agência, agem de forma independente, embora às vezes de forma imprevisível, mas não são pessoas jurídicas. Essa combinação, agência sem personalidade, é semelhante à situação dos sistemas de IA agentes de hoje e os proprietários devem entender que, na ausência de supervisão e governança, eles serão responsáveis por resultados ruins.

Como as empresas devem distinguir entre IA assistiva e IA agente do ponto de vista legal e operacional antes do deploy?

Em um nível simples, a distinção vem da autoridade. A IA assistiva apoia a tomada de decisão humana, enquanto a IA agente inicia ações e executa decisões. Ambas podem influenciar fluxos de trabalho e moldar comportamentos, por exemplo, no atendimento ao cliente ou priorização operacional, mas apenas os sistemas agentes agem sobre essa influência de forma independente.

Se um sistema pode acionar fluxos de trabalho, aprovar resultados, modificar estados do sistema ou tomar ações sem aprovação humana em tempo real, ele deve ser tratado como agente. Essa determinação precisa acontecer antes do deploy, porque, uma vez que a autoridade é concedida a um agente, a responsabilidade legal e operacional muda com ela. As organizações devem estar cientes dessa distinção para não descobrirem tarde demais que delegaram poder de decisão de forma involuntária e, com ele, a responsabilidade.

Os doutrinas legais estabelecidas, como a delegação negligente e o respondeat superior, podem ser realisticamente aplicadas a sistemas de IA autônomos, e onde esses quadros começam a se desintegrar?

Eles se aplicam mais diretamente do que muitos assumem. Essas doutrinas existem para abordar situações em que a autoridade é delegada e o dano ocorre, o que é precisamente um dos desafios potenciais que a IA agente introduz.

A questão não é com a doutrina legal, mas se as organizações entendem a responsabilidade que elas assumem quando implantam IA autônoma e a necessidade de governar esses sistemas de acordo.

Quando as organizações falham em definir o escopo, permissões e supervisão, elas criam responsabilidade legal. A questão raramente é que a lei não pode lidar com a IA agente, mas sim que as empresas não definiram claramente o que seus sistemas estavam autorizados a fazer ou como devem ser governados.

Quais são os passos práticos que os CIOs e as equipes jurídicas devem tomar hoje para definir e mitigar a responsabilidade quando os fluxos de trabalho de IA continuam a aprender e se adaptar em ambientes de produção?

O primeiro passo é tratar o controle soberano sobre a IA e os dados como missão crítica. As organizações não podem governar significativamente a responsabilidade se seus sistemas de IA e dados estiverem fragmentados em ambientes que elas não podem observar ou gerenciar completamente. As 13% das empresas que estão tendo sucesso com a IA agente em larga escala começam com essa base.

Na prática, isso significa restringir o acesso aos dados, definir claramente quais ações os agentes podem realizar de forma autônoma e colocar supervisão humana em torno de decisões de alto impacto. Isso também exige registro e rastreabilidade, para que o comportamento possa ser revisado quando e se necessário. As organizações que adotam essas medidas cedo reduzirão tanto a exposição legal quanto a fricção operacional ao longo do caminho.

Como você recomenda que as empresas controlem ou governem a IA agente por meio de políticas, controles técnicos ou salvaguardas contratuais para reduzir o risco de danos não intencionais?

O ponto de partida é a soberania. As empresas precisam de ambientes em que seus sistemas de IA, dados e contexto de execução sejam observáveis e aplicáveis em larga escala. A governança não pode depender apenas de política. A política define expectativas, mas os controles técnicos determinam o que os sistemas podem realmente fazer, se os dados estão em repouso ou em movimento e como os modelos são permitidos operar.

Alguns agentes pertencem a ambientes cercados com nenhum acesso à produção. Outros podem operar com permissões limitadas e limiares de aprovação. Agentes totalmente autônomos devem ser raros e cuidadosamente supervisionados. Os contratos podem ajudar a esclarecer a responsabilidade, mas não substituem a necessidade de controle interno e responsabilidade.

A mudança em direção a ambientes de IA controlados pelas empresas ou soberanos muda quem assume o risco quando um agente de IA causa danos financeiros ou operacionais?

Isso não muda quem assume o risco. Isso torna a responsabilidade mais clara e, de muitas maneiras, reduz o risco. Quando as empresas controlam os dados, a infraestrutura e o contexto de execução, elas removem variáveis introduzidas quando os dados e as ferramentas estão nas mãos de terceiros.

O controle sobre os dados e as ferramentas de IA é uma força. A soberania dá às organizações a visibilidade e a autoridade necessárias para gerenciar o risco de forma responsável. Sem esse controle, as empresas expandem seu perfil de risco.

Do seu ponto de vista, qual é o papel da transparência e da auditoria na redução da exposição legal ao executar aplicações de IA autônoma?

Elas são fundamentais. A auditoria torna os sistemas autônomos em sistemas defensáveis.

Quando incidentes ocorrem, os reguladores e os tribunais fazem perguntas práticas: o que o sistema sabia, o que ele estava autorizado a fazer e por que ele agiu? As empresas que podem demonstrar supervisão e auditoria estão em uma posição muito mais forte em comparação com seus contrapartes que vêm de mãos vazias.

À medida que as diretrizes federais de IA continuam a evoluir, como as empresas devem se preparar para obrigações legais diferenciadas em nível estadual relacionadas à responsabilidade da IA?

As organizações não podem esperar que os reguladores forneçam um conjunto detalhado de regras específicas para a IA. A lei existente em nível estadual e federal nos dá 95% da clareza de que precisamos para usar a IA de forma responsável e evitar eventos de responsabilidade significativos.

Essa clareza inclui projetar sistemas para atender aos padrões de responsabilidade de produto mais exigentes, o que necessariamente incluirá coisas como desenvolvimento responsável de capacidades de IA, testes pré-lançamento, transparência e divulgação de risco, auditoria pós-lançamento, supervisão humana e treinamento para usuários de capacidades de IA. Esses passos básicos e familiares importam mais do que tentar prever resultados regulamentares específicos.

Quais são as perguntas mais importantes que os compradores de tecnologia devem fazer aos fornecedores sobre autonomia, supervisão e responsabilidade antes de adotar sistemas de IA agente?

Com a IA agente, a responsabilidade final reside com a parte que autoriza a autonomia. Portanto, as quatro principais perguntas que você deve estar respondendo são:

1. Quem controla o sistema em produção?
2. Como as permissões são testadas e aplicadas?
3. Como o aprendizado é limitado?
4. Qual evidência de auditoria está disponível se algo der errado?

Se um fornecedor não pode fornecer respostas claras, as empresas devem proceder com cautela. Voltando à analogia do criador de cães: os criadores importam, mas se algo der errado, a responsabilidade pode recair sobre o proprietário.

Obrigado pela grande entrevista, os leitores que desejam aprender mais devem visitar EnterpriseDB.