Rob Feldman, Chief Legal Officer at EnterpriseDB – Interview Series

Rob Feldman, Chief Legal Officer, est responsable des fonctions juridiques et de conformité mondiales chez EnterpriseDB. Un dirigeant expérimenté et avocat, il construit des équipes juridiques de haute performance pour soutenir les entreprises de technologie en croissance dans des environnements commerciaux et réglementaires dynamiques. Récemment, il a dirigé une équipe juridique de 45 personnes chez Citrix Systems, Inc. en tant que conseiller général, y compris lors de la transaction de prise de contrôle de plus de 16 milliards de dollars en 2022. Avant Citrix, il a passé plus d’une décennie dans la pratique privée en tant qu’avocat spécialisé dans les litiges de sociétés de technologie, axé sur la défense contre les fraudes boursières, les litiges relatifs à la propriété intellectuelle et les enquêtes gouvernementales et internes. Rob siège également au Conseil juridique du Pacte mondial des Nations Unies, fournissant des conseils stratégiques sur les environnements réglementaires mondiaux pour aider les entreprises à avoir un impact transformateur et à long terme.

EnterpriseDB est une société de logiciels qui fournit des solutions de bases de données de niveau entreprise basées sur PostgreSQL open source, aidant les organisations à exécuter des charges de travail critiques avec de meilleures performances, sécurité et fiabilité. Fondée en 2004, EnterpriseDB propose des plateformes cloud et sur site, un support mondial et des outils de compatibilité Oracle, tout en se concentrant de plus en plus sur les plateformes de données hybrides et prêtes pour l’IA grâce à ses offres Postgres AI.

Étant donné votre longue expérience dans le leadership juridique d’entreprise et la focalisation d’EnterpriseDB sur les Postgres et les plateformes de données souveraines, comment voyez-vous l’évolution de la responsabilité pour les entreprises qui mettent en œuvre des IA agissantes à l’intérieur des infrastructures de données critiques

Le monde de l’IA et des données dépend encore des mêmes principes fondamentaux qui auraient dû gouverner les entreprises bien avant l’arrivée des systèmes agissants : la responsabilité, la retenue et la clarté de la responsabilité.

Dans le passé, ces principes étaient appliqués aux personnes et aux systèmes en grande partie inactifs, tableaux de bord, rapports et outils automatisés qui n’initiaient pas d’actions par eux-mêmes. Les IA agissantes introduisent des systèmes qui se comportent plus comme des participants que des instruments. Ils peuvent agir de manière indépendante, s’adapter avec le temps et interagir de plus en plus avec les humains et les autres agents.

Si une organisation manque de solides disciplines de gouvernance et de contrôle, elle aura du mal dans cet environnement. Les IA agissantes ne créent pas de nouveaux problèmes de responsabilité, mais exposent plutôt ceux qui existent déjà. Pour les entreprises avec des fondations solides, ce changement renforce en fait les pratiques qu’elles suivent déjà, ce que nous décrivons comme un « encadrement numérique ». Pour les autres, c’est un signal clair qu’il faut établir des garde-fous pratiques avant de mettre en œuvre des IA agissantes à grande échelle.

Environ 13 % des entreprises ont atteint ce point d’échelle agissante avec succès. Ils réalisent deux fois plus d’actions agissantes que les autres et obtiennent un retour sur investissement cinq fois supérieur. Mais plus un système d’IA a d’autonomie, plus tôt les organisations doivent affronter la responsabilité. Lorsqu’un agent d’IA achemine une réclamation, déplace de l’argent ou gère de manière incorrecte des données sensibles, la responsabilité suit l’entreprise qui a défini l’environnement, fixé les autorisations et décidé de la liberté dont disposait ce système.

C’est pourquoi les entreprises doivent apporter une surveillance claire à leurs cas d’utilisation d’IA agissante, et pourquoi les organisations sont incitées à se concentrer sur leurs programmes de garde-fous et de gouvernance. L’analogie de la possession de chiens et de l’encadrement numérique est utile. Les chiens ont un certain niveau d’autonomie, agissent de manière indépendante, même parfois de manière imprévisible, mais ils ne sont pas des personnes juridiques. Cette combinaison, l’autonomie sans personnalité morale, est similaire à celle des systèmes d’IA agissants d’aujourd’hui, et les propriétaires doivent comprendre qu’en l’absence de surveillance et de gouvernance, ils supporteront la responsabilité des mauvais résultats.

Comment les entreprises doivent-elles distinguer l’IA d’assistance et l’IA agissante du point de vue juridique et opérationnel avant le déploiement ?

À un niveau simple, la distinction repose sur l’autorité. L’IA d’assistance soutient la prise de décision humaine, tandis que l’IA agissante initie des actions et exécute des décisions. Les deux peuvent influencer les flux de travail et façonner le comportement, par exemple, dans le service client ou la priorisation opérationnelle, mais seuls les systèmes agissants agissent de manière indépendante sur cette influence.

Si un système peut déclencher des flux de travail, approuver les résultats, modifier les états du système ou prendre des mesures sans approbation humaine en temps réel, il doit être traité comme agissant. Cette détermination doit avoir lieu avant le déploiement, car une fois que l’autorité est accordée à un agent, la responsabilité juridique et opérationnelle se déplace avec elle. Les organisations doivent être conscientes de cette distinction pour ne pas découvrir trop tard qu’elles ont délégué par inadvertance le pouvoir de décision, et avec cela, la responsabilité.

Les doctrines juridiques établies telles que la délégation négligente et le principe de responsabilité du supérieur peuvent-elles être appliquées de manière réaliste aux systèmes d’IA autonomes, et où ces cadres commencent-ils à se défaire ?

Ils s’appliquent plus directement que beaucoup ne le supposent. Ces doctrines existent pour aborder les situations où l’autorité est déléguée et où des dommages surviennent, ce qui constitue précisément l’un des défis potentiels introduits par les IA agissantes.

Le problème ne réside pas dans la doctrine juridique, mais dans le fait de savoir si les organisations comprennent la responsabilité qu’elles assument lors du déploiement d’IA autonome, et la nécessité de gouverner ces systèmes en conséquence.

Lorsque les organisations ne définissent pas la portée, les autorisations et la supervision, elles créent une responsabilité juridique. Le problème n’est pas que la loi ne peut pas gérer les IA agissantes, mais plutôt que les entreprises n’ont pas clairement défini ce que leurs systèmes étaient autorisés à faire ou comment ils devaient être gouvernés.

Quelles sont les étapes pratiques que les DSI et les équipes juridiques doivent prendre aujourd’hui pour définir et atténuer la responsabilité lorsqu’il s’agit de flux de travail d’IA qui continuent à apprendre et à s’adapter dans les environnements de production ?

La première étape consiste à traiter le contrôle souverain de l’IA et des données comme une question critique. Les organisations ne peuvent pas gouverner de manière significative la responsabilité si leurs systèmes d’IA et leurs données sont fragmentés à travers des environnements qu’elles ne peuvent pas pleinement observer ou gérer. Les 13 % d’entreprises qui réussissent avec les IA agissantes à grande échelle commencent par cette fondation.

Dans la pratique, cela signifie restreindre l’accès aux données, définir clairement les actions que les agents peuvent effectuer de manière autonome et placer une surveillance humaine autour des décisions à forte incidence. Cela nécessite également un enregistrement et une traçabilité, afin que le comportement puisse être examiné si nécessaire. Les organisations qui adoptent ces mesures tôt réduiront à la fois l’exposition juridique et les frictions opérationnelles plus tard.

Comment recommandez-vous aux entreprises de gouverner ou d’encadrer les IA agissantes par le biais de politiques, de contrôles techniques ou de garanties contractuelles pour réduire le risque de dommages involontaires ?

Le point de départ est la souveraineté. Les entreprises ont besoin d’environnements où leurs systèmes d’IA, leurs données et leur contexte d’exécution sont observables et applicables à grande échelle. La gouvernance ne peut pas reposer uniquement sur la politique. La politique définit les attentes, mais les contrôles techniques déterminent ce que les systèmes peuvent réellement faire, que les données soient au repos ou en mouvement, et comment les modèles sont autorisés à fonctionner.

Certains agents appartiennent à des environnements clôturés avec aucun accès à la production. D’autres peuvent fonctionner avec des autorisations limitées et des seuils d’approbation. Les agents entièrement autonomes devraient être rares et soigneusement supervisés. Les contrats peuvent aider à clarifier la responsabilité, mais ils ne remplacent pas le besoin de contrôle interne et de responsabilité.

Le passage vers des environnements d’IA contrôlés par l’entreprise change-t-il celui qui supporte finalement le risque lorsque un agent d’IA cause des dommages financiers ou opérationnels ?

Non, cela ne change pas celui qui supporte le risque. Cela rend la responsabilité plus claire et, de nombreuses manières, réduit le risque. Lorsque les entreprises contrôlent les données, l’infrastructure et le contexte d’exécution, elles suppriment les variables introduites lorsque les données et les outils sont entre les mains de tiers.

Le contrôle des données et des outils d’IA est une force. La souveraineté donne aux organisations la visibilité et l’autorité nécessaires pour gérer le risque de manière responsable. Sans ce contrôle, les entreprises élargissent leur profil de risque.

À votre avis, quel rôle la transparence et la traçabilité jouent-elles dans la réduction de l’exposition juridique lors de l’exécution d’applications d’IA autonomes ?

Ils sont fondamentaux. La traçabilité transforme les systèmes autonomes en systèmes défendables.

Lorsque des incidents se produisent, les régulateurs et les tribunaux posent des questions pratiques : que savait le système, qu’était-il autorisé à faire et pourquoi a-t-il agi ? Les entreprises qui peuvent démontrer une surveillance et une traçabilité sont dans une très meilleure position par rapport à leurs concurrents qui arrivent les mains vides.

Alors que les directives fédérales sur l’IA continuent d’évoluer, comment les entreprises doivent-elles se préparer aux obligations juridiques différentes au niveau des États liées à la responsabilité de l’IA ?

Les organisations ne peuvent pas attendre que les régulateurs édictent un ensemble de règles détaillées spécifiques à l’IA. Les lois étatiques et fédérales existantes nous donnent 95 % de la clarté dont nous avons besoin pour utiliser l’IA de manière responsable et éviter des événements de responsabilité importants.

Cette clarté inclut la conception de systèmes pour répondre aux normes les plus exigeantes de responsabilité des produits, ce qui inclura nécessairement des choses comme le développement responsable des capacités d’IA, les tests avant la sortie, la transparence et la divulgation des risques, les audits après la sortie, la surveillance humaine et la formation des utilisateurs des capacités d’IA. Ces étapes de base et familières comptent plus que tenter de prédire les résultats réglementaires spécifiques.

Quelles sont les questions les plus importantes que les acheteurs de technologie devraient poser aux fournisseurs sur l’autonomie, la surveillance et la responsabilité avant d’adopter des systèmes d’IA agissants ?

Avec les IA agissantes, la responsabilité repose finalement sur la partie qui autorise l’autonomie. Il faut donc répondre aux quatre principales questions suivantes :

1. Qui contrôle le système en production ?
2. Comment les autorisations sont-elles testées et appliquées ?
3. Comment l’apprentissage est-il limité ?
4. Quelles preuves d’audit sont disponibles si quelque chose se passe mal ?

Si un fournisseur ne peut pas fournir des réponses claires, les entreprises devraient avancer avec prudence. Revenons à l’analogie du chien : les éleveurs sont importants, mais si quelque chose se passe mal, la responsabilité peut reposer sur le propriétaire.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter EnterpriseDB.