访谈
企业DB首席法律官罗伯·费尔德曼 – 采访系列
罗伯·费尔德曼，企业DB首席法律官，负责公司全球法律和合规职能。作为一位经验丰富的高管和律师，他建立了高绩效的法律团队，以支持在动态商业和监管环境中发展的科技公司。最近，他曾在Citrix Systems, Inc.担任总法律顾问，领导一个45人的法律团队，包括公司2022年的160亿美元私有化交易。在加入Citrix之前，他在私人执业中度过了十多年，专注于科技公司的证券欺诈防御、知识产权纠纷和政府及内部调查。罗伯还在联合国全球契约法律委员会任职，为企业提供全球监管环境的战略指导，以帮助企业实现转型和长期影响。
企业DB是一家软件公司，提供基于开源PostgreSQL的企业级数据库解决方案，帮助组织以更高的性能、安全性和可靠性运行关键任务工作负载。成立于2004年，企业DB提供云端和本地平台、全球支持和Oracle兼容工具，同时越来越注重通过其Postgres AI产品提供AI就绪和混合数据平台。
考虑到您在企业法律领导方面的丰富经验和企业DB对企业级Postgres和主权AI及数据平台的关注，您如何看待公司在关键数据基础设施中运用代理AI的责任演变
代理AI和数据的世界仍然依赖于应该早已支配企业的核心原则：责任、克制和责任明确。
过去，这些原则适用于人员和基本上是非活跃的系统、仪表盘、报告和自动化工具，它们不会自行启动行动。代理AI引入了更像参与者而非工具的系统。它们可以独立行动，随时间演变，并越来越多地与人类和其他代理交互。
如果一个组织缺乏强大的治理和控制纪律，它将在这种环境中挣扎。代理AI并没有创造新的责任问题，而是暴露了现有的问题。对于具有坚实基础的企业来说，这一转变实际上加强了他们已经遵循的做法，我们称之为“数字约束”。对于其他企业来说，这是一个明确的信号，表明在大规模运用代理AI之前，需要建立实际的防护措施。
只有大约13%的企业成功地实现了代理AI的规模。他们执行的代理AI数量是其他企业的两倍，并获得了5倍的投资回报率。但是，AI系统的自主性越高，组织就越需要尽早面对责任。当AI代理路由请求、转移资金或处理敏感数据时，责任归于定义环境、设置权限并决定该系统有多少自由的企业。
这就是为什么公司需要为其代理AI使用案例带来明确的监督，并且为什么组织有动力关注他们的防护措施和治理计划。养狗和数字约束的类比很有用。狗有一定的自主性，独立行动，尽管有时不可预测，但它们不是法律人。这种组合，即自主性而非人格性，类似于今天的代理AI系统，所有者必须了解，如果没有监督和治理，他们将承担不良后果的责任。
企业如何从法律和运营角度区分辅助AI和代理AI在部署之前
从简单的层面来看，区别在于权威。辅助AI支持人类决策，而代理AI启动行动并执行决策。两者都可以影响工作流程和行为（例如，在客户服务或运营优先级方面），但只有代理系统独立地采取行动。
如果一个系统可以触发工作流程、批准结果、修改系统状态或在没有实时人类批准的情况下采取行动，则应将其视为代理。这种确定需要在部署之前发生，因为一旦代理获得权威，法律和运营责任也会随之转移。组织必须注意这一区别，以免他们过晚发现自己无意中委托了决策权，并随之承担了责任。
现有的法律原则，例如疏忽委托和上级责任，是否可以在实际上应用于自主AI系统，哪里是这些框架开始出现问题的地方
它们比许多人认为的更直接适用。这些原则是为了解决当权力被委托并且发生损害的情况而制定的，这恰恰是代理AI引入的潜在挑战之一。
问题不在于法律原则，而在于组织是否理解在部署自主AI时所承担的责任，以及需要相应地管理这些系统的必要性。
当组织未能定义范围、权限和监督时，他们就会产生法律责任。问题往往不是法律无法处理代理AI，而是企业没有明确定义他们的系统被授权做什么或如何被管理。
CIO和法律团队今天应该采取什么实际步骤来定义和减轻AI工作流程在生产环境中继续学习和适应时的责任
第一步是将对AI和数据的主权控制视为关键任务。组织如果无法完全观察或管理其AI系统和数据，就无法有效地管理责任。成功实施代理AI的13%的企业从这一基础开始。
在实践中，这意味着限制数据访问、明确定义代理可以自主执行的操作，并在高影响力决策周围提供人类监督。它还需要日志记录和可追溯性，以便在需要时可以审查行为。采用这些措施的组织将降低法律风险和运营摩擦。
您建议企业如何通过政策、技术控制或合同保障来约束或管理代理AI，以减少意外损害的风险
起点是主权。企业需要一个环境，其中他们的AI系统、数据和执行上下文可以在规模上观察和执行。治理不能仅仅依赖于政策。政策设定了期望，但技术控制决定了系统实际上可以做什么，无论数据是静态的还是动态的，以及模型如何被允许运行。
一些代理属于带有无生产访问权限的围栏环境。其他代理可能具有有限的权限和批准阈值。完全自治的代理应该很少见，并且应该受到仔细的监督。合同可以帮助澄清责任，但它们不能取代内部控制和责任的需要。
企业控制或主权AI环境的转变是否改变了当AI代理造成财务或运营损害时谁最终承担风险
它不会改变谁承担风险。它使责任更加明确，并在很多方面降低了风险。当企业控制数据、基础设施和执行上下文时，他们消除了第三方控制数据和工具时引入的变量。
对数据和AI工具的控制是一种优势。主权为组织提供了管理风险所需的可见性和权威。没有这种控制，企业就会扩大其风险状况。
从您的角度来看，透明度和可审计性在运行自主AI应用程序时如何减少法律风险
它们是基础的。可审计性使自主系统成为有辩护的系统。
当事件发生时，监管机构和法院会提出实际问题：系统知道什么，它被授权做什么，以及为什么它会采取行动？能够证明监督和可审计性的企业处于一个远更强的位置，相比那些空白的对手来说，他们的对手。
随着联邦AI指导继续演变，公司如何为与AI责任相关的不同州级法律义务做好准备
组织不能等待监管机构颁布一套针对AI的详细规则。现有的州和联邦法律为我们提供了95%的清晰度，以便我们能够负责任地使用AI并避免重大责任事件。
这种清晰度包括设计满足最严格的产品责任标准的系统，这将包括开发AI能力的责任、发布前测试、透明度和风险披露、发布后审计、人类监督和AI能力用户的培训。这些基本且熟悉的步骤比试图预测特定的监管结果更重要。
技术买家在采用代理AI系统之前应该向供应商询问关于自主性、监督和责任的最重要问题是什么
代理AI的责任最终归于授权自主性的当事方。因此，四个主要问题是：
- 谁控制生产中的系统？
- 如何测试和执行权限？
- 如何约束学习？
- 如果出了问题，什么审计证据可用？
如果供应商无法提供明确的答案，企业应该谨慎行事。回想一下养狗的类比：饲养员很重要，但如果出了问题，责任可能归于主人。
感谢您接受这次精彩的采访，希望了解更多的读者请访问企业DB。
