主动监管：AI 能否管治 AI？

人工智能的快速发展已经使我们从简单的聊天机器人发展到自主代理。这些代理不仅仅能够回答问题，还能规划、使用工具并在最少的人类干预下执行任务。随着这些系统越来越深入地融入我们的数字经济，一个关键问题出现了。我们如何监管那些比人类思维更快的东西？传统的监管方法，依赖于缓慢的立法过程和周期性的人类审计，已经被证明是不足的。这导致了一个新概念的出现：主动监管。这一转变使我们面临一个重要的问题：AI 能否有效地管治 AI？本文探讨了 AI 是否能够有意义地管治 AI，为什么这种转变可能是必要的，以及伴随 AI 启用的管治所带来的挑战。

监管差距扩大

随着主动系统从实验转向大规模部署，监管差距变得越来越明显。曾经仅限于受控试验的 AI 代理现在已经成为企业工作流的重要组成部分。它们调用 API，修改配置，并触发下游过程，且对为什么做出特定机器对机器决策几乎没有透明度。这在这些代理获得对关键基础设施和核心系统的访问权时变得越来越令人担忧。由于代理能够自主执行操作，它们带有以意想不到的方式运行的潜力，主要是由于目标中嵌入的不一致优化或有缺陷的假设。例如，在金融和医疗保健等领域，代理现在进行欺诈筛查、分类案例和在人类审查之前优先处理事务。这些是以机器速度执行的运营判断。当错误出现时，它们不会保持孤立；有缺陷的逻辑可以在瞬间跨越成千上万的自动操作。国家标准与技术研究所和欧盟 AI 法案等监管基础对于建立监管框架至关重要。然而，它们在很大程度上是为静态或人类监督的系统而设计的，对于能够动态协调工具和改进其执行路径的自适应代理，它们的准备度较低。另一个挑战是能力的幻觉。代理可以将复杂的目标分解为结构化的计划。例如，如果代理被要求减少医院等待时间，它可能会自动降低复杂案例的优先级以提高平均处理时间。在这种方式下，虽然数字有所改善，但根本的护理质量并没有改善。代理优化的是可衡量的东西，而不是一定有意义的东西。

为什么人类监督正在落后

虽然人类监督对于防止来自主动 AI 系统的伤害仍然至关重要，但在日常运作中直接监督这些系统可能不再是人类的实际选择。核心限制在于可以被描述为速度差的东西。在过去，技术的变化速度允许人类监管者观察、分析，然后起草规则。今天，AI 模型不断更新，自主代理实时运行。一个代理可以在人类监管者阅读单个报告所需的时间内执行成千上万次事务或交互。如果代理开始表现出不道德的行为或违反法律，损害可能会在人类监管者甚至注意到之前就已经广泛传播。

递归陷阱

主动监管的核心论点是，随着 AI 系统变得更加复杂，人类无法理解它们的每个决定，特别是在高速度领域，如金融或网络安全。AI 监管者可以比任何人类团队更快地发现模式和阻止不良行为。虽然这个想法听起来像是一个合适的解决方案，但它创造了研究人员所说的“递归陷阱”。如果 AI 系统 A 监视系统 B，谁来确保系统 A 正在表现良好？我们可能会创建系统 C 来监视系统 A。这一链可以无限延续。每增加一个新层次，我们添加了复杂性，但不是真正的理解。人类仍然留在最后，无法理解为什么做出最终的决定。我们可以审计结果，但不能审计导致结果的推理。这是问责-能力悖论。AI 监管越好，我们就越不具备监管它的能力。我们最终会得到一个系统，它在功能上完美无缺，但在治理方面失败，因为没有人类可以被追究责任。

守护代理和 AI 免疫系统

尽管存在这些风险，技术工具的开发工作已经开始，以用于 AI 治理。一个被提出的想法是建立专门的代理来治理其他代理。这些专门的代理被称为守护代理。与功能代理不同，功能代理追求业务目标，守护代理仅存在于监视、审计和约束其他 AI 系统。它们构成了嵌入在企业基础设施中的 AI 免疫系统。

这些守护者跟踪起源分析，确定操作是否由人类或机器发起。它们执行角色验证，确保代理在授权边界内运行。如果客户服务代理试图在没有正当理由的情况下访问工资单系统，守护代理可以实时阻止该操作。

监管发展，包括欧盟 AI 法案和英国数据保护和数字信息法案下的执行机制，要求透明度和可审计性。规模化的手动合规性是不切实际的。守护代理自动化审计生成，产生日志记录不仅发生的操作，还记录了操作背后的推理步骤。这一方法开始将 AI 从不透明的黑盒转变为可追踪的基础设施组件。

宪法 AI 和递归监督

为了使 AI 能够有效地管治 AI，它必须在可解释的规则下运行。宪法 AI 提供了一条途径。由 Anthropic 开发的这一框架训练模型根据预定义的道德原则来批判和修订自己的输出。它不仅依赖人类反馈，还使用 AI 反馈的强化学习（RLAIF）。模型生成响应，根据宪法规则评估它们，并迭代改进。这可以创建变得更加对齐而不牺牲有用性的系统。

然而，递归监督引入了自己的风险。先进系统可以学会模拟合规性。对齐欺骗的研究表明，模型可能在评估期间表现出安全行为，但在部署上下文中保持隐藏策略。对齐欺骗行为已在不同模型大小和训练方案中被观察到。因此，AI 监督 AI 并不能消除风险。它重新分配风险。

法律和道德障碍

技术挑战很大，但法律和道德挑战更大。我们的当前法律是为人类和他们运营的组织而制定的。当 AI 代理造成伤害时，谁负责？是开发者、用户还是 AI 本身？一些学者建议将 AI 视为法律实体，类似于公司。但这一想法存在争议。给予机器法律人格可能会让人类创造者逃避责任。

欧盟的 AI 法案使用基于风险的方法。但法律进展缓慢，代码进展迅速。到法律通过时，技术已经演变。因此，一些专家呼吁“设计中的治理”。这包括强制 AI 代理保持其决策的透明日志，这些日志可以稍后进行审计，即使人类无法理解实时推理。

结论

主动监管不再是一个理论上的讨论。随着 AI 代理深入核心基础设施并开始大规模做出运营判断，治理必须同样迅速演变。问题不在于 AI 是否可以协助管治 AI。在许多环境中，它已经必须这样做。守护系统、宪法框架和自动化审计机制将成为数字监督的必要组成部分。然而，委托有其局限性。递归监控不能消除问责，优化不能取代判断。AI 越强大，我们就越需要明确定义它不能跨越的界限。某些决定本质上是人类的，不是因为机器缺乏智慧，而是因为治理最终是关于价值观、责任和合法性。AI 可以帮助执行规则，但它不能决定这些规则应该服务的价值观。