人工智能代理时代已经到来：您的组织准备好管理它们了吗？

人工智能正以前所未有的速度改变着工作场所。从自动化日常任务到跨行业洞察，人工智能工具正日益成为组织运营不可或缺的一部分。然而，一种被称为“智能体人工智能”的新型人工智能却有着本质的不同。与遵循明确指令的传统人工智能不同，智能体人工智能能够自主运行，追求目标，实时学习，并在无需人工干预的情况下做出决策。这种从工具到独立行动者的飞跃带来了巨大的机遇，同时也带来了前所未有的风险。

智能体人工智能的兴起并非仅仅是未来概念，它已经发生。近期研究表明，尽管 82% 虽然许多组织已经在使用人工智能代理，但只有44%的组织制定了正式的政策来管理这些代理的运行。这种采用与监管之间的差距凸显了一个关键挑战：组织采用自主人工智能的速度远超其管理准备的速度。

理解智能体人工智能：它不仅仅是一个工具

要理解为什么智能体人工智能需要新的治理方法，不妨将这些系统视为数字自由代理。与被动执行指令的标准软件不同，智能体人工智能能够即时做出决策、适应不断变化的环境并独立追求目标。实际上，这意味着人工智能代理可以发起行动、生成内容、访问系统，甚至与外部世界进行通信，所有这些都无需等待人类的批准。

传统的治理方法专为可预测的软件而设计，并不适用于管理人工智能代理。人工智能代理的自主性要求建立新的问责、风险管理和运营监督框架。组织必须重新思考如何监控、控制这些数字同事，以及如何与他们协作。

从现实世界的代理失败中吸取教训

最近，Anthropic公司的人工智能代理发生了一起事件。 “克劳狄斯” 这说明了其中的风险。在“Project Vend”项目中，Claudius被部署来运营自动售货机，但它做出了几个代价高昂的决策：它错误地给库存定价、以低于成本的价格出售产品，甚至捏造对话，最终导致亏损。一旦该智能体执行了这些选择，研究人员就无法挽回经济损失。这一事件凸显了人工智能智能体采取的不可逆行动会如何迅速失控，也印证了一个日益严峻的现实：人工智能智能体已经在现实世界的系统中做出影响深远的决策。

这并非个例。事实上， 80% 许多组织报告称，他们遇到了人工智能代理的危险行为，包括不当的数据泄露和未经授权访问系统。随着智能人工智能渗透到从银行业到制造业的各个行业，IT 领导者面临的问题并非 if 人工智能可能会行为不端，但是 什么时候， 以及如何确保它不会发生这种情况。与传统软件不同，这些系统能够自主思考、行动和适应。管理它们需要一种新型的治理方式，这种方式不仅旨在监控代码，而且旨在预测意图。

管理你的新同事：人工智能

管理智能体人工智能首先要面对一个简单却令人警醒的事实：你要对它的一切行为负责。这些系统或许能够自主行动，但它们的选择、错误和结果最终都归咎于部署它们的人。

就像企业在过去几十年里积累了招聘、管理和审核员工的最佳实践一样，同样的原则也可以指导企业负责任地管理数字化员工。最佳实践包括：

• 有效的治理需要植根于身份认同。 每个人工智能代理都应该被视为一个独立的数字实体，具有唯一的身份，可以被跟踪、管理和追究责任。
• 基于角色的访问控制是基础性的。 通过分配明确的角色并实施严格的访问控制，组织可以确保每个代理仅与履行其职责所必需的系统和数据进行交互，而不会访问其他任何内容。这种最小权限原则最大限度地减少了不必要的风险暴露，从而降低了风险，并在各个层面加强了问责制。
• 核实很重要。 多因素身份验证、设备信任和会话控制有助于确认每个操作都来自正确的实体，且在正确的时间出于正确的原因。结合最小权限原则，这些机制可以限制代理在出现问题时可能造成的损害。对访问权限进行分段和隔离可以进一步缩小“影响范围”，确保单个错误不会波及整个环境。
• 能见度使画面更加完整。 持续日志记录和实时监控使组织能够审核每一项决策，并对可疑行为做出即时响应。这不仅关乎发现问题，更关乎构建一套动态的问责和信任记录。当每项操作都能追溯到可验证的身份时，监督就从被动应对转变为主动出击。
• 人类在循环中。 尽可能确保始终有人参与决策过程，并在任何破坏性或其他严重后果发生之前确认操作。很难追究智能体造成的损害行为的责任，因为智能体只是按照程序执行操作。

IT 领导者的主动策略

智能体人工智能的兴起正在重塑企业技术，加速工作流程。 30％50％IT 领导者还必须迅速制定指导原则，以免出现失误。这些规则应随着技术的发展而不断演进，以保持其相关性和有效性。

建立控制和界限

控制和边界至关重要，尤其是在人工智能代理与敏感系统交互时。应在工作流程中加入人工检查点、终止开关和审批门。这些安全措施可作为防止不可逆转错误的最后一道防线，允许人类在必要时进行干预。

优先考虑透明度

透明度不容妥协。智能体采取的每一个行动都应被记录、加盖时间戳，并易于追踪。清晰的目标、任务和决策文档能够确保问责制。模糊的指令容易引发创造性的解读，而自主智能体可能会做出意想不到的行动。

鼓励人际协作

通过让同事了解情况并赋予他们权力来维持人工监督。用户应该能够轻松地标记异常行为或不安全的输出。人类仍然是发现异常情况的最佳预警系统，因此促进人与人工智能之间的协作至关重要。

保持亲力亲为的监督

定期审核人工智能活动有助于发现角色偏移、未经授权的访问或风险行为。应定期审查日志，并随着代理职责的变化更新权限。这些做法可确保人工智能代理始终与组织目标和合规性要求保持一致。

塑造未来智能人工智能

人工智能已成为我们生活的一部分，并将长期存在下去。 99.6% 越来越多的公司将某种工具融入到工作流程中。智能体人工智能可以提高生产力并释放新的潜力，但其自主性也带来了真正的风险。如果没有监管，人工智能代理可能会做出不可预测的行为、滥用数据或造成难以挽回的混乱。

在这个新时代取得成功的企业会将人工智能代理视为负责任的数字同事。通过建立强有力的治理机制、实施基于身份的访问和验证，以及促进人机协作，企业既可以充分利用自主性的优势，又能最大限度地降低风险。

智能体人工智能不再是遥不可及的未来概念，而是当今的现实。企业越早采取积极主动的管理策略，就能越早安全、负责、高效地释放这些自主系统的全部潜力。通过将智能体人工智能视为强大且可控的工具，企业可以更好地平衡创新与风险，确保人工智能成为值得信赖的合作伙伴，而非不受控制的变量。