从工具到内部人员：组织中自主人工智能身份的兴起

人工智能对各行各业的运营产生了重大影响，带来了更佳的业绩、更高的生产力和非凡的成果。如今，企业依靠人工智能模型来获得竞争优势、做出明智的决策，并分析和制定业务战略。从产品管理到销售，企业正在各个部门部署人工智能模型，并根据特定的目标进行定制。

人工智能不再仅仅是业务运营的辅助工具，而是成为组织战略和基础设施不可或缺的一部分。然而，随着 人工智能的采用率不断增长，一个新的挑战出现了：我们如何在组织的身份框架内管理人工智能实体？

人工智能作为独特的组织身份 

人工智能模型在组织内拥有唯一身份的想法已经从理论概念演变为现实。组织开始为人工智能模型分配特定的角色和职责，并授予它们与人类员工相同的权限。这些模型可以访问敏感数据， 执行任务并自主做出决策。

随着AI模型以不同的身份加入，它们本质上成为了员工的数字化对应者。正如员工拥有基于角色的访问控制一样，AI模型也可以被分配权限与各种系统交互。然而，AI角色的扩展也扩大了攻击面，带来了新的安全威胁。

组织中自主人工智能身份的风险

虽然人工智能身份为组织带来了好处，但也带来了一些挑战，包括：

• AI模型中毒： 恶意威胁行为者可以 操纵人工智能模型 通过注入有偏差或随机的数据，导致这些模型产生不准确的结果。这对金融、安全和医疗保健应用产生了重大影响。
• 来自人工智能的内部威胁： 如果人工智能系统受到攻击，它可能会构成内部威胁，这可能是由于无意的漏洞或对抗性操纵造成的。与涉及人类员工的传统内部威胁不同，基于人工智能的内部威胁更难检测，因为它们可能在其分配的权限范围内运行。
• 人工智能发展独特的“个性”： 在不同数据集和框架上训练的人工智能模型， 可以进化 以不可预测的方式。虽然它们缺乏真正的意识，但它们的决策模式可能会偏离预期行为。例如，当接触到误导性的训练数据时，AI安全模型可能会错误地将合法交易标记为欺诈交易，反之亦然。
• 人工智能入侵导致身份盗窃：正如被盗凭证可以授予未经授权的访问权限一样， 劫持人工智能 身份信息可以用来绕过安全措施。当拥有特权访问权限的人工智能系统被攻破时，攻击者就获得了一个可以在合法凭证下运行的极其强大的工具。

管理人工智能身份：应用人类身份治理原则 

为了降低这些风险，组织必须重新思考如何在其身份和访问管理框架内管理AI模型。以下策略可以提供帮助：

• 基于角色的AI身份管理： 通过建立严格的访问控制来对待人工智能模型，就像对待员工一样，确保它们只有执行特定任务所需的权限。
• 行为监控： 实施人工智能驱动的监控工具来追踪人工智能活动。如果人工智能模型开始表现出超出其预期参数的行为，则应触发警报。
• 人工智能的零信任架构： 正如人类用户在每一步都需要身份验证一样，人工智能模型也应该不断验证，以确保它们在授权范围内运行。
• AI身份撤销和审计： 组织必须建立程序来动态撤销或修改人工智能访问权限，尤其是在应对可疑行为时。

分析可能的眼镜蛇效应

有时，问题的解决方案只会使问题变得更糟，这种情况在历史上被称为“眼镜蛇效应”，也被称为“反常激励”。在这种情况下，将AI身份纳入目录系统虽然解决了管理AI身份的挑战，但也可能导致AI模型学习目录系统及其功能。

从长远来看，AI 模型可能会表现出非恶意行为，但仍然容易受到攻击，甚至在响应恶意提示时泄露数据。这会产生“眼镜蛇效应”，即试图控制 AI 身份反而会让它们学习目录控制，最终导致这些身份变得无法控制。

例如，集成到组织自主SOC的AI模型可以分析访问模式并推断访问关键资源所需的权限。如果没有适当的安全措施，这样的系统可能会修改群组策略或利用休眠账户来获取未经授权的系统控制权。

平衡智力与控制

归根结底，很难确定人工智能的采用将如何影响组织的整体安全态势。这种不确定性主要源于人工智能模型学习、适应和行动的规模，而这完全取决于它们所摄取的数据。本质上，模型会变成它所消耗的数据。

虽然监督学习允许进行控制和引导训练，但它可能会限制模型适应动态环境的能力，从而可能使其在不断发展的操作环境中变得僵化或过时。

反过来， 无监督学习 赋予模型更大的自主性，增加了它探索不同数据集的可能性，甚至可能包括超出其预期范围的数据集。这可能会以非预期或不安全的方式影响其行为。

因此，挑战在于平衡这一悖论：约束一个本质上不受约束的系统。我们的目标是设计一个功能齐全、自适应性强的人工智能身份，但又不完全不受限制，赋予其权力，但又不完全不受制约。

未来：自主性有限的人工智能？ 

鉴于对人工智能的依赖日益加深，组织需要对人工智能的自主性进行限制。虽然人工智能实体在短期内不太可能完全独立，但受控自主性（即人工智能模型在预定范围内运行）可能会成为标准。这种方法可以确保人工智能在提高效率的同时，最大限度地降低不可预见的安全风险。

监管机构制定具体的合规标准来规范组织机构如何部署人工智能模型，这并不令人意外。首要关注点应该放在数据隐私上，尤其是对于处理关键敏感个人身份信息 (PII) 的组织而言。

虽然这些场景看似推测，但并非不可能。企业必须积极应对这些挑战，以免人工智能在其数字生态系统中成为既有的资产，又有的负债。随着人工智能逐渐演变为一种运营身份，保护其安全必须成为重中之重。