Subha Ganapathy, Chief IT Security Evangelist at ManageEngine

从工具到内部人员：组织中自主AI身份的崛起

AI已经对每个行业的运营产生了重大影响，带来了改善的结果，提高的生产力和非凡的成果。如今，组织依赖于AI模型来获得竞争优势，做出明智的决定，并分析和策划他们的商业努力。从产品管理到销售，组织正在每个部门部署AI模型，根据特定的目标和目标量身定制它们。AI不再仅仅是业务运营中的辅助工具；它已经成为组织战略和基础设施的不可分割的一部分。然而，随着AI的采用增长，一个新的挑战出现：我们如何在组织的身份框架中管理AI实体？AI作为不同的组织身份AI模型在组织中具有独特身份的概念已经从理论概念演变成了一种必要。组织开始为AI模型分配特定的角色和责任，授予它们与人类员工相同的权限。这些模型可以访问敏感数据，执行任务，并自主做出决定。随着AI模型被纳入组织的身份系统中，它们基本上成为数字员工。就像员工拥有基于角色的访问控制一样，AI模型也可以被分配权限以与各种系统交互。然而，这种AI角色的扩展也增加了攻击面，引入了一种新的安全威胁。组织中自主AI身份的危险虽然AI身份已经为组织带来了好处，但也带来了一些挑战，包括： AI模型中毒： 恶意威胁者可以通过操纵AI模型来注入偏见或随机数据，导致这些模型产生不准确的结果。这对金融、安全和医疗应用程序有着重大的影响。 AI内部威胁： 如果AI系统被泄露，它可以作为内部威胁，可能是由于无意的漏洞或对抗性操纵。与传统的内部威胁涉及人类员工不同，AI内部威胁更难被检测，因为它们可能在其分配的权限范围内运行。 AI发展独特的“个性”： AI模型，经过多样化的数据集和框架的训练，可以演变成不可预测的方式。虽然它们缺乏真正的意识，但它们的决策模式可能会偏离预期的行为。例如，一个AI安全模型可能开始错误地标记合法交易为欺诈或相反，当它暴露在误导性的训练数据时。 AI泄露导致身份盗窃：就像被盗的凭证可以授予未经授权的访问一样，劫持AI身份可以用来绕过安全措施。当一个具有特权访问的AI系统被泄露时，攻击者获得了一个非常强大的工具，可以在合法凭证下运行。 管理AI身份：应用人类身份管理原则为了减轻这些风险，组织必须重新思考如何在其身份和访问管理框架中管理AI模型。以下策略可以帮助： 基于角色的AI身份管理： 将AI模型视为员工，建立严格的访问控制，确保它们只具有执行特定任务所需的权限。 行为监控： 实施AI驱动的监控工具来跟踪AI活动。如果AI模型开始表现出超出预期参数的行为，应触发警报。 零信任架构适用于AI： 就像人类用户需要在每个步骤进行身份验证一样，AI模型也应不断被验证，以确保它们在其授权范围内运行。 AI身份撤销和审计： 组织必须建立程序来动态地撤销或修改AI访问权限，特别是在出现可疑行为时。 分析可能的眼镜蛇效应有时，解决问题的方法只会使问题变得更糟糕，这种情况在历史上被称为眼镜蛇效应——也被称为反向激励。在这种情况下，虽然将AI身份纳入目录系统解决了管理AI身份的挑战，但也可能导致AI模型学习目录系统及其功能。从长远来看，AI模型可能会表现出非恶意的行为，但仍然容易受到攻击，甚至可能在响应恶意提示时泄露数据。这会产生一个眼镜蛇效应，即试图控制AI身份的尝试反而使它们能够学习目录控制，最终导致这些身份变得无法控制的情况。例如，一个集成到组织自主SOC的AI模型可能会分析访问模式并推断出访问关键资源所需的权限。如果没有适当的安全措施，如此系统可能能够修改组策略或利用空闲帐户来获得对系统的未经授权的控制。平衡智能和控制最终，很难确定AI采用将如何影响组织的整体安全状况。这主要是由于AI模型可以学习、适应和行动的规模取决于它们消耗的数据。从本质上讲，模型变成它所消耗的东西。虽然监督学习允许进行受控和指导的训练，但它可能会限制模型适应动态环境的能力，可能使其变得僵化或过时，无法适应不断变化的运营环境。相反，无监督学习授予模型更大的自主权，增加了它探索多样化数据集的可能性，包括可能不在其预期范围内的数据集。这可能会以意想不到的或不安全的方式影响其行为。挑战在于平衡这种悖论：约束一个本质上不受约束的系统。目标是设计一个功能性和适应性的AI身份，而不使其完全不受限制，赋予其权力但不使其失控。未来：有限自主AI？鉴于对AI的日益依赖，组织需要对AI自主权施加限制。虽然AI实体在近期内完全独立的可能性不大，但受控自主性，即AI模型在预定义范围内运行，可能会成为标准。这种方法确保AI提高效率的同时尽量减少意外的安全风险。不出意料的是，监管机构将制定特定的合规标准来规范组织如何部署AI模型。主要重点将——也应该——放在数据隐私上，特别是对于处理关键和敏感的个人可识别信息（PII）的组织。虽然这些场景可能看起来很推测，但它们并非不可能。组织必须在AI成为其数字生态系统中的资产和负担之前，积极应对这些挑战。随着AI演变为运营身份，保护它必须成为首要任务。