Rajan Koo 是 DTEX 的首席技术官和内部调查与情报(i3)团队负责人。他负责开发、实施和运营技术,以防止内部风险成为内部威胁。Rajan 在建立 DTEX 的以隐私为首要的内部风险管理方法方面发挥了至关重要的作用。他还领导了多个高调的内部威胁调查,这些调查导致了成功的起诉和洗清。
多年来,内部风险一直被框定为最坏的情况:恶意员工,盗窃数据,并在事后发现损害。这种框定一直是不完整的。在AI时代,它变得越来越无益。大多数内部风险并不是从恶意开始的。它们始于日常工作:总结一份文件,回答客户,加速工作流程,或更快地发布代码。越来越多的这些日常决定现在都涉及到AI。这就是为什么影子AI很重要。广义上,影子AI是指在未经批准的企业监督下使用AI工具、代理或自动化。在大多数情况下,员工并不是试图规避政策。他们只是想完成工作。真正的问题是,治理并没有跟上工作的变化。这种差距现在是可以衡量的。新的Ponemon研究发现,92%的组织表示,生成式AI已经改变了员工访问和共享信息的方式,但只有18%的组织已经完全将AI治理纳入内部风险管理计划。AI已经融入日常工作中,而监督仍然在赶上。影子AI不是一个问题组织犯下的最大错误之一是将影子AI视为一个单一、统一的风险。它不是这样的。使用AI总结公共研究、将内部合同粘贴到未经批准的助手中以及允许AI代理在企业系统中检索数据或采取行动之间存在着显著的差异。风险取决于数据的敏感性、涉及的自主性水平以及授予系统的权限。这就是为什么全面禁止往往无效的原因。它们往往会将行为推向视线之外,而不是解决使这种行为变得有吸引力的根本条件。但过于宽松的政策也不是更好。 如果一切都是允许的,治理就变得只是一种纸面上的形式。更有效的方法是区分: 低风险辅助,AI支持日常工作,暴露有限 高风险数据处理,敏感信息被输入、转换或共享, 委托权限,AI系统被允许检索、编排或在连接环境中执行操作。 最后一个类别标志着真正的转变。随着AI从内容生成转向检索、编排和执行,安全问题发生了变化。问题不再仅仅是有人使用了未经批准的工具,而是系统被授予了什么权限、可以访问什么数据以及可以对这些数据执行什么操作。AI代理变得更加可信、更加相互连接,并且能够独立执行。正是因为如此,传统的内部风险模型开始显示出其局限性。为什么影子AI具有委托权限会改变风险模型大多数内部风险模型都是为评估人类行为而建立的:疏忽、误用、损害或恶意意图。这些类别仍然很重要,但它们不再能够捕捉到完整的图景。这在影子AI中变得尤为明显,在那里,工具或代理不一定被批准、集中管理或甚至对组织可见。在这些情况下,风险不仅仅是员工使用AI,而是他们可能使用的是一个用户控制的系统,具有业务不完全理解的访问权限、自主性或集成。今天,一个人可能具有合法的访问权限并发出看似日常的指令。但在影子AI场景中,这个指令可能会传递给一个未经批准的助手、插件、代理或工作流程,可以比用户预期的更快、更广泛或更深入地执行该指令。这就是委托权限的真正后果。人类提供意图、访问权限或提示。AI系统以速度、规模和持久性执行。它们共同可以以机器速度放大错误,这是传统控制从未设计为能够包含的。问题不在于AI系统是恶意的,而在于它们可以以机器速度执行有缺陷的指令、弱判断或不安全的工作流程。当该系统位于批准的监督之外时,组织可能对其访问的数据、数据去向、采取的行动或如何在出错时干预几乎没有可见性。这就是为什么影子AI中的委托权限与普通的未经批准的工具使用有着本质的区别。问题不再仅仅是员工将敏感数据粘贴到错误的界面中。它扩展到未经批准的系统检索信息、链接任务、连接到企业应用程序并代表用户采取行动,而没有批准环境通常会强制执行的防护措施。这就是为什么安全团队需要一个更精确的内部风险模型:一个不仅考虑人类行为,还考虑人类意图和机器执行之间的交互作用的模型。影子AI的成本已经显现这不是一个未来问题。成本已经出现在当前的内部风险趋势中。Ponemon的2026年研究发现,与疏忽相关的内部风险成本同比上升了17%,达到1.03亿美元,占年度内部风险总成本的1.95亿美元。该报告将影子AI确定为一个主要的贡献因素,将普通的生产力行为转化为持续的数据暴露源。敏感材料被输入到公共或未经批准的AI工具中。AI记者正在捕获机密会议。代理工具在未经设计的自治交互环境中运行,具有有限的可见性。这些通常不是恶意行为。它们是正常的工作场所行为,在具有弱防护和不完整监督的系统中展开。这就是为什么影子AI如此重要。它不仅仅引入了一种新的风险类别。它通过使小错误更容易重复和更难被发现来增加了疏忽的规模、速度和成本。为什么禁止AI工具不是答案AI工具现在已经太有用、太容易获取,并且太深入地融入日常工作中,无法仅通过禁令来管理。当组织仅依赖禁令时,它们经常将使用推向更不显眼的渠道。更好的回应从可见性开始。安全团队需要了解哪些AI工具正在被使用、哪些数据正在流入这些工具、哪些输出正在被生成以及哪些系统被允许代表用户采取行动。同样重要的是,治理必须反映工作的实际发生方式,而不是政策假设的方式。这意味着将AI治理纳入内部风险管理,而不是将其视为一个单独的合规计划。如果员工和AI系统都在访问、转换和移动信息,那么它们属于同一个可见性、问责制和控制模型。那些做对了这一点的组织将不是那些禁止了最多工具的组织。它们将是那些能够明确区分哪里是负责任的实验,哪里是物质暴露开始的地方的组织。影子AI不是一个暂时的治理麻烦。它是一个早期警告,工作已经比监督更快地发生了变化。现在的挑战不是减慢业务的速度,而是将改进内部风险管理的同样的纪律应用于一个新的运营现实——在这个现实中,人类的判断和机器的执行越来越多地并肩工作。