Russell Spitler, Nudge Security 联合创始人和 CEO Russell Spitler Nudge Security 联合创始人和 CEO

人们没有关注的AI数据泄露风险正在明显增加

大多数关于企业AI风险的讨论都从一个熟悉的担忧开始：员工将客户数据粘贴到聊天机器人中。隐私和监管暴露占据了头条新闻和董事会议，并且来自德勤的研究表明，数据隐私和安全在企业担心的AI风险中排名靠前。然而，来自实际企业使用的数据告诉了一个不同的故事。流入AI工具的最常见的敏感信息不是个人数据，而是秘密和凭证。API密钥、访问令牌、Webhook和身份验证工件现在占据了在AI提示中观察到的敏感数据泄露的最大份额。这些泄露很少来自于粗心大意或恶意意图，而是来自于日常工作，例如调试失败的集成、故障排除、测试代码或解决客户问题。随着AI被嵌入到日常工作流中，这些时刻不断发生，往往在传统安全控制的可见范围之外。后果很明显。随着AI的采用扩展，组织正在获得对真正风险的更准确的认识，治理必须演变以应对这些风险。被忽视的AI数据泄露风险正隐藏在明显之中最近由Nudge Security进行的AI使用分析研究了企业环境中的匿名遥测数据，以了解AI工具实际上如何在工作场所中使用。该研究分析了观察到的AI活动、集成和提示行为，跨越企业SaaS生态系统，而不是依赖于调查或自我报告。研究结果提供了新的见解，揭示了AI风险在企业使用中实际上是如何出现的。AI提示中的敏感数据泄露主要是由操作凭证引起的。秘密和凭证占检测到的敏感数据事件的约48%，而财务数据占36%，健康相关信息占16%。这些模式表明，AI数据泄露的最大挑战不是隐私泄露，而是秘密扩散。同一研究表明，AI采用已经超出了实验阶段。AI工具被嵌入到工作流中，与核心业务平台集成，并且越来越能够自主行动。主要的大型语言模型提供商几乎已经无处不在，OpenAI出现在96%的组织中，Anthropic出现在78%的组织中。麦肯锡的研究发现，88%的组织报告称至少在一个业务功能中定期使用AI，相比之下，去年为78%。会议智能工具、AI辅助编码平台、演示文稿生成器和语音技术被广泛部署，反映了AI从聊天界面扩展到日常工作流的程度。这一扩展很重要，因为风险跟随着使用。随着AI被嵌入到开发环境、协作平台和客户支持工作流中，它接近了敏感系统和操作数据。采用也来自底层。KPMG最近的一项研究发现，44%的员工以未经雇主授权的方式使用AI工具，反映了这些工具如何迅速进入日常工作流。员工安装浏览器扩展、连接助手并尝试集成以加速日常任务，通常在集中采购流程之外。安全分析师将这种模式描述为“影子AI”，其中工具在浏览器和SaaS工作流中运行，超出了传统IT的可见范围。由于这些工具可以瞬间部署，并且需要最少的技术设置，围绕供应商批准流程和可接受使用政策建立的治理计划难以跟上AI在整个企业中实际引入和使用的方式。泄露的秘密如何造成立即的操作风险个人数据仍然敏感且受监管，但秘密带有立即的操作影响。泄露的API密钥可以提供对生产系统的访问。损坏的令牌可以暴露存储库。Webhook URL可以启用未经授权的自动化。凭证经常在AI提示中出现，尤其是在日常工作流中。开发人员在调试身份验证失败时将令牌粘贴到聊天界面中，工程师可能会共享配置代码段以诊断集成问题。这些行为并不罕见。秘密嵌入在技术工作流中，并出现在日志、脚本、配置文件和自动化输出中。当团队在压力下快速解决问题时，他们可能会在没有考虑到敏感数据的情况下共享这些工件。AI界面放大了这种行为。提示鼓励上下文共享。文件上传支持更丰富的故障排除。集成工作流使得在系统之间移动数据变得容易。Nudge Security的研究发现，17%的提示包括复制和粘贴活动或文件上传。在这种环境中，敏感凭证可以在几秒钟内被泄露。传统治理忽略了行为风险AI治理计划通常专注于正式控制，例如政策和批准工具。这种方法假设风险源于滥用或模型行为。在实践中，最重要的暴露发生在日常工作流中，由善意的员工执行。AI领域正在迅速发展，每天都有新技术发布。随着您的员工使用最新工具，他们能够绕过传统的网络控制方法，因为他们无法跟上AI的快速发展。浏览器允许直接观察上下文行为，这为跟上现代工作不断演变的环境提供了必要的灵活性。这种脱节解释了为什么组织可以实施强有力的政策，但仍然经历敏感数据泄露。政策建立了期望。行为决定了结果。有效的治理需要对AI工具的实际使用情况有可见性，并且需要在数据共享时提供安全的护栏。集成和代理扩大了暴露范围AI工具的风险配置文件由其可以访问的内容决定。集成创建了系统之间的可信路径。OAuth授权、API令牌和服务帐户使AI工具能够检索文档、更新票据或与代码存储库交互。关于企业AI采用率的研究强调了集成实际上定义了暴露范围。配置错误的权限或损坏的令牌可以暴露整个文档存储库或开发环境，因为可信连接可以以机器速度移动数据。代理AI引入了额外的复杂性。早期部署通常优先考虑功能而不是最小权限。实验期间授予的权限可能会在初始使用案例演变后长期保留。随着时间的推移，这些积累的权限会产生沉默风险。安全团队必须将集成和代理权限视为持久的访问决策，而不是临时便利。安全团队现在应该做什么减少AI工作流中的秘密泄露需要从反应性控制转变为反映实际工作流程的治理。安全领导者可以从以下实用步骤开始，以提高可见性、指导更安全的行为并减少暴露而不影响生产力： 绘制AI交互发生的位置。 确定数据进入AI工具的环境，包括浏览器扩展、开发环境、自动化平台和聊天界面。持续可见性为有效治理提供了基础。 在决策时刻进行干预。 实施秘密扫描、编辑提示和及时警告，当用户即将共享凭证或敏感工件时，提醒用户。及时的指导可以减少意外暴露，同时保持工作流速度。 以与OAuth应用相同的严谨性应用集成治理。 审查连接到电子邮件、文档、票务系统和存储库的AI工具。强制执行最小权限范围，并定期审查权限以减少长期暴露风险。 为故障排除和支持创建更安全的工作流。 提供编辑模板、安全连接器和内部工具，以分析日志或配置文件，使团队能够在不暴露实时凭证的情况下使用AI进行问题解决。 为基于代理的自动化建立护栏。 要求对高影响力操作进行人工批准，集中记录代理活动，并使用范围令牌来防止权限扩散和意外自动化。 使培训扎根于实际工作流。 教育最有效的是当它反映常见任务时，例如调试集成、审查日志或上传文件。实际示例帮助员工在风险出现时识别风险。 这些措施使治理与日常工作保持一致，允许组织在支持AI采用驱动的生产力增益的同时减少秘密泄露。从AI政策到AI行为治理AI正在从生产力工具演变为现代工作中的一层运营层，融入日常工作，研究表明AI代理现在嵌入到企业工作流中，预计任务特定代理将出现在大部分企业应用程序中。随着采用率加深，主要风险超出了隐私违规或模型滥用，源于人们、权限和平台在实际工作流中相交汇。AI提示中的秘密泄露是一个更广泛转变的可见信号。它强调了基于周边的控制和仅基于政策的治理的局限性，并强调了在决策时刻需要护栏的必要性。适应这些变化的组织将超越反应性控制，转向基于实际行为的治理模型。他们将将集成和权限视为持久的访问关系。他们将在行动时刻指导员工，而不是仅仅依赖政策执行。AI正在从工具转变为现代工作中的协作者。确保这种协作的安全需要跟上节奏的治理，保护关键数据，同时指导更安全的决策并维持AI带来的速度和效率。