思想领袖

揭露隐藏的影子AI风险

mm
将 Unite.AI 添加到您在 Google 上的首选来源

企业很快就经历了员工广泛使用生成式AI(GenAI)。然而,当谈到GenAI风险时,您应该最担心的不是组织内部的工具,而是那些您不知道的工具。这些您不知道的工具应该让您夜不能寐。

由于ChatGPT、Copilot、Gemini和Perplexity等GenAI工具的快速扩张,以及许多专用SaaS助手,员工正在比安全团队能够跟上的速度更快地采用它们。这一使用正在创造一个迅速增长的盲点,称为影子AI。

如果影子AI听起来很熟悉,那是因为它借鉴了“影子IT”的概念,用于描述工作场所中未经批准的工具和服务的使用。但是,影子AI的风险可能更高。与其使用一个流氓文件共享应用,影子AI可能会导致敏感数据被粘贴到聊天机器人提示中,摄取到外部模型中,并不知不觉地暴露给第三方系统。

影子AI代表了当前企业数据安全中最不显眼但最紧急的威胁之一。

什么是影子AI?

影子AI指的是员工在未经公司IT或安全团队知识或批准的情况下使用AI工具,特别是GenAI。在一个组织中,用户可能是使用大型语言模型(LLM)撰写博客文章的营销团队,使用AI工具探索合同语言的法律团队,或者使用免费GPT包装器调试代码的工程师。

虽然这种实验可能看起来无害,但被分享到这些工具中的内容可能不是这样。它可能是机密的战略幻灯片或客户信息。这些数据最终以未加密的提示形式结束,没有治理,也没有办法跟踪接下来会发生什么。

为什么影子AI是一个问题?

影子AI的问题是有问题的,因为只需要一位有良好意图的员工和访问ChatGPT的权限就可以创建一个数据安全风险。与黑客不同,影子AI不是恶意的,但这并不意味着它不危险。每次敏感数据被添加到提示中,它都有可能被暴露给模型、供应商和任何具有访问日志权限的人。它甚至可能在回答其他用户的提示时重新出现。而最糟糕的是,您可能永远不会知道它发生了。

以下是五个影子AI的关键风险需要注意。

1. 通过提示输入的数据泄露 – 提示字段是一个数据安全的黑洞。一旦敏感信息(如源代码、并购文件和工资详细信息)被分享到GenAI工具中,它就超出了您的控制范围。即使AI供应商承诺不保留数据,但执行和培训或遥测方面的保证也不明确。

2. 缺乏访问控制或审计日志 – 与获得批准的企业应用程序不同,大多数GenAI工具不提供基于角色的访问控制、细粒度权限或活动日志,这意味着安全团队无法看到谁访问了什么数据或何时访问。如果发生事件,就没有什么可调查的了。

3. 合规性违规 – 许多组织必须遵守的无数合规性法规要求受监管的数据必须以特定的方式存储、处理和访问。将这些数据输入外部AI模型可能会违反这些规则,使您的组织面临法律风险、罚款和强制性违规披露。

4. 过时或有偏见的信息传播 – GenAI工具通常会自信地提供答案,并将其呈现为事实,即使它们完全错误。依赖这些输出进行客户信息、合规性总结或财务报告而不进行验证,可能会导致基于不准确数据的商业决策。幻觉经常发生,似乎不会随着这些LLM变得更智能而消失。

5. 变成影子数据的影子AI – GenAI工具的输出,包括总结和代码片段,通常会被保存、共享和重用。由于它们是在正式工作流程之外创建的,因此这些文件变得无法跟踪、未分类和未受保护的影子数据。

在大多数情况下,影子AI没有人在安全团队中知道何时发生了违规。这些现实世界的例子可能正在您的组织中发生:

  • 一名初级软件工程师将专有代码粘贴到免费的GPT调试器中。
  • 一名销售代表将上个季度的客户名单输入AI电子邮件撰写器以生成升级销售推销。
  • 一名人力资源经理使用外部AI工具分析员工满意度调查响应。
  • 一名财务分析师要求ChatGPT简化敏感的收入预测语言以便高管使用。
  • 一名律师要求GenAI使用客户协议中的保密条款重写合同。

为什么传统安全工具无法检测影子AI

传统的安全栈并不是为基于GenAI提示的威胁而设计的。例如,防火墙无法阻止基于浏览器的AI工具。CASB无法看到输入到聊天窗口中的内容。SIEM也无法提醒谁刚刚要求LLM总结敏感的知识产权。

影子AI在应用层运行,存在于浏览器中,这是可见性最弱的地方。员工还使用他们的个人设备。这里没有插件可以阻止他们,没有水印可以跟踪泄露的数据,也没有警报可以在数据越过界限时触发。到DLP警报出现时(如果真的出现),数据已经暴露了。

如何识别和缓解影子AI风险

您无法控制您看不到的东西,大多数组织在GenAI方面都是一无所知。传统工具不适合理解基于提示的交互或跟踪用户单击“Enter”后发生了什么。

然而,新的AI驱动的安全方法能够应对挑战,帮助组织将影子GenAI从黑暗中带到光明。以下是一些高级解决方案提供的保障:

影子AI的发现 – 这些工具可以识别用户正在使用哪些GenAI应用程序,甚至包括基于浏览器的应用程序,这些应用程序绕过了传统的控制。它们分析数据移动、访问模式和上下文以检测违规行为,而无需端点代理或侵入式监控。

敏感内容的分类 – 现代解决方案使用上下文感知AI来理解数据的内容和上下文。这意味着它们可以标记风险,例如嵌入PowerPoint幻灯片中的收入预测或嵌入电子邮件草稿中的客户数据。这些是员工可能在没有第二次思考的情况下将其输入GenAI的内容。

防止风险提示行为 – 一旦发现和识别敏感数据,AI数据安全可以防止其被暴露。这些工具可以标记、编辑或阻止风险提示输入,以免它们离开组织。

影子数据的清理 – GenAI提示通常会生成一波新的文件,例如总结、草稿和响应,这些文件被保存、共享并遗忘。高级数据安全平台可以识别这些下游工件,检测暴露风险(例如过度权限或不当存储),并在数据丢失成为头条新闻之前进行补救。

影子AI不是一个理论上的风险。它是真实的,正在增长,并且正在您的环境中发生,无论您是否已经看到它。禁止GenAI工具是不现实的,但忽视它是极其危险的。组织需要对GenAI的使用有可见性、控制性和智能性——不仅仅是输出,还包括输入。

新的方法可以揭示风险行为,防止意外暴露,并清理AI和影子AI留下的数据混乱。

影子AI不是一个可以忽视的风险,tic,但忽视它是极其危险的。组织需要对GenAI的使用有可见性、控制性和智能性——不仅仅是输出,还包括输入。新的方法可以揭示风险行为,防止意外暴露,并清理AI和影子AI留下的数据混乱。

卡西克·克里希南(Karthik Krishnan)是Concentric.ai的创始人和首席执行官。在Concentric.ai之前,卡西克曾在Aruba/HPE担任安全产品副总裁,在那里他管理了他们的安全产品组合(之前,卡西克曾在Niara担任产品副总裁,Niara是一家专注于用户和实体行为分析的安全分析公司,后被Aruba/HPE收购)。卡西克在工程和营销领域拥有超过20年的经验,曾在Intel、Microsoft、Juniper Networks、PGP Corporation、Symantec和Embrane等关键行业组织中担任高级职位。卡西克拥有印度理工学院马德拉斯分校的工学学士学位和凯洛格管理学院的工商管理硕士学位(Kellogg School of Management),并以F.C. Austin Scholar的身份毕业。