新一代安全漏洞：企业必须解决的快速采用GenAI带来的问题

生成式人工智能（GenAI）已经从一个好奇心转变为企业技术中的核心力量。它能够按需生成文本、代码、图像和见解，使其成为员工们急切需要的工具，以便他们能够快速应对复杂问题和提高生产力。但是，这种创新和效率也带来了巨大的风险暴露。

在与各个行业的高管和人工智能治理领导人进行的通话中，一个主题反复出现：数据安全已经从一个关键问题转变为他们战略的焦点，并且现在是人工智能采用的决定性挑战。与传统软件或甚至过去的机器学习浪潮不同，GenAI从根本上改变了组织内部的数据保护过程。

最近的一项麻省理工学院研究发现，95%的企业GenAI试点项目都失败了。这并不是因为技术不够强大，而是因为企业缺乏必要的治理和安全框架来适当地和负责地运用GenAI。 在另一项麻省理工学院研究中，企业领导人将数据安全列为阻碍更快的人工智能采用的首要商业和安全风险。另外，“影子人工智能”（即员工未经授权使用公共工具）被广泛认为是数据风险迅速增加的驱动因素，且这种风险超出了企业的控制范围。

最小权限访问是一种安全模型，其中任何实体（无论是用户、程序还是进程）仅被授予执行其合法功能所需的最低级别的访问和权限。然而，GenAI却颠覆了整个范式：最小权限本身成为一个与这些系统设计运行方式相冲突的限制。这是因为企业GenAI工具往往在拥有更多业务数据和业务背景的情况下能够带来更高的生产力提升。如果一个实体无法定义GenAI将被用于什么任务，或者它需要访问什么类型的数据，那么设置最小权限访问权限将变得不可行。此外，用户可能对某个数据集具有适当的访问权限，并合法地将其作为输入提供给GenAI工具，但是一旦该数据被吸收，用户的原始权限就不再适用。相反，它可以被模型吸收，出现在未来的输出中，或者被其他使用相同工具的人访问。由于GenAI不一定继承数据的访问控制，因此它有效地使最小权限无法执行。

需要考虑的GenAI风险

GenAI创建了一个巨大且不断扩张的数据表面，这从几个相互关联的方面复杂化了企业数据治理和安全。这些包括：

输入泄露 – GenAI可以以原始形式吸收数据，包括文本、图像、音频、视频和结构化数据。最终用户现在可以将GenAI工具指向新的数据集，而无需太多努力或专业知识。相比之下，这些数据集可能包括销售电话录音、CRM电子邮件笔记、客户服务记录等。实际上，员工正在使用高度敏感的商业信息（包括客户个人身份信息、知识产权、财务预测，甚至源代码）来填充提示。

输出暴露 – 生成模型不仅仅是消费，它们还会合成。一个提示可能会无意中从多个数据集中提取见解，并将其暴露给未经授权的用户。在某些情况下，输出甚至可以“编造”看似合法的数据，但其中包含真正敏感的训练材料片段。

GenAI工具在有任务背景的情况下表现更好。因此，不仅GenAI吸收现有信息，用户还会创建新的数据来指导它，通常以详细的提示形式记录业务背景、内部流程和其他可能敏感或商业关键的信息。

无监督的可访问性 – 传统的企业系统需要供应商入职和IT配置。今天，GenAI无处不在——在Microsoft Office套件、浏览器、聊天工具和SaaS平台中。员工可以立即采用它，完全绕过治理。这种无摩擦的访问推动了“影子人工智能”，每一次未经授权的GenAI使用都是企业无法控制的潜在数据外泄事件，发生在规模上且不可见。

二级供应链风险 – 供应商可能看起来很安全，但它们经常依赖于子承包商，例如云主机、注释服务或第三方人工智能实验室。每个子承包商都引入了自己的最终用户许可协议（EULA）和政策。敏感的企业数据可以通过多个不可见的实体传播，然而责任仍然归于企业。例如，一个企业可能有一个供应商，之前已经完成了入职过程，但现在该供应商使用了一个GenAI工具，这可能会允许企业的数据被用作训练数据，从而产生重大下游影响。

训练数据中的治理差距 – 一旦数据进入人工智能模型，控制就基本上结束了。企业无法轻松地撤回或管理其信息的使用方式。专有知识可能会持续存在并在输出中重新出现，长时间之后其源头已经被遗忘。我们还没有遇到任何允许请求删除其吸收的信息的GenAI工具，类似于《通用数据保护条例》（GDPR）或《加利福尼亚消费者隐私法》（CCPA）中所见。这种过程的实施不太可能发生，直到监管推动了这种变化。

应用代码风险 – 人工智能越来越多地编写了支撑业务系统的代码。使用GenAI工具（如Microsoft Copilot）生成代码的开发人员可能会无意中引入不安全的依赖项、传播漏洞或嵌入具有冲突的开源许可证的代码。一旦部署，这些弱点就会成为软件供应链的一部分。

应对GenAI风险

GenAI已经嵌入到企业工作流中，因此企业的问题不再是是否采用它，而是如何负责任地采用它。没有治理的GenAI采用会带来昂贵的漏洞、监管处罚和声誉损害。但是，阻止它只会驱使员工使用未经授权的解决方案。前进的唯一途径是包裹在可见性和控制中的赋能。

GenAI治理需要上下文驱动的可见性，不仅要了解企业拥有什么数据、数据存储在哪里以及谁可以访问，还要了解GenAI的使用情况。企业需要看到哪些工具正在被访问、哪些提示正在被输入，以及是否有敏感数据正在离开他们的环境。从那里，他们可以应用适当的控制来实时监控提示和输出，标记风险会话或异常数据流，阻止未经授权的工具，在提示离开之前过滤敏感提示，去识别提示中输入的敏感数据，并强制执行基于角色的AI驱动见解限制。

GenAI是一个全新的企业风险和机会层。管理它需要一种思维方式，即安全不是创新上的制动器，而是使其安全的基础。