大型语言模型在网络安全中的巨大承诺与风险：部署LLM的利弊

大型语言模型 (LLM) 可以训练在大量数据上，使安全操作团队变得更智能。LLM 提供在线建议和指导，用于响应、审计、姿势管理等。目前，大多数安全团队都在尝试或使用 LLM 来减少工作流程中的手动操作。这可以应用于平凡和复杂的任务。

例如，LLM 可以通过电子邮件询问员工是否打算共享一份专有文档，并处理响应以提供安全实践者的建议。LLM 还可以被任务来翻译请求，以查找开源模块中的供应链攻击，并启动专注于特定条件的代理——例如，广泛使用的库中的新贡献者、不当的代码模式——每个代理都针对特定的条件。

然而，这些强大的 AI 系统带有显著的风险，这些风险与安全团队面临的其他风险不同。支持安全 LLM 的模型可以通过提示注入或数据污染来损害。没有足够的人类指导，持续的反馈循环和机器学习算法可以允许恶意行为者探测控制并引发不良响应。LLM 容易出现幻觉，即使在有限的领域内。即使是最好的 LLM 也会编造答案，当它们不知道答案时。

随着这些系统在网络安全运营和研究中变得更加普遍，安全流程和 AI 政策将变得更加关键。确保这些流程得到遵守，并在治理系统中得到衡量和记录，对于 CISO 来说至关重要，以确保他们可以提供足够的 GRC（治理、风险和合规）覆盖，以满足新的法规，如网络安全框架 2.0。

LLM 在网络安全中的巨大承诺

CISO 和他们的团队不断努力跟上日益增长的新网络攻击潮。根据 Qualys 的说法，2023 年报告的 CVE 数量达到 新的记录，26447。这比 2013 年增加了 5 倍以上。

这个挑战已经变得更加紧张，因为平均组织的攻击面每年都在增长。AppSec 团队必须保护和监控更多的软件应用。云计算、API、多云和虚拟化技术增加了额外的复杂性。使用现代 CI/CD 工具和流程，应用团队可以更快、更频繁地发布代码。微服务既将单体应用分解为多个 API 和攻击面，也在全局防火墙中为与外部服务或客户设备的通信打开了更多孔。

高级 LLM 具有巨大的潜力，可以减少网络安全团队的工作量并提高他们的能力。AI 驱动的编码工具已经广泛渗透到软件开发中。Github 研究发现，92% 的开发人员正在使用或曾经使用过 AI 工具进行代码建议和完成。大多数这些“协同编辑”工具都有一些安全功能。事实上，具有相对二元结果的编程学科（例如，代码将通过或不通过单元测试）非常适合 LLM。除了软件开发中的代码扫描和 CI/CD 流水线外，AI 可以通过以下几种方式为网络安全团队提供价值：

• 增强分析： LLM 可以处理大量的安全数据（日志、警报、威胁情报）以识别人类无法看到的模式和关联。它们可以跨语言、全天候和多个维度同时执行此操作。这为安全团队开启了新的机会。LLM 可以实时处理警报堆栈，标记最可能严重的警报。通过强化学习，分析应该随着时间的推移而改进。
• 自动化： LLM 可以自动执行通常需要对话式交互的安全团队任务。例如，当安全团队收到 IoC 并需要询问端点所有者是否实际登录设备或是否位于其正常工作区域之外时，LLM 可以执行这些简单操作，然后根据需要进行后续提问和链接或说明。这种交互曾经需要由 IT 或安全团队成员亲自进行。LLM 还可以提供更高级的功能。例如，Microsoft Copilot for Security 可以生成事件分析报告，并将复杂的恶意代码翻译成自然语言描述。
• 持续学习和调整： 与以前用于安全策略和理解的机器学习系统不同，LLM 可以通过摄取其响应的人类评级和重新调整新数据池（可能不包含在内部日志文件中）来进行即时学习。事实上，使用相同的基础模型，网络安全 LLM 可以针对不同团队及其需求、工作流程或区域特定任务进行调整。这也意味着整个系统可以瞬间变得像模型一样聪明，变化可以快速在所有接口上传播。

LLM 对网络安全的风险

作为一项新技术，LLM 具有短暂的历史记录，具有严重的风险。更糟糕的是，了解这些风险的全部范围具有挑战性，因为 LLM 输出并不总是 100% 可预测或程序化。例如，LLM 可以“编造”并生成错误答案或不正确地回答问题，基于虚构数据。在采用 LLM 进行网络安全用例之前，必须考虑潜在风险，包括：

• 提示注入： 攻击者可以制作恶意提示以产生误导性或有害的输出。这类攻击可以利用 LLM 根据接收到的提示生成内容的倾向。在网络安全用例中，提示注入可能最容易作为内部攻击或未经授权的用户攻击，他们使用提示永久改变系统输出，通过偏斜模型行为。这可能会为系统的其他用户生成不准确或无效的输出。
• 数据污染： LLM 所依赖的训练数据可以被故意损坏，损害其决策。在网络安全环境中，组织可能使用由工具提供商训练的模型，数据污染可能发生在为特定客户和用例调整模型时。这里的风险可能是未经授权的用户添加坏数据（例如，损坏的日志文件）以破坏训练过程。经授权的用户也可能无意中这样做。结果将是基于坏数据的 LLM 输出。
• 幻觉： 如前所述，LLM 可能会生成事实上不正确、不合逻辑或甚至恶意的响应，原因是对提示或底层数据缺陷的误解。在网络安全用例中，幻觉可能会导致关键错误，损害威胁情报、漏洞修复和更多。由于网络安全是一项关键任务，LLM 必须达到更高的标准，以管理和防止这些背景下的幻觉。

随着 AI 系统变得更加强大，它们的信息安全部署正在迅速扩展。为了明确，许多网络安全公司长期以来一直使用模式匹配和机器学习进行动态过滤。新出现的生成式 AI 时代中，交互式 LLM 提供了一个层次的智能，位于现有的工作流程和数据池之上，理想情况下可以提高网络安全团队的效率和能力。换句话说，GenAI 可以帮助安全工程师用更少的努力和相同的资源做更多事情，从而带来更好的性能和加速的流程。