Hallucination Control: Benefits and Risks of Deploying LLMs as Part of Security Processes

Large Language Models (LLMs) 在大量数据的训练下，可以使安全运营团队变得更智能。LLMs 提供在线建议和指导，用于响应、审计、姿势管理等。大多数安全团队正在尝试或使用 LLMs 来减少工作流中的手动操作。这既可以用于平凡的任务，也可以用于复杂的任务。

例如，LLM 可以通过电子邮件询问员工是否打算共享专有文档，并处理响应以向安全实践者提供建议。LLM 也可以被任务化为翻译请求，以查找开源模块中的供应链攻击，并生成专注于特定条件的代理——新贡献者、不当代码模式——每个代理都针对特定的条件进行优化。

话虽如此，这些强大的 AI 系统带来了与安全团队面临的其他风险不同的重大风险。支持安全 LLMs 的模型可以通过提示注入或数据中毒来损害。没有充分人工指导的持续反馈循环和机器学习算法可以允许恶意行为者探测控制并引发不良响应。LLMs 即使在有限的领域中也容易出现幻觉。即使是最好的 LLMs 也会编造答案，当它们不知道答案时。

随着这些系统在网络安全运营和研究中变得更加普遍，安全过程和 AI 政策围绕 LLM 使用和工作流将变得更加关键。确保这些过程得到遵守，并在治理系统中得到衡量和记录，将证明在确保 CISO 可以提供足够的 GRC（治理、风险和合规）覆盖以满足新的命令（如网络安全框架 2.0）方面至关重要。

LLMs 在网络安全中的巨大前景

CISO 和他们的团队不断努力跟上新出现的网络攻击的浪潮。根据 Qualys 的说法，2023 年报告的 CVE 数量达到 新的记录 26,447。这比 2013 年增加了 5 倍以上。

这个挑战只会随着平均组织的攻击面每年变得更大而变得更加繁重。AppSec 团队必须保护和监控更多的软件应用程序。云计算、API、多云和虚拟化技术增加了额外的复杂性。通过现代 CI/CD 工具和流程，应用程序团队可以更快、更频繁地发布代码。微服务既将单体应用程序分解为众多 API，也在全局防火墙中为与外部服务或客户端设备的通信打开了更多的洞。

高级 LLMs 为减少网络安全团队的工作量和提高他们的能力带来了巨大的希望。AI 驱动的编码工具已经广泛渗透到软件开发中。Github 研究发现，92% 的开发人员正在使用或曾经使用过 AI 工具进行代码建议和完成。大多数这些“协同”工具都有一些安全功能。事实上，具有相对二元结果的编程学科（例如编码，代码将通过或失败单元测试）非常适合 LLMs。在软件开发和 CI/CD 流水线中的代码扫描之外，AI 可以通过以下几种方式为网络安全团队提供价值：

• 增强分析： LLMs 可以处理大量的安全数据（日志、警报、威胁情报）以识别模式和相关性，这些对于人类来说是不可见的。它们可以跨语言、全天候和多个维度同时执行此操作。这为安全团队打开了新的机会。LLMs 可以在几乎实时内烧毁一堆警报，标记最可能严重的警报。通过强化学习，分析应该会随着时间的推移而改进。
• 自动化： LLMs 可以自动执行安全团队通常需要进行对话式交互的任务。例如，当安全团队收到 IoC 并需要询问端点所有者是否实际登录到设备或是否位于其正常工作区域之外时，LLM 可以执行这些简单的操作，然后根据需要进行后续问题和链接或说明。这曾经是 IT 或安全团队成员必须亲自执行的交互。LLM 还可以提供更高级的功能。例如，Microsoft Copilot for Security 可以生成事件分析报告，并将复杂的恶意代码翻译成自然语言描述。
• 持续学习和调整： 与以前用于安全策略和理解的机器学习系统不同，LLMs 可以通过摄取人类对其响应的评级和通过对可能不包含在内部日志文件中的新数据池进行重新调整来实时学习。事实上，使用相同的基础模型，网络安全 LLM 可以针对不同团队及其需求、工作流或区域特定任务进行调整。这也意味着整个系统可以瞬间变得像模型一样智能，变化可以快速跨所有接口传播。

LLMs 对网络安全的风险

作为一项具有短暂记录的新技术，LLMs 具有严重的风险。更糟糕的是，了解这些风险的全部范围是具有挑战性的，因为 LLM 输出不一定是 100% 可预测或程序化的。例如，LLMs 可以“产生幻觉”并编造答案或回答问题不正确，基于虚构的数据。在采用 LLMs 用于网络安全用例之前，必须考虑潜在的风险，包括：

• 提示注入： 攻击者可以制作恶意提示以产生误导或有害的输出。这类攻击可以利用 LLM 根据接收到的提示生成内容的倾向。在网络安全用例中，提示注入可能最容易作为内部攻击或未经授权的用户攻击，他们使用提示永久改变系统输出，通过偏斜模型行为。这可能会为系统的其他用户生成不准确或无效的输出。
• 数据中毒： LLMs 所依赖的训练数据可能被故意破坏，损害其决策能力。在网络安全环境中，组织可能使用工具提供商训练的模型，数据中毒可能发生在为特定客户和用例调整模型期间。这里的风险可能是未经授权的用户添加坏数据（例如，损坏的日志文件）以破坏训练过程。授权用户也可能无意中这样做。结果将是基于坏数据的 LLM 输出。
• 幻觉：如前所述，LLMs 可能会生成事实上不正确、不合逻辑甚至恶意的响应，原因是对提示或底层数据缺陷的误解。在网络安全用例中，幻觉可能会导致威胁情报、漏洞分类和修复等方面出现关键错误。由于网络安全是一项关键任务，LLMs 必须遵守更高的标准来管理和防止这些背景下的幻觉。

随着 AI 系统变得更加强大，其信息安全部署正在迅速扩展。为了明确，许多网络安全公司长期以来一直使用模式匹配和机器学习进行动态过滤。新一代 AI 中的新内容是提供了一层智能的交互式 LLMs，它们位于现有的工作流和数据池之上，理想情况下可以提高网络安全团队的效率和能力。换句话说，GenAI 可以帮助安全工程师用更少的努力和相同的资源做更多的事情，从而带来更好的性能和加速的流程。