什么是数据投毒？攻击者如何破坏 AI 模型和数据集

数据投毒会操纵训练、微调、评估或检索数据，使 AI 系统学到被污染的行为，或产生攻击者指定的结果。

需要准确解释数据投毒，因为这个名称指向特定的信息流、训练选择、运行时机制或治理边界。若把它当作“先进 AI”的同义词，相关说法就无法检验。本指南将从输入和前提讲起，梳理这一概念如何产生可观察的结果，然后检验最容易与之混淆的捷径。

数据投毒：定义、边界与目的

数据投毒会操纵训练、微调、评估或检索数据，使 AI 系统学到被污染的行为，或产生攻击者指定的结果。这个定义包含三个实际要素：可识别的输入、具有数据投毒特征的转换或决策，以及可依据明确目标进行评估的结果。若缺少其中任何一项，这个标签描述的可能只是一种愿望，而非已实施的机制。

可信 AI 需要贯穿整个生命周期的证据。只有明确控制措施的负责人、范围、触发条件、预期行为和验证方法，该措施才有意义。对于数据投毒而言，这种系统层面的视角很重要，因为即使底层模型没有变化，周边数据、接口、硬件、权限和人员也可能决定系统表现。因此，有用的解释应当区分模型学到的行为，以及决定何时、何地、凭借何种权限使用该行为的产品。

最容易造成误解的捷径，是仅在模型部署后实施的规避攻击。它或许与数据投毒有某些表面特征相似，但两者的因果过程不同：证明成功所需的证据不同，决定成本的资源不同，防止危害的控制措施也不同。因此，两者的边界取决于实际操作，而非术语。

数据投毒的五阶段运作图

这张图是数据投毒的简明因果图，并不表示每种实现都由五个软件组件构成。有些系统会合并多个阶段，有些则会循环重复这些阶段。这张图仍然有用，因为它要求每一次信息或权限的变化都有明确的负责人、输入、输出和测试。

1. 获取对数据源的影响力：数据投毒的输入与前提

在数据投毒的这一阶段，系统必须获得对某个数据源的影响力。关键问题不只是这项操作是否发生，还包括它使用了哪些信息、改变了什么状态，以及有哪些证据能够证明这种改变有效。审查者应当能够将这项操作与仅在模型部署后实施的规避攻击区分开来，并在相同的既定条件下重现其结果。

进入数据投毒这一阶段时，应从明确的目标开始，最终得到能够支持插入带有错误标签、偏见或触发器样本的结果。记录不确定性、被否决的替代方案、资源使用情况，以及在边界处采取的任何人工或软件控制措施。通过这条记录，团队可以发现：在达到网络规模的数据中，一个极小的定向子集是否难以被检测出来，从而避免同一弱点随后影响后果重大的输出。

2. 插入带有错误标签、偏见或触发器的样本：数据投毒中的表征或决策

在数据投毒的这一阶段，系统必须插入带有错误标签、偏见或触发器的样本。关键问题不只是这项操作是否发生，还包括它使用了哪些信息、改变了什么状态，以及有哪些证据能够证明这种改变有效。审查者应当能够将这项操作与仅在模型部署后实施的规避攻击区分开来，并在相同的既定条件下重现其结果。

进入数据投毒这一阶段时，应从获取对数据源的影响力开始，最终得到能够支持通过筛选和去重的结果。记录不确定性、被否决的替代方案、资源使用情况，以及在边界处采取的任何人工或软件控制措施。通过这条记录，团队可以发现：在达到网络规模的数据中，一个极小的定向子集是否难以被检测出来，从而避免同一弱点随后影响后果重大的输出。

3. 在过滤和去重后存活：数据投毒中的独特转换

在数据投毒的这一阶段，系统必须经受住过滤和去重。关键不只是判断是否发生了这种操作，还要弄清它使用了哪些信息、改变了什么状态，以及有哪些证据能够证明这种改变有效。审查者应当能够将该操作与仅在模型部署后实施的规避攻击区分开来，并在相同的既定条件下复现其结果。

进入数据投毒这一阶段时，先插入标签错误、带有偏见或包含触发器的示例；最终应得到能够支持改变已学习模型或检索上下文的结果。记录不确定之处、被否决的替代方案、资源使用情况，以及边界处采取的任何人工或软件控制措施。借助这条记录，团队可以判断：在同样的弱点影响到重要输出之前，针对性极强的小规模子集是否可能藏身于网络规模的数据中而难以被发现。

4. 改变已学习模型或检索上下文：数据投毒中的约束与验证边界

在数据投毒的这一阶段，系统必须改变已学习模型或检索上下文。关键不只是判断是否发生了这种操作，还要弄清它使用了哪些信息、改变了什么状态，以及有哪些证据能够证明这种改变有效。审查者应当能够将该操作与仅在模型部署后实施的规避攻击区分开来，并在相同的既定条件下复现其结果。

进入数据投毒这一阶段时，先经受住过滤和去重；最终应得到能够支持触发广泛性能退化或植入定向后门的结果。记录不确定之处、被否决的替代方案、资源使用情况，以及边界处采取的任何人工或软件控制措施。借助这条记录，团队可以判断：在同样的弱点影响到重要输出之前，针对性极强的小规模子集是否可能藏身于网络规模的数据中而难以被发现。

5. 触发广泛性能退化或定向后门：数据投毒中的输出、反馈与停止规则

在数据投毒的这一阶段，系统必须触发广泛性能退化或定向后门。关键不只是判断是否发生了这种操作，还要弄清它使用了哪些信息、改变了什么状态，以及有哪些证据能够证明这种改变有效。审查者应当能够将该操作与仅在模型部署后实施的规避攻击区分开来，并在相同的既定条件下复现其结果。

进入数据投毒这一阶段时，先改变已学习模型或检索上下文；最终应得到能够支持监控或作出最终决策的结果。记录不确定之处、被否决的替代方案、资源使用情况，以及边界处采取的任何人工或软件控制措施。借助这条记录，团队可以判断：在同样的弱点影响到重要输出之前，针对性极强的小规模子集是否可能藏身于网络规模的数据中而难以被发现。

正向阅读数据投毒流程图，可以了解其在生产环境中的运作；反向阅读，则有助于诊断故障。正向分析会考察一个阶段如何为下一阶段提供条件。反向分析则从错误、缓慢、成本高昂或不安全的结果入手，追溯是哪个早期假设导致了这一结果。团队往往会在反向追溯时发现，决定性的错误发生在模型生成任何内容之前。

数据投毒实例解析

攻击者可以植入一些示例，使分类器学会将罕见的视觉图案识别为可信标签。

这个例子很有说明力，因为评估数据投毒时，可以依据可观察的输入、中间状态和结果，而不是只看经过精心包装的演示。严谨的测试应围绕这一场景构建常规、困难和刻意误导的案例，保留不采用该技术的基准结果，并记录平均表现以及单次失败的严重程度。

改变数据投毒实例中的一个假设，然后重复分析。移除一项必需输入，引入相互矛盾的信号，限制计算资源，改变用户群体，或迫使系统拒绝作答。如果某种机制只有在精心安排的单一演示中才能奏效，就还不能证明它适用于实际运行环境。

数据投毒与最常见的简化说法

数据投毒常被简化为一种仅在模型部署后实施的规避攻击。这种简化抹去了界定这一概念的关键边界，可能导致买家拿不同类型的产品相互比较、研究人员夸大实验所能证明的结论，以及运营人员在部署后监控错误的信号。

比较时还应明确分析单位。关于数据投毒的论文可能只研究模型或算法，而已部署的服务还包括检索、路由、缓存、策略、身份识别、用户界面和监控。两款产品可能使用同一个概括性术语，实际实现的却是这套系统中不同的部分。应查明哪个组件执行了定义性转换，以及哪些其他组件是实现所报告结果的必要条件。

数据投毒为何对当前 AI 系统至关重要

如今，AI 系统正获得更大的上下文、更多模态、更多运行时计算资源、更广泛的工具访问权限，并与组织决策建立更深入的联系，因此数据投毒愈发重要。在这些条件下，过去看似只是研究细节的问题，可能会决定延迟、安全性、无障碍程度、环境成本、产品质量或法律责任。

衡量数据投毒是否有效，关键不在于它能否产生一个令人瞩目的结果，而在于这种技术能否在具有代表性的条件下改善重要结果，并且比更简单的基线方法更有效。报告时应列出分布、失效类别、尾延迟、资源使用情况和受影响的子群体，而不是把所有结果都压缩成一个平均值。

既要监控技术指标，也要关注对人的影响。应记录不确定性、保留溯源信息、确保能够升级处理，并在系统暴露于不断变化的真实环境之前设计好恢复方案。具体应用于数据投毒时，这种做法能使证据具有可迁移性：其他团队可以据此判断，所声称的收益是否可能在换用不同模型、语言、硬件平台、数据集、用户群体或风险容忍度后依然成立。

数据投毒能够带来的益处

采用数据投毒最有力的理由，是它能够直接解决其目标瓶颈。根据具体实现方式，益处可能体现为更可靠的依据、更忠实的表征、更强的泛化能力、更低的延迟、更少的内存数据传输、更明确的问责机制，或在模型提出建议与实际执行操作之间建立更安全的边界。

应通过决策指标和测量结果来描述益处。“更智能”并不能作为数据投毒的验收标准。一个有用的目标可以明确规定：困难案例的错误率、面对相互矛盾的证据时的恢复能力、某个流量百分位下的成本、人工审核时间、校准情况，或在既定权限限值内执行的操作所占比例。

定义数据投毒的失效模式

核心局限在于，在网络规模的数据中，极小的定向子集可能很难被发现。这种失效不能等到开发完成后才作为补充事项列出。从一开始，它就应影响数据收集、架构、权限、评估、发布关卡以及数据投毒的监控。

只有在造成高昂或不可逆的后果之前就能发挥作用，数据投毒控制措施才有用。应找出失效最早的可观测前兆，设定阈值或规则，指定承担责任的负责人，并测试恢复方案。根据具体使用场景，恢复可能意味着拒绝作答、退回到更简单的系统、请求更多证据、升级至人工处理、回滚模型，或彻底停止某项操作。

数据投毒评估计划

开始评估数据投毒时，先写明证据必须支持哪项决策。明确界定适用人群、错误结果可能造成的后果、做出决策时实际可获得的信息，以及最简单且可信的替代方案。这样可以避免仅仅因为某项基准测试容易执行，就把它当成目标。

使用未经改动的测试集进行受控比较，然后在分阶段的实际运行环境中验证数据投毒。离线评估便于比较不同方案；影子模式、金丝雀测试、限流或审批门槛，则能揭示真实流量、反馈回路和人员如何改变行为。部署阶段应设定明确的停止条件，而不是假定每一项改进都值得全面推广。

对复现数据投毒所需的输入进行版本管理：源数据、预处理流程、分词器或编码器、模型权重、配置、提示词或策略、检索索引、评估集、硬件假设，以及适用情况下的服务代码。缺少数据沿袭记录，团队就无法判断结果变化究竟源于该技术、运行环境，还是未被察觉的流水线改动。

最后，要问：什么发现能够证伪“数据投毒有帮助”这一主张？如果没有任何结果能够改变是否采用它的决策，那么这项评估就是营销宣传。预先设定验收门槛并保留一组确认数据，才能让这项工作成为真正的证据。

采用数据投毒前应提出的问题

• 目标：数据投毒旨在解决哪个可衡量的瓶颈？
• 机制：哪一个阶段体现了这项技术的独特转变？
• 基线：与仅在模型部署后实施的规避攻击或其他更简单的替代方案相比，它的表现如何？
• 证据：测试过哪些常规、困难、对抗性和子群体案例？
• 运维：规模扩大后会产生哪些延迟、内存、计算、能耗、维护和审核成本？
• 风险：团队将如何发现，在网络规模的数据中，一个规模极小且经过定向挑选的子集可能难以检测？
• 恢复：系统能否在造成伤害之前拒绝作答、回退、回滚或上报？

研究数据投毒的主要资料来源

了解数据投毒所涉及的 AI 技术栈部分，可从以下权威资料入手：NIST 人工智能风险管理框架、C2PA 规范、NIST 隐私框架。阅读这些资料时，也应参考所涉及的具体模型、数据集、硬件和司法管辖区的文档。通用资料可以阐明其机制，但只有针对具体部署的证据，才能确定某种实现是否适用。

关于数据投毒，应该记住什么

数据投毒是更广泛的社会技术系统中的一种明确机制。它的价值在于特定条件下能否改善特定结果，而不在于这个名称本身。五阶段图示让信息流向一目了然，对比则指出它不是什么；控制路径展示了负责任的操作人员可以在哪些环节进行干预。

实践中应遵循的原则是：明确目标，与可信的基线进行比较，测试最重要的失效情形，并保留监测变化所需的证据。具备这些条件后，数据投毒便成为一种可评估的工程与治理选择。否则，它就只是一个听起来前景可期、实际运行风险却未知的名称。