什么是类别不平衡？为什么准确率可能会误导你

当一个目标类别的出现频率远低于另一个类别时，就会出现类别不平衡，导致汇总指标和标准训练方式忽视那些可能最为重要的案例。

类别不平衡需要得到准确解释，因为这个名称指向特定的信息流、训练选择、运行时机制或治理边界。把它当作“高级人工智能”的同义词，会让相关主张无法检验。本指南将从输入和假设出发，追踪这一概念，直至其可观察到的结果；随后检验最容易与之混淆的简化做法。

目标类别不平衡：定义、边界与目的

当一个目标类别的出现频率远低于另一个类别时，就会出现类别不平衡，导致汇总指标和标准训练方式忽视那些可能最为重要的案例。这个定义包含三项实际要求：存在可识别的输入；存在类别不平衡所特有的转换或决策；并且存在能够依据既定目标进行评估的结果。如果缺少其中任何一项，这个标签描述的可能只是一个愿景，而非已经实现的机制。

统计学习将有限样本转化为对未来数据的判断。因此，数据划分、优化、正则化、指标和监控都属于同一个泛化问题，而不是彼此孤立的教科书技术。对于类别不平衡，这种系统视角至关重要，因为即使底层模型保持不变，周边数据、接口、硬件、权限和人员也可能决定系统表现。因此，清晰的解释应区分模型学到的行为，以及决定何时、何地、以何种权限使用这种行为的产品。

最容易造成误导的简化做法，是使用与真实发生率不符的教学场景平衡数据集。它可能在表面特征上与类别不平衡相似，却会改变因果关系：证明成功所需的证据会不同，决定成本的主要资源会不同，防止危害的控制措施也会不同。因此，两者的边界取决于实际操作，而非术语。

目标类别不平衡的五阶段运行图

这张图是类别不平衡的简明因果图，并不意味着每种实现都由五个软件组件构成。有些系统会合并多个阶段，有些则会循环重复这些阶段。这张图仍然很有用，因为它要求每一次信息或权限的变更都有负责人、输入、输出和检验方式。

1. 测量实际运行总体中的发生率：目标类别不平衡中的输入与假设

在类别不平衡的这一阶段，系统必须测量实际运行总体中的发生率。关键不只是这项操作是否发生，还包括它使用了哪些信息、改变了什么状态，以及有哪些证据能够证明这项变更有效。审查者应当能够将这项操作与不符合真实发生率的教学场景平衡数据集区分开来，并在相同的既定条件下复现其结果。

进入类别不平衡这一阶段时，交接从既定目标开始，最终应得到一个能够支持“划分数据集时进行分层，避免泄漏相关记录”的结果。应记录不确定性、被否决的替代方案、资源使用情况，以及边界处采用的任何人工或软件控制措施。通过这份记录，团队可以在同一缺陷影响重要输出之前，发现系统是否能靠完全忽略稀有类别来获得高准确率。

2. 划分数据集时进行分层，避免泄漏相关记录：目标类别不平衡中的表征或决策

在类别不平衡的这一阶段，系统必须在划分数据集时进行分层，避免泄漏相关记录。关键不只是这项操作是否发生，还包括它使用了哪些信息、改变了什么状态，以及有哪些证据能够证明这项变更有效。审查者应当能够将这项操作与不符合真实发生率的教学场景平衡数据集区分开来，并在相同的既定条件下复现其结果。

这一类别不平衡阶段的交接始于衡量实际运行人群中的类别占比，最终应形成能够支持选择适用于类别不平衡情形的指标和阈值的结果。记录不确定性、被否决的替代方案、资源使用情况，以及在交接环节采取的任何人工或软件控制措施。这些记录有助于团队及时发现：在同样的弱点影响到后果重大的输出之前，系统是否可能完全忽略少数类，却仍取得很高的准确率。

3. 选择适用于类别不平衡情形的指标和阈值：目标不平衡中的标志性转换

在这一类别不平衡阶段，系统必须选择适用于类别不平衡情形的指标和阈值。关键不只是看是否执行了这一操作，还要看它使用了哪些信息、改变了什么状态，以及有什么证据能够证明这一改变有效。审查者应能将该操作与平衡的课堂数据集区分开来；后者并不符合实际类别占比。审查者还应能在相同的既定条件下复现其结果。

这一类别不平衡阶段的交接始于对数据集进行分层划分，且不泄漏相关记录；最终应形成能够支持重新加权、重新采样或重新设计数据收集方式的结果。记录不确定性、被否决的替代方案、资源使用情况，以及在交接环节采取的任何人工或软件控制措施。这些记录有助于团队及时发现：在同样的弱点影响到后果重大的输出之前，系统是否可能完全忽略少数类，却仍取得很高的准确率。

4. 重新加权、重新采样或重新设计数据收集方式：目标不平衡中的约束与验证边界

在这一类别不平衡阶段，系统必须重新加权、重新采样或重新设计数据收集方式。关键不只是看是否执行了这一操作，还要看它使用了哪些信息、改变了什么状态，以及有什么证据能够证明这一改变有效。审查者应能将该操作与平衡的课堂数据集区分开来；后者并不符合实际类别占比。审查者还应能在相同的既定条件下复现其结果。

这一类别不平衡阶段的交接始于选择适用于类别不平衡情形的指标和阈值，最终应形成能够支持部署后监测少数类表现的结果。记录不确定性、被否决的替代方案、资源使用情况，以及在交接环节采取的任何人工或软件控制措施。这些记录有助于团队及时发现：在同样的弱点影响到后果重大的输出之前，系统是否可能完全忽略少数类，却仍取得很高的准确率。

5. 部署后监测少数类表现：目标不平衡中的输出、反馈与停止规则

在这一类别不平衡阶段，系统必须在部署后监测少数类表现。关键不只是看是否执行了这一操作，还要看它使用了哪些信息、改变了什么状态，以及有什么证据能够证明这一改变有效。审查者应能将该操作与平衡的课堂数据集区分开来；后者并不符合实际类别占比。审查者还应能在相同的既定条件下复现其结果。

这一类别不平衡阶段的交接始于重新加权、重新采样或重新设计数据收集方式，最终应形成能够支持持续监测或作出最终决策的结果。记录不确定性、被否决的替代方案、资源使用情况，以及在交接环节采取的任何人工或软件控制措施。这些记录有助于团队及时发现：在同样的弱点影响到后果重大的输出之前，系统是否可能完全忽略少数类，却仍取得很高的准确率。

沿正向阅读类别不平衡流程图，可以了解生产流程；沿反向阅读，则可以诊断故障。正向分析会考察一个阶段如何为下一阶段提供输入。反向分析则从错误、缓慢、昂贵或不安全的结果入手，追查是哪个先前假设导致了这一结果。团队往往会在反向追溯中发现，决定性的错误早在模型产生任何结果之前就已发生。

目标类别不平衡实例详解

一个将每笔交易都标记为合法的欺诈检测模型，准确率可能超过百分之九十九，却无法检测出任何欺诈行为。

这个例子很有说明性，因为评估类别不平衡时，可以依据可观察的输入、中间状态和结果，而不是只看经过精心包装的演示。严谨的测试应围绕这一场景构建常规、困难和刻意误导的案例，保留未采用该技术的基线，并记录整体平均表现以及单次失败的严重程度。

改变类别不平衡示例中的一个假设，然后重复分析：移除一项必要输入、引入相互冲突的信号、限制计算资源、更换用户群体，或强制系统弃权。如果一种机制只有在精心安排的单一演示中才能奏效，就还不能证明它能推广到实际运行环境中。

目标类别不平衡与最常见的捷径

人们往往把类别不平衡简化为一个不符合实际类别占比的平衡课堂数据集。这种简化恰恰抹去了定义这一概念的关键边界。它可能导致买家比较彼此不可比的产品、研究人员夸大实验所能证明的内容，以及运营人员在部署后监测错误的信号。

比较时还应明确分析单位。一篇关于类别不平衡的论文可能只研究某个模型或算法，而部署后的服务还包含检索、路由、缓存、策略、身份管理、用户界面和监控。两种产品可能使用相同的醒目术语，但实际实现的系统环节却各不相同。应当弄清楚哪个组件执行了定义性转换，以及哪些其他组件是取得报告结果所必需的。

为什么目标类别不平衡对当今人工智能系统至关重要

如今，人工智能系统拥有更大的上下文、更多模态、更充足的运行时计算资源、更广泛的工具访问权限，也与组织决策有着更深层的联系，因此类别不平衡问题愈发重要。在这些条件下，过去看似只是研究细节的问题，如今可能决定延迟、安全性、无障碍程度、环境成本、产品质量或法律责任。

衡量类别不平衡的相关标准，不是它能否带来某个令人瞩目的结果，而是这种技术能否在具有代表性的条件下改善重要结果，并且比更简单的基线方法更有效。应报告分布、失效类别、尾延迟、资源使用情况和受影响的子群体，而不是把所有结果都压缩成一个平均值。

应根据数据结构和决策成本选择处理方法。保留分组和时间信息，量化不确定性，检查各个切片，锁定最终测试，并验证离线提升能否在部署后依然成立。具体应用于类别不平衡时，这种严谨做法能让证据具有可迁移性：其他团队可以判断，所声称的提升在换用不同模型、语言、硬件平台、数据集、用户群体或风险容忍度后，是否仍有可能保持。

目标类别不平衡能够带来的好处

采用类别不平衡方法的最有力理由，是它能够直接解决预期的瓶颈。具体收益取决于实现方式，可能表现为更可靠的依据、更忠实的表征、更强的泛化能力、更低的延迟、更少的内存数据搬移、更清晰的问责机制，或在模型建议与实际操作之间建立更安全的界限。

应通过决策和测量指标来表达收益。“更智能”并不是评估类别不平衡方法是否达标的标准。一个有用的目标可以明确规定：困难案例的错误率、在证据相互矛盾时的恢复能力、某个流量百分位对应的成本、人工审核时间、校准情况，或在既定权限范围内执行操作的比例。

定义目标类别不平衡的失效模式

核心局限在于，完全忽视少数类别也能取得很高的准确率。这种失效不应等到开发完成后才被当作补充事项列出。从一开始，类别不平衡就应影响数据收集、架构设计、权限设置、评估、发布门槛和监控。

只有在造成高昂代价或不可逆后果之前发挥作用，针对类别不平衡的控制措施才有用。应找出故障最早的可观察前兆，设定阈值或规则，明确责任人，并测试恢复机制。根据具体用例，恢复可能意味着暂不作出判断、退回到更简单的系统、请求更多证据、升级交由人员处理、回滚模型，或彻底停止某项操作。

目标类别不平衡的评估计划

评估类别不平衡时，首先要明确证据需要支持哪项决策。界定系统的运行人群、错误结果可能造成的后果、决策时实际可用的信息，以及最简单且可信的替代方案。这样可以避免仅仅因为基准测试容易执行，就把它本身当成目标。

使用未经触碰的测试集进行受控比较，然后在分阶段的运行环境中验证类别不平衡。离线评估便于比较不同变体；影子模式、金丝雀发布、速率限制或审批关卡，则能揭示真实流量、反馈回路和人员如何改变行为。部署阶段应设定明确的停止条件，而不是想当然地认为每项改进都值得全面上线。

对复现类别不平衡所需的输入进行版本管理：视具体情况包括源数据、预处理流程、分词器或编码器、模型权重、配置、提示词或策略、检索索引、评估集、硬件假设和服务代码。缺少数据沿袭记录，团队就无法判断结果变化究竟源于所用技术、运行环境，还是未被察觉的流水线修改。

最后，要问：什么发现会推翻“类别不平衡有帮助”这一主张？如果没有任何结果能够改变是否采用它的决定，那么这项评估就是营销。预先设定验收阈值并保留确认集，才能让这项工作成为真正的证据。

采用目标类别不平衡前应提出的问题

• 目标：类别不平衡旨在解决哪个可衡量的瓶颈？
• 机制：五个阶段中的哪一个包含了这一独特的转换过程？
• 基线：与不符合真实类别占比的类别均衡数据集或其他更简单的替代方案相比，效果如何？
• 证据：测试过哪些常见、困难、对抗性和子群体案例？
• 运维：规模扩大后，会产生哪些延迟、内存、计算、能耗、维护和审核成本？
• 风险：团队将如何发现模型可能通过完全忽略少数类来取得高准确率？
• 恢复：系统能否在造成伤害之前暂不作出判断、回退、回滚或升级处理？

研究目标类别不平衡的主要资料来源

了解 AI 技术栈中与类别不平衡相关部分的权威入门资料包括 scikit-learn 模型选择指南、Google《机器学习规则》和 NIST AI RMF。阅读这些资料时，还应参考所涉及的具体模型、数据集、硬件和司法管辖区的文档。通用资料可以说明其作用机制，但只有针对具体部署的证据，才能证明某种实现适用。

关于目标类别不平衡，应该记住什么

类别不平衡是更大规模社会技术系统中的一种明确机制。它的价值在于满足明确条件、改善具体结果，而不在于这个标签本身。五阶段框架展现了信息流向，对比分析指出了它并非什么，而控制路径则说明负责任的操作人员可以在哪里介入。

应对类别不平衡的实用原则是：明确目标，与可信的基线进行比较，测试最重要的故障情形，并保留监测变化所需的证据。具备这些要素后，这一概念就成为一项可供评估的工程与治理选择。缺少这些要素，它就只是一个听起来有前景、却伴随着未知运行风险的名称。