AI 基础
文本分类是如何工作的？
将 Unite.AI 添加到您在 Google 上的首选来源
文本分类 为文档、消息或文本片段分配一个或多个标签。示例包括垃圾邮件检测、意图路由、情感分析、主题标记、内容审核以及支持工单优先级划分。
在生产环境中，分类器不仅仅是模型本身。它依赖于精确的标签体系、具代表性的标注、避免泄漏的数据划分、校准的决策规则以及对语言变化和类别分布的监控。
关键要点
- 在选择架构之前先定义标签及模糊情况。
- 简单的词袋基线仍然有价值；预训练编码器则提供上下文并实现迁移学习。
- 准确率可能掩盖少数类表现不佳，因此需使用面向类别的指标并进行错误分析。
- 概率校准、弃权以及人工审查可将分数转化为更安全的决策。
定义标签体系和标注策略
单标签任务选择一个互斥的类别。多标签任务可以分配多个独立的标签。层级标签体系包含父标签和子标签。这些是不同的学习问题，需要不同的输出和评估指标。
标注员需要标签定义、正负示例、缺失上下文的处理规则以及升级路径。协议统计可以揭示任务不明确，但分歧也可能体现系统应保留的真实歧义。
文本表示
传统流水线使用词频计数、n-gram 和 TF-IDF，结合线性分类器或支持向量机。它们训练速度快，能够展示关键词汇，并提供强有力的基线。
神经网络系统将标记映射为嵌入。预训练的 Transformer 编码器利用注意力机制生成上下文表示，并可通过标注示例进行微调。提示式或零样本分类器能够降低初始标注工作量，但其标签措辞、模型版本和校准必须在实际领域中评估。
防止泄漏的训练
数据集需划分为训练、验证和最终测试集。近似重复的文档、同一对话中的消息或同一来源的模板应保持在同一划分中。对于时间相关的使用场景，按时间顺序划分更能真实反映部署情况。
类别不平衡可通过加权、重采样、阈值选择或补充数据来缓解。合成样本不应取代对真实少数类错误的审查，且可能引入模型容易学习的伪影。
指标与校准决策
混淆矩阵展示了哪些标签之间容易混淆。精确率衡量预测为正的样本中有多少是正确的；召回率衡量实际正样本中有多少被找出。宏平均对各类别等权，微平均则按样本计数加权。
原始的 softmax 分数并不自动等同于可信的概率。校准通过将置信度与实际正确率对比来实现。团队可以为每个类别设定阈值，在置信度低时弃权，并将敏感案例转交审阅者。
部署、多语言使用与漂移
文本会随产品、事件、俚语以及对抗行为而变化。监控应跟踪输入语言、长度、超出词表的模式、类别比例、置信度以及延迟结果。重新训练需要版本化的数据以及包含关键示例的回归测试套件。
多语言性能必须针对每种语言和方言进行测试。将所有内容翻译成单一语言可能会改变情感或实体；多语言编码器仍可能表现不均，因为其预训练和标签并未同等代表所有语言。
表示方法与分类器族
文本分类将文档、句子或标记序列映射到一个或多个标签。需明确标签是互斥的、多标签的、层级的、有序的还是开放集合。传统流水线对文本进行分词，构建词袋或 TF–IDF 特征，并训练逻辑回归、朴素贝叶斯或线性 SVM。神经系统通过卷积、循环或 Transformer 学习嵌入。提示式语言模型可在无需特定任务训练的情况下进行分类，但输出约束、成本、漂移以及证据仍需相对于更简易基线进行评估。
预处理取决于所采用的表示方式。小写化或去除标点可能破坏人名、情感、代码或语言的信号；词干提取可能合并不同含义。Transformer 分词器基于子词并有长度限制，因此截断策略至关重要。长文档可能需要切块并聚合。应保留原始文本及其转换版本，并按作者、对话、来源或时间划分，以防近似重复和重复模板跨越训练与测试。
标签、指标与错误分析
标注指南应明确范围、示例、模糊情况以及未知或弃权选项。应衡量一致性并对分歧进行裁定，而不是通过多数投票隐藏它。对于不平衡的类别，准确率不足以评估；需按类别报告精确率、召回率、F1、混淆矩阵、校准以及阈值对应的工作量。多标签任务需要微观、宏观以及标签层面的指标。评估时要考虑语言、方言、领域、消息长度和时间。当词汇或模板漂移时，随机划分可能夸大质量。
错误分析应区分表示失效、上下文不足、标签歧义、罕见词汇、否定、讽刺以及虚假线索。可使用反事实测试，改变姓名、方言标记或无关元数据而保持语义不变。检查高置信度错误和被拒案例。模型可能学习到客户渠道或签名预测标签，而非真正理解内容。应在单纯提升模型容量之前消除泄漏并修正数据。
生产设计
提供固定的分词器和模型，并配合模式验证、长度限制、批处理，以及对不支持语言或低置信度的回退机制。监控输入分布、标签比例、校准情况、延迟以及审查结果。保护文本内容，因为其中可能包含个人、机密或对抗性指令。对于自动审核、资格判定或路由，需要提供申诉渠道并衡量不同错误。标签和阈值应随业务策略进行版本管理。文本分类仅在其定义的标签体系和数据分布范围内可靠；流畅的模型解释并不等同于分类正确。
实际案例：对来件支持请求进行分类
支持团队定义互斥的路由标签，并加入紧急、多语言和未知标记。标注员在去标识化的消息上进行标注，提供混合问题的指引并衡量一致性。使用相同的基于时间的测试集，对 TF–IDF 逻辑回归基线、微调的编码器以及提示模型进行评估。报告内容包括各类别的精确率与召回率、紧急类的漏报、校准情况、模式有效性、延迟和成本，并将近似重复的模板分组以避免泄漏。
部署后的分类器会验证语言和长度，对证据薄弱的情况弃权，并允许客服人员纠正路由。提示和消息被视为不可信；工具访问被禁用。监控记录标签流行度、置信度、纠正情况、响应时间以及新出现的话题。政策或产品的变更会通过审查更新标签体系和再训练数据。系统提升了队列分配效率，但它永远不会在已验证标签之外推断客户情绪或权利。
实施证据与运营准备
生产决策需要的不仅是一次成功演示。必须明确预期用户、运行环境、输入、输出、依赖关系、负责人以及每类关键失效的后果。调优前要建立可复现的基线和版本化的评估集。测试常规案例、边界条件、格式错误或缺失的输入、分布漂移、依赖故障、误用以及最可能被忽视的群体或环境。需同时衡量任务质量、校准或不确定性、延迟、吞吐量、资源成本、可访问性、隐私和安全性。记录所有转换和阈值，以便独立审阅者复现结果并区分证据与吸引人的原型。
上线前，需要指定发布、例外、变更、回滚和退役的责任人。采用分阶段发布，保留安全回退，并通过人为注入故障验证监控。运营遥测应揭示输入质量、输出行为、模型或规则版本、依赖健康状况、人为覆盖以及确认的结果，同时避免收集不必要的敏感数据。设定警报阈值和响应负责人，然后在部署后审查真实世界的证据，而不是假设离线表现会持续。每当数据来源、用户、模型、供应商、政策、硬件或目标变化时都需重新评估。维护中的系统还需有文档化的恢复、事件学习、删除与保留流程，以及明确的停用或替换时点。
常见问题
情感分析是文本分类任务吗？
通常是，但情感可以是多标签、基于方面或连续的，而不是单一的正面/中性/负面标签。
何时应让文本分类器弃权？
当置信度低、文本超出范围、缺少必要上下文，或错误自动操作的代价超过审查成本时。
主要参考文献
