AI 基础
什么是梯度提升？
将 Unite.AI 添加到您在 Google 上的首选来源
梯度提升 通过分阶段构建加法预测模型。每个新的弱学习器——通常是浅层决策树——被训练以通过逼近所选损失函数的负梯度来降低当前集成的错误。
最终的预测是众多小幅修正的总和。这能够对表格数据中的非线性关系和交互进行建模，但由于同样的灵活性可能拟合噪声和泄漏，需要进行仔细的验证。
关键要点
- 梯度提升是函数空间的梯度下降: 每个学习器将集成模型向更低的损失方向推进。
- 学习率和树的数量在步长与模型规模之间进行权衡。
- 树的深度控制交互复杂度；子抽样和正则化可以降低过拟合。
- XGBoost、LightGBM 和 CatBoost 是相关实现，它们在工程实现和对类别特征的处理上各有不同。
顺序误差校正
从一个简单的常数预测开始。计算每个训练样本的损失变化，然后对这些负梯度拟合一棵 决策树。将该树的缩放版本加入集成模型并重复此过程。
对于平方误差回归，负梯度即为残差，这使过程直观。其他可微损失会产生用于分类、稳健回归或排序的不同伪残差。
学习率、树深度与迭代轮数
较小的学习率使每棵树的修正更温和，通常需要更多的迭代轮次。浅层树限制交互阶数；更深的树能够捕获更复杂的模式，但会增加方差和计算成本。
没有独立于数据的最佳设置。必要时在考虑时间或分组的验证上进行联合调参，并在能够反映实际部署的验证集上使用提前停止。
正则化与子抽样
行子抽样引入随机性并可降低方差。列子抽样限制对相同特征的重复依赖。L1/L2 惩罚、最小叶子节点大小、分裂增益阈值和最大深度对单棵树进行约束。
正则化并不能解决目标泄漏或不具代表性的划分。过拟合 控制必须从数据管道开始。
XGBoost、LightGBM 与 CatBoost
XGBoost 引入了具备稀疏感知算法的可扩展正则化树提升系统。LightGBM 采用直方图技术和叶子优先增长以提升效率。CatBoost 包含有序技术，旨在处理类别特征时降低目标泄漏。
各库的默认设置和类别处理方式不同。基准测试应包括预处理时间、内存占用、预测延迟以及原生缺失值行为，而不仅仅是训练速度。
评估与解释
使用适合任务的留出指标、用于风险决策的概率校准以及子组检查。基于分裂计数或增益的特征重要性可能存在偏差，且并不能建立因果关系。
偏依赖、累积局部效应以及 SHAP 风格的归因可以帮助检查模型行为，但相关特征会使解释变得复杂。当政策或解释约束占主导时，较为简单的线性或单调模型可能更为合适。
顺序树与残差校正
梯度提升一次添加一个弱学习器来构建加法模型。每棵新树近似所选损失函数相对于当前预测的负梯度——对平方误差回归而言是残差，对分类而言是经过转换的误差信号。学习率对每棵树的贡献进行缩放，而树的深度控制交互。大量浅层树能够捕获复杂的非线性关系。与 bagging 不同，树之间是依赖且顺序的，这提升了拟合能力，但也使方法对噪声、泄漏和调参更加敏感。
诸如梯度提升决策树的实现使用收缩、行和特征子抽样、直方图分裂、正则化以及高效的缺失值处理。XGBoost 利用二阶信息和显式惩罚；LightGBM 采用叶子增长并使用直方图和抽样技术；CatBoost 通过有序统计处理类别变量，以降低目标泄漏。它们的默认设置和类别处理方式各不相同。预处理和超参数搜索必须在训练折内进行，尤其在涉及目标编码时。
调参、解释与评估
关键控制参数包括树的数量、学习率、最大深度或叶子数、最小叶子样本、行列抽样以及正则化。较低的学习率通常需要更多的树。先在验证集上使用提前停止，然后在未触碰的测试集上进行确认。评估类别特定的指标、校准、错误成本以及随时间和子组的表现。树提升在表格基准上往往占优势，但在关系简单或数据不稳定时仍可能不如线性基线。
基于增益的特征重要性可能偏向具有众多分裂机会的变量。应谨慎使用置换重要性和 SHAP，检查相关特征，并进行反事实或消融测试。解释描述的是已拟合模型，而非因果效应。偏依赖在预测变量相关时可以评估不可能的特征组合。检查缺失或标识符是否成为捷径，以及单调约束是否得到领域规则的支持。
生产运营
序列化完整的特征管道、类别映射、模型以及阈值。跨库或编译器版本验证预测，并在实际的树数量和批量大小下测量延迟。监控模式、缺失情况、类别漂移、分数分布、校准以及结果。新类别和变更的源系统可能导致示例走入意外分支。保留回滚和再训练的证据。梯度提升对结构化数据非常强大，但其准确性依赖于特征含义的稳定、无泄漏的验证以及围绕复杂集成的运营控制。
案例示例：梯度提升用于理赔分流
一家保险公司使用提升树对理赔进行优先排序，以便专家审查，而非拒绝付款。特征仅限于入库时可获得的信息，类别编码在交叉验证折内完成，理赔按客户和时间进行划分。对比了正则化逻辑回归基线和多种提升库。评估报告包括审查员容量下的召回率、校准、误报负担、处理时间以及不同理赔类型和相关受影响群体的错误情况。
解释展示源字段和不确定性，但不被描述为欺诈的因果原因。支持度低的类别和缺失的模式会转入普通审查。完整的特征管道、模型和阈值都有版本控制；监控跟踪缺失情况、新类别、分数漂移、人工覆盖以及结果。政策或源系统的变更需要重新评估。如果模型仅仅转移工作负荷或在未验证的运营收益下导致审查不平等，则会被移除。
实施证据与运营准备
生产决策需要的不仅是成功的演示。需明确预期用户、运行环境、输入、输出、依赖、负责人以及每个关键失效的后果。在调参前建立可复现的基线和带版本的评估集。测试常规案例、边界条件、格式错误或缺失的输入、分布漂移、依赖中断、误用，以及最可能被服务不足的群体或环境。衡量任务质量时同步考虑校准或不确定性、延迟、吞吐量、资源成本、可访问性、隐私和安全。记录每一次转换和阈值，以便独立审查员能够复现结果并将证据与诱人的原型区分开来。
上线前，需指定发布、例外、变更、回滚和退役的责任人。采用分阶段发布，保留安全回退，并通过有意注入的故障验证监控。运营遥测应揭示输入质量、输出行为、模型或规则版本、依赖健康状况、人为覆盖以及已确认的结果，且不收集不必要的敏感数据。定义警报阈值和响应负责人，然后在部署后审查真实世界的证据，而不是假设离线性能会持续。每当数据源、用户、模型、供应商、政策、硬件或目标发生变化时都需重新评估。维护中的系统还需要有文档化的恢复、事件学习、删除与保留流程，以及明确的停用或替换时点。
常见问题
梯度提升与梯度下降是同一回事吗？
它在函数空间中使用梯度下降的思想，添加能够降低损失的学习器。基学习器通常是一棵树，而不是直接更新的参数向量。
为什么使用大量浅层树？
每棵树只进行有限的修正。它们的总和可以表达复杂函数，而树的深度和学习率则控制模型对交互的拟合力度。
主要参考文献
