AI 基础
现成模型与定制机器学习模型
将 Unite.AI 添加到您在 Google 上的首选来源
选择机器学习解决方案很少是一个简单的买现成还是自行构建的决定。真实的连续体从托管的 API 或打包模型，经过提示、检索和微调，直到在组织特定数据上训练的完全定制架构。
最佳方案是满足已验证产品需求的最简化方法。定制模型可以提供控制和差异化，但也会带来持续运营数据管道、评估、监控、安全、更新和回滚的义务。
关键要点
- 从可衡量的任务、非机器学习基线和接受阈值开始。
- 在代表性的私有数据上评估候选模型，而不仅仅依赖公共基准分数。
- 在总拥有成本中纳入集成、延迟、审查、再训练和事故成本。
- 倾向于可逆阶段:基线、检索或提示、微调，只有在证据支持时才从头训练。
在选择模型前先定义决策
明确用户、决策、输入、输出、错误成本、延迟预算、流量模式和升级路径。判断确定性规则或搜索系统是否已足够解决问题。Google 的机器学习规则建议在进行复杂建模前使用简单基线和可靠的基础设施。
创建一个反映生产环境的离线评估集，包括罕见和对抗性案例。当决策影响人群时，定义子群检查和人工审查规则。这些门槛使比较具体化，而不是把架构选择变成偏好。
复用与适配连续体
托管的 API 提供快速集成和托管扩展，但对模型内部、版本和数据处理的控制有限。开源的预训练模型提升部署控制。检索或提示工程可以在不更改权重的情况下添加领域上下文。
微调或参数高效适配器可以使行为专门化。仅当数据、目标、规模或所有权需求无法通过复用满足时，才合理从头训练。迁移学习通常能以显著更少的数据和计算捕获大部分价值。
质量、控制与锁定
衡量任务质量、校准、延迟、吞吐量、可用性和故障一致性。供应商模型可能会自动改进，但也可能改变行为；自托管模型可以固定版本，但需要团队管理升级和漏洞。
合同条款应涉及数据保留、训练使用、地区处理、知识产权、服务水平、导出路径和弃用。当应用将模型特定适配器与业务逻辑分离并存储可复现的评估制品时，可移植性会提升。
隐私、安全与运营
绘制每条数据流和威胁边界。敏感输入可能需要私有网络、本地推理或边缘 AI。自托管并不自动保证系统安全；它将安全和合规责任转移给运营者。
生产所有权包括可观测性、漂移检查、滥用监控、事件响应和回滚。运营团队必须能够回答是哪种模型、提示、数据版本和策略产生了结果。
使用分阶段证据，而非意识形态
对各选项使用相同数据集和接受标准进行限时基准测试。估算工程时间、标注、加速器使用、供应商费用、审查人力、故障成本以及预期的变更频率。
选择通过门槛的最简候选，然后随着需求或价格变化重新评估。定制在产生可衡量收益或必要控制时才有价值——而不是仅因为定制模型听起来在战略上重要。
需求与总体成本比较
现成模型、API 或打包系统提供预构建功能、供应商支持以及更快的初始部署。定制模型则针对特定任务、数据和运行环境进行训练或大幅适配。选择从需求开始:目标结果、子群体和极端案例的质量、延迟、吞吐量、可用性、可解释性、数据驻留、更新控制、集成、安全以及故障后果。通用基准或演示无法判断产品是否满足这些需求。
总体成本包括评估、数据准备、标注、集成、许可证或使用费、基础设施、监控、审查、事件响应、升级和退出。现成方案降低初始工程成本，但可能导致可变成本、锁定、行为变化以及可观测性受限。定制开发增加数据和 MLOps 责任，仍可能依赖预训练权重和供应商。模型成本应按满足所需质量的成功任务计量，而非仅按 token 或训练运行计费。
评估、采购与适配
在供应商选择前构建代表性的私有测试集，并在相同提示、预处理、阈值和运行限制下运行每个候选模型。包括模糊、对抗、不受支持、多语言以及高风险案例。衡量准确率、校准、延迟、成本、拒绝率、安全性和人工工作流影响。测试 API 中断、速率限制、地区行为和版本变更。供应商声明需提供培训、权利、隐私、保留、子处理器、安全、支持和事件通知的文档。
适配选项形成一个光谱:配置、检索、提示、微调、参数高效更新、定制头部或从头训练。使用满足证据的最简方法。检索适用于频繁变化的知识；微调可塑造格式或领域行为；确定性代码应处理精确规则。验证组合系统，因为即使是强大的基础模型也可能因检索不佳、权限或集成问题而失效。
生命周期与退出规划
托管产品可能会更改或消失，而定制模型若无所有者会成为技术债务。监控版本依赖、行为和结果，定义再训练或重新评估触发点，并保持回滚。保留迁移所需的数据和接口，协商删除和导出，避免在整个应用中暴露单一供应商的专有模式。最佳选择可能是混合模式:对通用任务使用商业能力，对领域性能、控制或风险产生持久价值的场景使用定制组件。
案例示例: 选择文档抽取模型
某公司创建了包含供应商、语言、扫描件、手写和极端案例的私有发票测试集，然后比较托管 API、开源预训练模型、适配模型和规则基线。它对字段准确率、金钱误差、不支持的文档、延迟、吞吐量、隐私、数据驻留、集成以及每张正确处理的发票的成本进行评分。供应商演示和公共基准无法替代这种匹配评估。
选定的混合方案使用商业 OCR 服务，并对低置信度或大额情况进行本地验证和人工审查。合同规定了保留、子处理器、更新和删除；架构保留源文件和退出路径。影子期用于检测模式和供应商差异。监控将 OCR、抽取、验证和审阅者校正分离。若供应商行为变化，团队可冻结、切换或将更多工作转移至其定制组件，而无需重写财务工作流。
实施证据与运营准备度
生产决策需要的不仅是成功演示。定义预期用户、运行环境、输入、输出、依赖、所有者以及每个重要故障的后果。调优前建立可复现的基线和带版本的评估集。测试普通案例、边界条件、畸形或缺失输入、分布漂移、依赖中断、误用以及最可能被服务不足的群体或环境。将任务质量与校准或不确定性、延迟、吞吐量、资源成本、可访问性、隐私和安全一起衡量。记录每一次转换和阈值，以便独立审查员能够复现结果并将证据与诱人的原型区分开来。
上线前，指定发布、例外、变更、回滚和退役的授权。使用分阶段发布，保留安全回退，并通过有意注入的故障验证监控。运营遥测应显示输入质量、输出行为、模型或规则版本、依赖健康、人为覆盖以及确认的结果，而不收集不必要的敏感数据。定义警报阈值和响应负责人，然后在部署后审查真实世界的证据，而不是假设离线性能会持续。每当数据源、用户、模型、供应商、政策、硬件或目标变化时重新评估。维护中的系统还需要有文档化的恢复、事件学习、删除和保留流程，以及明确的停用或替换时点。
常见问题
团队何时应从头训练模型？
当预训练或托管选项无法满足已验证的需求，并且团队拥有足够的专有数据、计算资源、专业知识和长期运营能力时。
现成模型是否免维护？
不是。集成、评估、版本变更、监控、隐私控制和回退行为仍由使用者负责。
主要参考文献
