AI 基础
什么是 ETL？提取、转换、加载 详解
将 Unite.AI 添加到您在 Google 上的首选来源
ETL——extract, transform, load——是一种数据集成模式，它从源系统读取数据，进行验证和重塑，然后写入适用于分析、报告、机器学习或运营的目标位置。
生产环境的 ETL 流水线不仅仅是三个模块。它需要可重复执行、模式和质量控制、血缘、编排、可观测性、安全性，以及在逻辑更改时安全地回填或重放数据的方式。
关键要点
- 提取应尽量减少对源系统的影响，并记录所捕获的时间间隔或变更集。
- 转换编码业务含义，因此需要版本控制、测试和所有权。
- 加载应具备幂等性，或以其他方式防止重复和部分失败。
- ETL 与 ELT 的主要区别在于转换执行的位置；现代系统通常同时使用两者。
可靠地提取数据
数据源可以包括数据库、文件、API、事件流和应用程序。完整提取会复制整个数据集；增量提取读取自检查点以来发生变化的记录。变更数据捕获（CDC）通过消费数据库日志或事件来减少重复扫描。
记录源标识符、时间边界和检查点。遵守速率限制和事务语义。如果源系统静默更改模式，应安全失败或将记录隔离，而不是像什么都没发生一样加载模糊数据。
使用明确合同进行转换
转换会标准化类型和单位，解析记录，连接源数据，删除或标记重复项，应用业务规则并计算特征。将无效数据与缺失但可接受的数据分离，并保留足够的证据以将输出追溯到其输入。
以与 软件交付 相同的严谨方式对转换进行版本管理。测试应覆盖模式、范围、参照完整性、预期分布和已知示例。数据合同定义了生产者和消费者之间的期望。
安全且可重复地加载
加载可以追加事件、合并变更记录、替换分区或重建表。幂等性意味着重新运行相同的输入会产生相同的目标状态。事务、暂存表和原子交换可以降低部分更新的风险。
分区和索引应匹配消费模式。保护敏感字段并在数据可查询之前应用目标权限。保留和删除要求必须随数据一起传递。
ETL、ELT、批处理与流式处理
传统的 ETL 在加载前于独立引擎中进行转换。ELT 则先加载原始或轻度处理的数据，然后利用目标计算进行转换。云数据仓库或湖仓可以让 ELT 更加便利，但并未消除质量或治理工作。
批处理流水线处理有界的时间区间；流式流水线处理具有明确时间和顺序语义的持续事件。许多架构采用流式摄取后进行周期性对账，因为延迟或更正的数据是常态。
编排、血缘与可观测性
编排器调度任务，遵守依赖关系，对定义的失败进行重试并记录状态。重试需要设限并确保任务幂等。回填应隔离且考虑容量，以免历史修复影响当前数据。
监控新鲜度、数据量、模式、质量、时长和成本。数据织体的血缘和元数据层帮助使用者了解哪个版本生成了数据集以及上游出现了什么问题。
提取：来源、合同与增量捕获
ETL 将数据从源系统移动，转换为受治理的结构，并加载到目标位置。提取可以使用文件、数据库查询、API、日志、流或变更数据捕获。需定义源的所有权、模式、键、时间戳、时区、单位、删除语义以及允许的加载方式。完整提取简单但成本高；增量捕获降低数据量，但需要水印、日志位置或版本字段，并制定对延迟和更正记录的策略。
不要假设 API 成功即代表完整提取。需要记录计数、校验和、序列缺口、分页、速率限制、重试以及源快照。将不可变的原始数据存储在政策允许的地方，以便可以重放转换。保护凭证和敏感字段，并使重试具备幂等性。模式更改应通过合同分类为兼容或破坏性，而不是等到下游仪表盘静默变化时才被发现。
以可复现语义进行转换和加载
转换解析类型、标准化单位、去重、连接、应用业务规则、管理历史，并生成事实和维度。每条规则都需要测试和血缘。在 ETL 为机器学习提供数据时，仅在合适的训练数据上进行统计预处理。缓慢变化的维度决定属性更改是覆盖还是保留历史。声明事实粒度后再进行连接；多对多错误会产生重复的度量，即使基本行检查也可能无法发现。
加载可以追加、合并、替换分区或更新记录。尽可能使用暂存表和原子交换，以免读者看到部分状态。强制唯一性、关系、可接受值、完整性和业务不变式。使用事件时间和版本化代码处理延迟事件和回填。针对源总量进行对账对金融和运营数据至关重要。ELT 在目标端先加载原始数据再进行转换；治理和正确性要求仍然存在。
运营与恢复
编排管理依赖关系、调度、重试、并发和警报。监控新鲜度、数据量、质量、时长、成本以及下游影响。失败的作业应在不产生重复的情况下恢复或重放。对代码和模式进行版本管理，维护血缘，并在隔离环境中测试回填。灾难恢复包括原始数据、目录、权限、编排状态和语义定义。当用户能够追溯指标到源并在变更后重新生成时，ETL 才是可信的——而不仅仅是当流水线显示为绿色时。
案例示例：增量订单流水线
ETL 作业读取订单和商品的数据库变更日志，存储不可变事件，验证序列和模式，并以订单行粒度合并到仓库事实表。事件时间和更新版本处理延迟更正；确定性键使重放具备幂等性。维度通过代理键保留选定的客户和产品历史。行数、订单总额、税额、退货和取消与源期间进行对账。
源字段的破坏性更改会阻止向可信表的提升，并通过下游血缘提醒所有者。回填在隔离环境中使用版本化代码运行，并在原子交换前进行比较。访问策略限制客户标识符，删除操作会传播到允许的派生副本。监控覆盖新鲜度、数据量、质量、成本和仪表盘影响。恢复测试从原始事件重建一个周期并恢复编排状态。仅有绿色调度器不足以保证业务数据可复现并已对账。
实施证据与运营准备
生产决策需要的不仅是一次成功演示。需明确预期用户、运行环境、输入、输出、依赖、所有者以及每个重要故障的后果。调优前建立可复现的基线和版本化的评估集。测试常规案例、边界条件、畸形或缺失的输入、分布漂移、依赖中断、误用，以及最可能被忽视的群体或环境。衡量任务质量时同步考虑校准或不确定性、延迟、吞吐量、资源成本、可访问性、隐私和安全性。记录每一次转换和阈值，以便独立审阅者能够复现结果并将证据与诱人的原型区分开来。
上线前，指定发布、例外、变更、回滚和退役的授权人。采用分阶段发布，保留安全回退，并通过人为注入故障来验证监控。运营遥测应揭示输入质量、输出行为、模型或规则版本、依赖健康、人为覆盖以及已确认的结果，同时避免收集不必要的敏感数据。定义警报阈值和响应负责人，然后在部署后审查真实世界的证据，而不是假设离线性能会持续。每当数据源、用户、模型、供应商、政策、硬件或目标发生变化时都要重新评估。维护中的系统同样需要有文档化的恢复、事件学习、删除与保留流程，以及明确的停用或替换时点。
常见问题
在云数据平台上，ETL 已过时吗？
不会。有些平台倾向于 ELT，但提取、转换和加载的职责仍然存在。团队通常会结合两种模式使用。
是什么让 ETL 流水线具备幂等性？
它能够安全地再次处理相同的输入而不会产生重复或不一致的目标状态，通常通过稳定的键、检查点和事务写入实现。
主要参考文献
