AI 101
什么是 ETL？ （提取、转换、加载）方法和用例
ETL 代表“提取、转换、加载”。 它是一个将来自不同来源的数据集成到单个存储库中的过程，以便可以对其进行处理和分析，从而可以从中推断出有用的信息。 这些有用的信息可以帮助企业做出数据驱动的决策并实现增长。
“数据是新石油。”
克莱夫·亨比，数学家
全球数据创建量呈指数级增长，据《福布斯》报道，按照目前的速度，人类的数据创建量每两年翻一番。 结果，现代数据堆栈得到了发展。 数据集市已经转变为数据仓库，当这还不够时，数据湖就被创建了。 尽管在所有这些不同的基础设施中，有一个流程保持不变，即 ETL 流程。
在本文中，我们将研究 ETL 的方法、它的用例、它的好处，以及这个过程如何帮助形成现代数据格局。
ETL方法论
ETL 可以将不同来源的数据集成到一处，以便对其进行处理、分析，然后与企业利益相关者共享。它确保用于机器学习模型报告、分析和预测的数据的完整性。这是一个三步过程，从多个来源提取数据，对其进行转换，然后将其加载到商业智能工具中。然后，企业使用这些商业智能工具来做出数据驱动的决策。
提取阶段
在此阶段，使用 SQL 查询、Python 代码、DBMS（数据库管理系统）或 ETL 工具从多个来源提取数据。 最常见的来源是：
- CRM（客户关系管理）软件
- 分析工具
- 数据仓库
- 数据库
- 云存储平台
- 销售和营销工具
- 移动应用程序
这些来源要么是结构化的，要么是非结构化的，这就是为什么现阶段数据的格式不统一的原因。
转型阶段
在转换阶段，提取的原始数据被转换并编译成适合目标系统的格式。 为此，原始数据经历一些转换子过程，例如：
- 清理——解决不一致和缺失的数据。
- 标准化——自始至终应用统一的格式。
- 重复删除——删除冗余数据。
- 发现异常值——发现异常值并对其进行标准化。
- 排序——以提高效率的方式组织数据。
除了重新格式化数据之外，还有其他原因需要转换数据。 如果数据中存在空值，则应将其删除； 除此之外，数据中经常存在异常值，这会对分析产生负面影响； 它们应该在转型阶段得到解决。 我们经常会遇到冗余的数据，对业务没有任何价值； 这些数据在转换阶段被丢弃，以节省系统的存储空间。 这些都是转型阶段要解决的问题。
负载阶段
一旦提取原始数据并通过转换过程进行定制，就会将其加载到目标系统中，该目标系统通常是数据仓库或数据湖。 有两种不同的方法来执行加载阶段。
- 完全加载：所有数据在目标系统中第一次加载。 它在技术上不太复杂，但需要更多时间。 当数据量不太大时，它是理想的选择。
- 增量加载：增量加载，顾名思义，就是以增量的方式进行。 它有两个子类别。
- 流增量加载：数据按时间间隔加载，通常是每天加载。 当数据量较小时，这种加载效果最好。
- 批量增量加载：增量加载的批量类型是分批加载数据，两批之间有一定的间隔。 当数据太大时，它是理想的选择。 它速度很快，但技术上更复杂。
ETL 工具的类型
ETL有两种方式进行，手动ETL或无代码ETL。 在手动 ETL 中，几乎没有自动化。 一切都是由数据科学家、数据分析师和数据工程师组成的团队编码的。 所有提取、转换和加载的管道都是手动为所有数据集设计的。 这一切都会造成巨大的生产力和资源损失。
另一种选择是无代码 ETL； 这些工具通常具有拖放功能。 这些工具完全消除了编码的需要，因此甚至允许非技术人员执行 ETL。 对于交互式设计和包容性方法，大多数企业使用 Informatica、Integrate.io、IBM Storage、Hadoop、Azure、Google Cloud Dataflow 和 Oracle Data Integrator 进行 ETL 操作。
数据行业存在四种类型的无代码 ETL 工具。
- 商业ETL工具
- 开源 ETL 工具
- 自定义ETL工具
- 基于云的 ETL 工具
ETL 最佳实践
应遵循一些实践和协议以确保优化 ETL 管道。 下面讨论最佳实践：
- 了解数据的背景：应该正确理解数据的收集方式以及指标的含义。 它将有助于确定哪些属性是多余的并且应该被删除。
- 恢复检查点：如果管道损坏并且发生数据泄漏，则必须制定协议来恢复泄漏的数据。
- ETL 日志：必须维护 ETL 日志，其中记录了 ETL 周期之前、期间和之后对数据执行的每个过程。
- 审核：在一段时间后检查数据，以确保数据处于您想要的状态。
- 小数据量：数据库及其表的大小应保持较小，以便数据在水平方向上的分布多于垂直方向的分布。 这种做法确保了处理速度的提高，进而加快了 ETL 过程。
- 制作缓存层：缓存层是一个高速数据存储层，它将最近使用的数据存储在磁盘上，以便可以快速访问。 当缓存的数据是系统请求的数据时，这种做法有助于节省时间。
- 并行处理：将ETL视为串行流程会消耗业务的大量时间和资源，这使得整个流程效率极低。 解决方案是同时进行并行处理和多个 ETL 集成。
ETL 用例
ETL 通过多种方式使企业运营平稳高效，但我们将在这里讨论三个最流行的用例。
上传至云端：
在本地存储数据是一种昂贵的选择，企业需要花费资源来购买、保留、运行和维护服务器。 为了避免所有这些麻烦，企业可以直接将数据上传到云端。 这节省了宝贵的资源和时间，然后可以将其投资于改进 ETL 流程的其他方面。
合并来自不同来源的数据：
数据通常分散在组织中的不同系统中。 通过使用 ETL 流程，可以将不同来源的数据合并到一处，以便对其进行处理和分析，以便稍后与利益相关者共享。 ETL 可确保来自不同来源的数据采用统一格式，同时保持数据完整性。
预测建模：
数据驱动的决策是成功业务战略的基石。 ETL 通过提取数据、转换数据，然后将其加载到与机器学习模型链接的数据库中来帮助企业。 这些机器学习模型在数据经过 ETL 过程后对其进行分析，然后根据该数据进行预测。
ETL 在数据领域的未来
ETL 无疑扮演着数据架构支柱的角色； 这种情况是否会保持下去还有待观察，因为随着零 ETL 在科技行业的引入，巨大的变化即将到来。 通过零 ETL，将不需要传统的提取、转换和加载过程，而是几乎实时地将数据直接传输到目标系统。
数据生态系统中有许多新兴趋势。 查看 团结.ai 扩展您对技术趋势的了解。
