Nền tảng AI
ETL là gì? Giải thích quá trình Trích xuất, Chuyển đổi, Tải dữ liệu
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
ETL—extract, transform, load—là một mẫu tích hợp dữ liệu đọc dữ liệu từ các hệ thống nguồn, xác thực và định dạng lại, sau đó ghi vào một đích phù hợp cho phân tích, báo cáo, học máy hoặc vận hành.
Một pipeline ETL sản xuất không chỉ gồm ba khối. Nó cần thực thi lặp lại được, kiểm soát schema và chất lượng, truy xuất nguồn gốc, điều phối, quan sát, bảo mật và một cách an toàn để sao chép lại hoặc phát lại dữ liệu khi logic thay đổi.
Những điểm chính
- Quá trình trích xuất nên giảm thiểu ảnh hưởng tới nguồn và ghi lại khoảng thời gian hoặc tập hợp thay đổi đã được nắm bắt.
- Việc chuyển đổi mã hoá ý nghĩa kinh doanh, vì vậy chúng cần kiểm soát phiên bản, kiểm thử và quyền sở hữu.
- Quá trình tải nên idempotent hoặc có biện pháp bảo vệ tránh trùng lặp và thất bại một phần.
- ETL so với ELT chủ yếu khác nhau ở nơi thực hiện chuyển đổi; các hệ thống hiện đại thường dùng cả hai.
Trích xuất dữ liệu một cách đáng tin cậy
Các nguồn có thể bao gồm cơ sở dữ liệu, tệp, API, luồng sự kiện và ứng dụng. Trích xuất toàn bộ sao chép một tập hợp hoàn chỉnh; trích xuất tăng dần đọc các bản ghi đã thay đổi kể từ điểm kiểm soát. Capture thay đổi dữ liệu (change-data capture) tiêu thụ log hoặc sự kiện của cơ sở dữ liệu để giảm việc quét lặp lại.
Ghi lại các định danh nguồn, ranh giới thời gian và điểm kiểm soát. Tôn trọng giới hạn tốc độ và ngữ nghĩa giao dịch. Nếu một nguồn thay đổi schema một cách im lặng, hãy dừng an toàn hoặc cô lập các bản ghi thay vì tải dữ liệu mơ hồ như thể không có gì xảy ra.
Chuyển đổi với các hợp đồng rõ ràng
Quá trình chuyển đổi chuẩn hoá kiểu dữ liệu và đơn vị, phân tích bản ghi, nối các nguồn, loại bỏ hoặc gắn cờ trùng lặp, áp dụng quy tắc kinh doanh và tính toán các đặc trưng. Tách dữ liệu không hợp lệ khỏi dữ liệu thiếu nhưng chấp nhận được, và giữ đủ bằng chứng để truy vết đầu ra trở lại đầu vào.
Phiên bản các chuyển đổi theo cách kỷ luật giống như phân phối phần mềm. Các kiểm thử nên bao phủ schema, phạm vi, tính toàn vẹn tham chiếu, phân phối mong đợi và các ví dụ đã biết. Một hợp đồng dữ liệu định nghĩa các kỳ vọng giữa nhà sản xuất và người tiêu dùng.
Tải một cách an toàn và lặp lại được
Một quá trình tải có thể thêm sự kiện, hợp nhất các bản ghi đã thay đổi, thay thế một phân vùng hoặc xây dựng lại bảng. Idempotence có nghĩa là chạy lại cùng một đầu vào sẽ tạo ra cùng một trạng thái đích. Giao dịch, bảng tạm và hoán đổi nguyên tử giảm thiểu rủi ro cập nhật một phần.
Phân vùng và chỉ mục nên phù hợp với mô hình tiêu thụ. Bảo vệ các trường nhạy cảm và áp dụng quyền truy cập đích trước khi dữ liệu trở nên có thể truy vấn. Các yêu cầu về lưu trữ và xóa phải đi kèm với dữ liệu.
ETL, ELT, xử lý theo lô và streaming
ETL truyền thống chuyển đổi trong một engine riêng trước khi tải. ELT tải dữ liệu thô hoặc đã qua xử lý nhẹ đầu tiên, sau đó sử dụng tính toán tại đích để thực hiện chuyển đổi. Một kho dữ liệu hoặc lakehouse trên đám mây có thể làm cho ELT thuận tiện, nhưng nó không loại bỏ công việc về chất lượng hay quản trị.
Pipeline xử lý theo lô (batch) xử lý các khoảng thời gian có giới hạn; pipeline streaming xử lý các sự kiện liên tục với ngữ nghĩa thời gian và thứ tự xác định. Nhiều kiến trúc sử dụng ingestion streaming sau đó thực hiện hòa giải định kỳ, vì dữ liệu trễ hoặc đã chỉnh sửa là điều bình thường.
Điều phối, truy xuất nguồn gốc và quan sát
Một orchestrator lên lịch các tác vụ, tôn trọng phụ thuộc, thử lại các lỗi đã định nghĩa và ghi lại trạng thái. Các lần thử lại cần có giới hạn và các tác vụ idempotent. Việc sao chép lại (backfill) nên được cô lập và có ý thức về khả năng để việc sửa chữa lịch sử không làm gián đoạn dữ liệu hiện tại.
Giám sát độ tươi mới, khối lượng, schema, chất lượng, thời gian và chi phí. Truy xuất nguồn gốc và lớp siêu dữ liệu của một data fabric giúp người tiêu dùng hiểu phiên bản nào đã tạo ra bộ dữ liệu và gì đã bị hỏng ở phía trên.
Extract: sources, contracts, and incremental capture
ETL di chuyển dữ liệu từ các hệ thống nguồn, chuyển đổi chúng thành các cấu trúc được quản trị, và tải vào đích. Quá trình trích xuất có thể sử dụng tệp, truy vấn cơ sở dữ liệu, API, log, luồng, hoặc capture thay đổi dữ liệu. Xác định quyền sở hữu nguồn, schema, khóa, dấu thời gian, múi giờ, đơn vị, ngữ nghĩa xóa và các quy tắc tải cho phép. Trích xuất toàn bộ đơn giản nhưng tốn kém; capture tăng dần giảm khối lượng nhưng cần các watermark, vị trí log hoặc trường phiên bản và chiến lược cho các bản ghi trễ và đã chỉnh sửa.
Không nên cho rằng một API trả về thành công đồng nghĩa với việc trích xuất hoàn chỉnh. Ghi lại số lượng bản ghi, checksum, khoảng trống chuỗi, phân trang, giới hạn tốc độ, thử lại và ảnh chụp nguồn. Lưu trữ dữ liệu thô bất biến ở nơi chính sách cho phép để các chuyển đổi có thể được phát lại. Bảo vệ thông tin đăng nhập và các trường nhạy cảm, và làm cho các lần thử lại idempotent. Các thay đổi schema nên được phân loại là tương thích hoặc phá vỡ thông qua các hợp đồng thay vì được phát hiện khi một dashboard hạ nguồn thay đổi im lặng.
Transform and load with reproducible semantics
Quá trình chuyển đổi phân tích kiểu, chuẩn hoá đơn vị, loại bỏ trùng lặp, nối, áp dụng quy tắc kinh doanh, quản lý lịch sử và suy ra các thực thể và chiều. Mỗi quy tắc cần kiểm thử và truy xuất nguồn gốc. Áp dụng tiền xử lý thống kê chỉ trên dữ liệu đào tạo phù hợp khi ETL cung cấp cho ML. Các chiều thay đổi chậm quyết định việc thay đổi thuộc tính có ghi đè hay bảo tồn lịch sử. Xác định mức độ chi tiết của fact trước khi nối; lỗi many-to-many tạo ra các đo lường trùng lặp có thể tồn tại qua các kiểm tra hàng cơ bản.
Tải có thể thêm, hợp nhất, thay thế phân vùng hoặc cập nhật bản ghi. Sử dụng bảng tạm và hoán đổi nguyên tử khi có thể để người đọc không thấy trạng thái một phần. Thực thi tính duy nhất, quan hệ, giá trị chấp nhận, độ đầy đủ và các bất biến kinh doanh. Xử lý các sự kiện trễ và backfill với thời gian sự kiện và mã phiên bản. Hòa giải với tổng số nguồn là cần thiết cho dữ liệu tài chính và vận hành. ELT tải dữ liệu thô trước khi chuyển đổi tại đích; các yêu cầu quản trị và độ chính xác vẫn còn nguyên.
Operations and recovery
Điều phối quản lý phụ thuộc, lịch trình, thử lại, đồng thời và cảnh báo. Giám sát độ tươi mới, khối lượng, chất lượng, thời gian, chi phí và tác động xuống dây chuyền. Một job thất bại nên có khả năng tiếp tục hoặc phát lại mà không tạo trùng lặp. Phiên bản mã và schema, duy trì truy xuất nguồn gốc, và kiểm thử backfill trong môi trường cô lập. Khôi phục thảm họa bao gồm dữ liệu thô, danh mục, quyền, trạng thái điều phối và định nghĩa ngữ nghĩa. ETL đáng tin cậy khi người dùng có thể truy vết một chỉ số tới nguồn và tái tạo lại nó sau khi thay đổi—không chỉ khi một pipeline xanh hoàn thành.
Worked example: an incremental order pipeline
Một job ETL đọc log thay đổi cơ sở dữ liệu cho đơn hàng và mặt hàng, lưu trữ các sự kiện bất biến, xác thực chuỗi và schema, và hợp nhất chúng vào một bảng fact trong kho dữ liệu ở mức độ một dòng đơn hàng. Thời gian sự kiện và phiên bản cập nhật xử lý các chỉnh sửa trễ; khóa xác định quyết định việc phát lại idempotent. Các chiều bảo tồn lịch sử khách hàng và sản phẩm đã chọn qua các surrogate key. Số lượng hàng, tổng đơn hàng, thuế, trả hàng và hủy bỏ được hòa giải với các kỳ nguồn.
Một thay đổi trường nguồn gây phá vỡ sẽ dừng việc đưa dữ liệu vào các bảng tin cậy và cảnh báo chủ sở hữu với truy xuất nguồn gốc xuống dây chuyền. Các backfill chạy với mã phiên bản trong môi trường cô lập và được so sánh trước khi thực hiện hoán đổi nguyên tử. Chính sách truy cập hạn chế các định danh khách hàng, và việc xóa lan truyền tới các bản sao được phép. Giám sát bao gồm độ tươi mới, khối lượng, chất lượng, chi phí và ảnh hưởng tới dashboard. Kiểm thử khôi phục xây dựng lại một kỳ từ các sự kiện thô và phục hồi trạng thái điều phối. Một scheduler xanh không đủ nếu các số liệu kinh doanh không được tái tạo và hòa giải.
Implementation evidence and operational readiness
Một quyết định sản xuất cần nhiều hơn một buổi demo thành công. Xác định người dùng mục tiêu, môi trường vận hành, đầu vào, đầu ra, phụ thuộc, chủ sở hữu và hậu quả của mỗi lỗi quan trọng. Thiết lập một baseline có thể tái tạo và một bộ đánh giá có phiên bản trước khi tinh chỉnh. Kiểm thử các trường hợp thông thường, điều kiện biên, đầu vào sai định dạng hoặc thiếu, dịch chuyển phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị thiếu hỗ trợ. Đo lường chất lượng nhiệm vụ cùng với hiệu chuẩn hoặc độ không chắc, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi chuyển đổi và ngưỡng để một người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một nguyên mẫu hấp dẫn.
Trước khi ra mắt, chỉ định quyền cho việc phát hành, ngoại lệ, thay đổi, quay lại và ngừng sử dụng. Sử dụng triển khai theo giai đoạn, duy trì một fallback an toàn, và xác minh giám sát bằng các thất bại được chèn có chủ đích. Telemetry vận hành nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, sức khỏe phụ thuộc, can thiệp của con người, và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Định nghĩa ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau khi triển khai thay vì giả định hiệu suất offline sẽ kéo dài. Đánh giá lại mỗi khi nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần có tài liệu khôi phục, học hỏi từ sự cố, quy trình xóa và lưu trữ, và một điểm rõ ràng khi nó nên bị vô hiệu hoá hoặc thay thế.
Frequently asked questions
Is ETL obsolete in cloud data platforms?
Không. Một số nền tảng ưu tiên ELT, nhưng trách nhiệm trích xuất, chuyển đổi và tải vẫn tồn tại. Các đội thường kết hợp cả hai mẫu.
What makes an ETL pipeline idempotent?
Nó có thể xử lý lại cùng một đầu vào mà không tạo ra trạng thái đích trùng lặp hoặc không nhất quán, thường thông qua các khóa ổn định, điểm kiểm soát và ghi ghi giao dịch.
Primary references
