Nền tảng AI
Kho Dữ Liệu Là Gì? Kiến Trúc, ETL và Các Trường Hợp Sử Dụng
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Kho dữ liệu là một hệ thống dữ liệu phân tích tích hợp thông tin từ các nguồn vận hành và tổ chức chúng cho việc báo cáo, trí tuệ kinh doanh và phân tích có thể lặp lại. Nó tách nhiều khối lượng công việc phân tích ra khỏi các ứng dụng ghi nhận giao dịch.
Các kho dữ liệu hiện đại có thể là dạng cột, phân tán, không máy chủ, hoặc kết nối với lưu trữ đối tượng. Công việc định nghĩa vẫn nhất quán: thu thập có quản trị, ý nghĩa được mô hình hoá, lịch sử, hiệu năng truy vấn, bảo mật, chất lượng và cung cấp đáng tin cậy cho người dùng.
Những điểm chính
- Hệ thống vận hành tối ưu hoá các giao dịch hiện tại; kho dữ liệu tối ưu hoá phân tích lịch sử trên nhiều nguồn.
- ETL thực hiện biến đổi trước khi tải, trong khi ELT tải trước và biến đổi bên trong nền tảng phân tích.
- Các mô hình chiều, chuẩn hoá và bảng rộng phục vụ các khối lượng công việc và nhu cầu quản trị khác nhau.
- Độ tin cậy phụ thuộc vào nguồn gốc, kiểm thử, độ tươi mới, kiểm soát truy cập, định nghĩa ngữ nghĩa và giám sát chi phí.
Nguồn, thu thập và lưu trữ
Dữ liệu có thể đến qua các lô, bắt thay đổi dữ liệu, luồng, tệp và API. Lớp hạ cánh bảo tồn ngữ cảnh nguồn; các phép biến đổi chuẩn hoá kiểu dữ liệu, loại bỏ bản sao, xử lý sự kiện trễ và tạo các thực thể phân tích có thể tái sử dụng.
Điều này mở rộng quy trình ETL. ELT sử dụng tính toán của kho dữ liệu để biến đổi, trong khi ETL có thể giảm hoặc xác thực dữ liệu trước khi tải. Lựa chọn phù hợp phụ thuộc vào độ trễ, quyền riêng tư, quy mô và chuỗi công cụ.
Mô hình dữ liệu cho các câu hỏi
Các mô hình chiều sắp xếp các sự kiện có thể đo lường quanh các chiều mô tả như khách hàng, sản phẩm và thời gian. Các mô hình lõi chuẩn hoá có thể bảo tồn các quan hệ doanh nghiệp, trong khi các mart phi chuẩn hoá đơn giản hoá các truy vấn thường gặp.
Lớp ngữ nghĩa cung cấp các chỉ số với định nghĩa nhất quán. Nếu không có nó, các nhóm có thể tạo ra nhiều con số doanh thu hoặc giữ chân trông hợp lệ từ cùng một hàng dữ liệu. Dữ liệu có cấu trúc vẫn cần ý nghĩa đã được thống nhất.
Kho dữ liệu, hồ dữ liệu và lakehouse
Hồ dữ liệu thường lưu trữ các tệp và dữ liệu thô hoặc đã xử lý đa dạng trong lưu trữ đối tượng. Kho dữ liệu cung cấp các bảng phân tích được quản lý và dịch vụ truy vấn. Thiết kế lakehouse bổ sung siêu dữ liệu bảng, giao dịch và quản trị cho lưu trữ hồ.
Đây là các mẫu kiến trúc, không phải cam kết. Các tổ chức thường kết hợp chúng thông qua một data fabric hoặc lớp quản trị chung. Khối lượng công việc, kỹ năng, khả năng tương tác và chi phí vòng đời quan trọng hơn nhãn gọi.
Chất lượng, bảo mật và vận hành
Xác định chủ sở hữu, hợp đồng, mục tiêu độ tươi mới, nguồn gốc, kiểm thử, lưu trữ và quyền truy cập theo hàng hoặc cột. Tách dữ liệu nhận dạng cá nhân, sử dụng nguyên tắc tối thiểu quyền, và kiểm toán các truy vấn nhạy cảm. Các quá trình bổ sung dữ liệu và thay đổi schema cần quy trình kiểm soát, có thể quan sát.
Đo lường các lần làm mới thành công, độ trễ dữ liệu, lỗi kiểm thử, hiệu năng truy vấn, mức độ áp dụng, tác động sự cố và chi phí cho mỗi khối công việc. Một kho dữ liệu hữu ích khi người dùng có thể truy xuất một chỉ số tới dữ liệu có quản trị và tái tạo kết quả.
Mô hình chiều và ngữ nghĩa
Bảng thực tế ghi lại các sự kiện hoặc các đo lường định kỳ ở mức chi tiết đã khai báo, chẳng hạn một dòng đơn hàng hoặc một thiết bị mỗi giờ. Các chiều cung cấp ngữ cảnh mô tả. Việc khai báo mức chi tiết trước khi chọn cột ngăn ngừa việc trộn lẫn các cấp độ gây tính gấp đôi. Các chỉ số cộng được cộng tổng trên mọi chiều; các chỉ số bán cộng cần cẩn thận khi tổng hợp theo thời gian.
Khóa phụ thay thế tách lịch sử kho dữ liệu khỏi các định danh nguồn thay đổi. Các chiều thay đổi chậm xác định cách xử lý thay đổi thuộc tính: ghi đè, bảo tồn một hàng lịch sử mới, hoặc giữ các giá trị trước đó có hạn. Phương pháp đúng phụ thuộc vào câu hỏi phân tích và nghĩa vụ lưu trữ.
Một chỉ số ngữ nghĩa nên định nghĩa công thức, bộ lọc, hành vi thời gian, tiền tệ, loại trừ, người sở hữu và các kiểm thử. Các định nghĩa trung tâm giảm sự không nhất quán, nhưng quản trị nên cho phép các thay đổi đề xuất và phiên bản hoá. Một lớp ngữ nghĩa duy nhất sẽ trở thành nút thắt nếu người dùng không thể kiểm tra hoặc mở rộng một cách có trách nhiệm.
Kiến trúc lưu trữ và truy vấn hiện đại
Lưu trữ dạng cột giữ các giá trị của một cột cùng nhau, cải thiện nén và chỉ quét các trường cần thiết. Phân vùng cắt bỏ các phần lớn theo ngày hoặc khóa khác; cụm (clustering) đặt các giá trị liên quan gần nhau; các view vật liệu hoá và bộ nhớ đệm tái sử dụng kết quả. Lựa chọn phân vùng kém tạo ra các tệp nhỏ, mất cân bằng hoặc quét toàn bộ tốn kém.
Các động cơ truy vấn song song quy mô lớn phân chia việc quét, nối và tổng hợp trên các worker. Di chuyển dữ liệu trong quá trình nối có thể chiếm phần lớn thời gian chạy, vì vậy việc phân phối, thống kê và thứ tự nối là quan trọng. Tự động mở rộng và dịch vụ không máy chủ đơn giản hoá khả năng, nhưng đòi hỏi kiểm soát chi phí, ưu tiên khối lượng công việc và giới hạn các truy vấn chạy quá mức.
Định dạng bảng lakehouse bổ sung siêu dữ liệu, ảnh chụp nhanh, tiến hóa schema và ngữ nghĩa giao dịch trên các tệp đối tượng. Chúng cải thiện khả năng tương tác nhưng tạo ra trách nhiệm về danh mục và bảo trì. Các định dạng mở giảm sự phụ thuộc chỉ khi các động cơ tính toán, quản trị và quy trình vận hành thực sự có thể sử dụng chúng.
Đường ống đáng tin cậy và sản phẩm dữ liệu
Đường ống nên idempotent hoặc có khả năng hòa giải các bản sao. Các watermark và thời gian sự kiện xử lý các lần đến trễ; các quá trình bổ sung dữ liệu tái tạo các biến đổi lịch sử; hợp đồng schema xác định các thay đổi tương thích. Các kiểm thử dữ liệu bao gồm tính duy nhất, đầy đủ, giá trị chấp nhận, quan hệ và bất biến kinh doanh — không chỉ xem công việc có chạy hay không.
Xem các tập dữ liệu quan trọng như sản phẩm có chủ sở hữu, tài liệu, kỳ vọng dịch vụ, khả năng khám phá, hỗ trợ và người dùng. Nguồn gốc kết nối các trường nguồn qua các biến đổi tới báo cáo, làm cho việc đánh giá ảnh hưởng thay đổi và điều tra sự cố nhanh hơn. Các chính sách truy cập nên được lan truyền hoặc đánh giá lại khi dữ liệu được sao chép.
Một chương trình kho dữ liệu thành công khi các quyết định trở nên đáng tin cậy và nhanh hơn, không phải khi khối lượng lưu trữ tăng. Loại bỏ các bảng không dùng, công khai chi phí truy vấn và lưu trữ, rà soát quyền truy cập nhạy cảm, và đo lường liệu các nhóm có tin tưởng và tái sử dụng các chỉ số có quản trị thay vì duy trì bảng tính riêng.
Ví dụ thực tế: thiết kế kho phân tích bán hàng
Xác định mức chi tiết thực tế là một dòng đơn hàng đã hoàn thành, sau đó liên kết các chiều sản phẩm, khách hàng, kênh, khuyến mãi, địa lý và ngày qua các khóa phụ thay thế. Giữ các sự kiện trạng thái đơn hàng trong một bảng thực tế riêng thay vì trộn lẫn các ảnh chụp nhanh và giao dịch. Doanh thu, số lượng, chiết khấu, thuế và chi phí cần quy tắc tiền tệ, trả lại, hủy và ghi nhận rõ ràng. Định nghĩa chỉ số nên tạo ra cùng một kết quả trong bảng điều khiển, sổ ghi chú và đối chiếu tài chính.
Quá trình thu thập bắt giữ các thay đổi nguồn, hạ cánh dữ liệu thô bất biến, xác thực schema và biến đổi chúng thành các mô hình staging và chiều đã kiểm thử. Các cập nhật đến trễ phải sửa đúng giai đoạn lịch sử tương ứng mà không sao chép lại các thực tế. So sánh số lượng hàng và tổng tiền với các hệ thống nguồn, kiểm thử tính duy nhất và quan hệ, và ghi lại nguồn gốc từ trường báo cáo tới nguồn. Các quá trình bổ sung dữ liệu sử dụng mã phiên bản và kiểm thử riêng biệt trước khi thay thế các bảng tin cậy.
Quyền truy cập tách các định danh khách hàng khỏi các tổng hợp có sẵn rộng rãi và áp dụng nguyên tắc tối thiểu quyền theo vai trò và mục đích. Quản lý khối lượng công việc giữ cho các bảng điều khiển điều hành phản hồi nhanh trong khi các nhà phân tích thực hiện các truy vấn khám phá. Giám sát độ tươi mới, các kiểm thử thất bại, chi phí truy vấn, các bảng không dùng và các thay đổi ngữ nghĩa. Một kho dữ liệu thành công khi các chỉ số có quản trị hỗ trợ các quyết định có thể lặp lại; chỉ tập trung dữ liệu mà không giải quyết quyền sở hữu, chất lượng và định nghĩa có thể tạo ra sự nhầm lẫn tập trung.
Khôi phục thảm họa nên chỉ định phạm vi sao lưu, bản sao đa khu vực, khôi phục danh mục và quyền, mức mất dữ liệu chấp nhận được và thời gian khôi phục. Thử nghiệm khôi phục trong môi trường cô lập và xác minh các chỉ số, không chỉ tệp. Các khóa mã hoá, cấu hình danh tính, mã điều phối và định nghĩa ngữ nghĩa là một phần của hệ thống có thể khôi phục. Một kho dữ liệu có thể khôi phục petabyte nhưng không tái tạo chính sách truy cập hoặc các phép tính tin cậy thì chưa khôi phục được dịch vụ phân tích.
Danh sách kiểm tra triển khai thực tế
Biến ý tưởng thành một quy trình làm việc có giới hạn, có thể kiểm thử: nguồn → thu thập → biến đổi → mô hình → cung cấp → quản trị. Đặt tên cho người chịu trách nhiệm, tài liệu hoá dữ liệu và các phụ thuộc, thiết lập một chuẩn cơ bản đơn giản, xác định tiêu chí chấp nhận và dừng, kiểm thử các lỗi đại diện, và định nghĩa giám sát, khôi phục và đánh giá trước khi mở rộng phạm vi. Ghi lại các phiên bản và giả định để đội khác có thể tái tạo kết quả và hiểu những gì đã thay đổi.
Trước khi triển khai, thực hiện một cuộc đánh giá sẵn sàng có tài liệu với những người xây dựng, vận hành, bảo mật và chịu ảnh hưởng của hệ thống. Kiểm thử các trường hợp bình thường, điều kiện biên, lỗi phụ thuộc và lạm dụng; bảo tồn bằng chứng và rủi ro chưa giải quyết. Xác định ai có thể phê duyệt phát hành, thay đổi ngưỡng, ghi đè kết quả, hoặc dừng hoạt động. Xem lại quyết định sau khi dữ liệu thực tế đến, vì một dự án thí nghiệm thành công về mặt kỹ thuật không đảm bảo hiệu năng đáng tin cậy ở quy mô rộng hơn.
- ĐƯỜNG ỐNG: đợt, streaming, ETL và ELT.
- MÔ HÌNH: thực tế, chiều, và các chỉ số ngữ nghĩa.
- ĐỘ TIN CẬY: chất lượng, nguồn gốc, bảo mật và độ tươi mới.
Câu hỏi thường gặp
Kho dữ liệu chỉ là một cơ sở dữ liệu lớn?
Đó là một cơ sở dữ liệu hoặc nền tảng phân tích được thiết kế cho việc phân tích lịch sử tích hợp. Mô hình, quá trình thu thập, quản trị và các mẫu khối lượng công việc của nó khác với cơ sở dữ liệu ứng dụng giao dịch.
Công ty nên sử dụng ETL hay ELT?
Nhiều công ty sử dụng cả hai. Biến đổi sớm khi quyền riêng tư, xác thực hoặc băng thông yêu cầu; biến đổi sau khi tải khi tính toán của kho dữ liệu và vòng lặp nhanh mang lại lợi thế.
Tài liệu tham khảo chính
