ETL คืออะไร? คำอธิบายการสกัด, แปลง, โหลด

ETL—extract, transform, load—เป็นรูปแบบการบูรณาการข้อมูลที่อ่านข้อมูลจากระบบต้นทาง, ตรวจสอบและปรับรูปแบบ, จากนั้นเขียนลงในปลายทางที่เหมาะกับการวิเคราะห์, รายงาน, การเรียนรู้ของเครื่อง หรือการดำเนินงาน

พายป์ไลน์ ETL สำหรับการผลิตมีความซับซ้อนมากกว่ากล่องสามกล่อง ต้องมีการดำเนินการที่ทำซ้ำได้, การควบคุมสคีมาและคุณภาพ, ต้นกำเนิด, การจัดลำดับ, การสังเกต, ความปลอดภัยและวิธีที่ปลอดภัยในการเติมข้อมูลย้อนหลังหรือเล่นซ้ำเมื่อโลจิกเปลี่ยนแปลง

ประเด็นสำคัญ

• การสกัดควรลดผลกระทบต่อแหล่งข้อมูลและบันทึกช่วงเวลา หรือชุดการเปลี่ยนแปลงที่ถูกจับ
• การแปลงบรรจุความหมายทางธุรกิจ ดังนั้นต้องมีการควบคุมเวอร์ชัน, การทดสอบและความเป็นเจ้าของ
• การโหลดควรเป็นอิดิโมพอเทนท์หรืออย่างอื่นที่ป้องกันการซ้ำซ้อนและความล้มเหลวบางส่วน
• ETL กับ ELT แตกต่างกันหลัก ๆ ที่ตำแหน่งการทำการแปลง; ระบบสมัยใหม่มักใช้ทั้งสองแบบร่วมกัน

สกัดข้อมูลอย่างเชื่อถือได้

แหล่งข้อมูลอาจรวมถึงฐานข้อมูล, ไฟล์, API, สตรีมเหตุการณ์และแอปพลิเคชัน การสกัดเต็มชุดจะคัดลอกข้อมูลทั้งหมด; การสกัดแบบเพิ่มขึ้นจะอ่านเรคคอร์ดที่เปลี่ยนแปลงตั้งแต่จุดตรวจสอบ การจับข้อมูลการเปลี่ยนแปลง (Change-data capture) ใช้บันทึกหรือเหตุการณ์ของฐานข้อมูลเพื่อลดการสแกนซ้ำ

บันทึกตัวระบุแหล่งข้อมูล, ขอบเขตเวลาและจุดตรวจสอบ ปฏิบัติตามขีดจำกัดอัตราและหลักการทำธุรกรรม หากแหล่งข้อมูลเปลี่ยนสคีมาโดยไม่มีการแจ้งเตือน ให้ล้มเหลวอย่างปลอดภัยหรือแยกเรคคอร์ดออกแทนการโหลดข้อมูลที่คลุมเครือเหมือนไม่มีอะไรเกิดขึ้น

แปลงด้วยสัญญาอย่างชัดเจน

การแปลงทำให้ประเภทและหน่วยมาตรฐาน, แยกวิเคราะห์เรคคอร์ด, เข้าร่วมแหล่งข้อมูล, ลบหรือทำเครื่องหมายข้อมูลซ้ำ, ใช้กฎทางธุรกิจและคำนวณฟีเจอร์ แยกข้อมูลที่ไม่ถูกต้องออกจากข้อมูลที่หายไปแต่ยอมรับได้, และเก็บหลักฐานเพียงพอเพื่อให้สามารถติดตามผลลัพธ์กลับไปยังอินพุตได้

เวอร์ชันการแปลงในลักษณะเดียวกับการ ส่งมอบซอฟต์แวร์ การทดสอบควรครอบคลุมสคีมา, ช่วงค่า, ความสมบูรณ์แบบอ้างอิง, การกระจายที่คาดหวังและตัวอย่างที่รู้จัก สัญญาข้อมูลกำหนดความคาดหวังระหว่างผู้ผลิตและผู้บริโภค

โหลดอย่างปลอดภัยและทำซ้ำได้

การโหลดอาจเพิ่มเหตุการณ์, ผสานเรคคอร์ดที่เปลี่ยนแปลง, แทนที่พาร์ทิชันหรือสร้างตารางใหม่ ความอิดิโมพอเทนท์หมายถึงการรันอินพุตเดียวกันซ้ำให้ได้สถานะปลายทางเดียวกัน ธุรกรรม, ตารางชั่วคราวและการสลับแบบอะตอมิกช่วยลดความเสี่ยงจากการอัปเดตบางส่วน

การแบ่งพาร์ทิชันและการทำดัชนีควรสอดคล้องกับรูปแบบการใช้งาน ปกป้องฟิลด์ที่ละเอียดอ่อนและกำหนดสิทธิ์ปลายทางก่อนข้อมูลจะสามารถสืบค้นได้ ความต้องการในการเก็บรักษาและการลบต้องเดินทางไปพร้อมกับข้อมูล

ETL, ELT, การประมวลผลแบบชุดและสตรีมมิ่ง

ETL แบบดั้งเดิมทำการแปลงในเครื่องยนต์แยกก่อนการโหลด ELT โหลดข้อมูลดิบหรือที่ผ่านการประมวลผลเบื้องต้นก่อน, จากนั้นใช้การคำนวณของปลายทางเพื่อทำการแปลง คลังข้อมูลคลาวด์หรือเลกเฮ้าส์ทำให้ ELT สะดวกขึ้น แต่ไม่ได้ขจัดงานคุณภาพหรือการกำกับดูแล

พายป์ไลน์แบบชุดประมวลผลช่วงเวลาที่จำกัด; พายป์ไลน์สตรีมมิ่งประมวลผลเหตุการณ์ต่อเนื่องด้วยเวลาและลำดับที่กำหนด สถาปัตยกรรมหลายแบบใช้การรับข้อมูลสตรีมมิ่งตามด้วยการกระชับเป็นระยะ เนื่องจากข้อมูลล่าช้าหรือแก้ไขเป็นเรื่องปกติ

การจัดลำดับ, ต้นกำเนิดและการสังเกต

ตัวจัดลำดับกำหนดเวลางาน, เคารพการพึ่งพา, ลองทำซ้ำความล้มเหลวที่กำหนดและบันทึกสถานะ การลองทำซ้ำต้องมีขีดจำกัดและงานที่อิดิโมพอเทนท์ การเติมข้อมูลย้อนหลังควรแยกและคำนึงถึงความจุเพื่อให้การซ่อมแซมประวัติไม่รบกวนข้อมูลปัจจุบัน

ตรวจสอบความสดใหม่, ปริมาณ, สคีมา, คุณภาพ, ระยะเวลาและค่าใช้จ่าย ต้นกำเนิดและชั้นเมตาดาต้าของ data fabric ช่วยผู้บริโภคเข้าใจว่าเวอร์ชันใดสร้างชุดข้อมูลและอะไรที่ทำให้เกิดข้อผิดพลาดในต้นน้ำ

Extract: แหล่งข้อมูล, สัญญา, และการจับแบบเพิ่มขึ้น

ETL ย้ายข้อมูลจากระบบต้นทาง, แปลงเป็นโครงสร้างที่กำกับดูแล, และโหลดไปยังปลายทาง การสกัดสามารถใช้ไฟล์, คำสั่งสอบถามฐานข้อมูล, API, บันทึก, สตรีม หรือการจับข้อมูลการเปลี่ยนแปลง กำหนดความเป็นเจ้าของแหล่งข้อมูล, สคีมา, คีย์, เครื่องหมายเวลา, เขตเวลา, หน่วย, หลักการลบ, และการโหลดที่อนุญาต การสกัดเต็มชุดง่ายแต่มีค่าใช้จ่ายสูง; การจับแบบเพิ่มขึ้นลดปริมาณแต่ต้องใช้สัญญาณน้ำ, ตำแหน่งบันทึก, หรือฟิลด์เวอร์ชันและกลยุทธ์สำหรับเรคคอร์ดล่าช้าหรือแก้ไข

อย่าสมมติว่าการสำเร็จของ API หมายถึงการสกัดครบถ้วน บันทึกจำนวน, เช็คซัม, ช่องว่างลำดับ, การแบ่งหน้า, ขีดจำกัดอัตรา, การลองทำซ้ำ, และสแนปช็อตของแหล่งข้อมูล เก็บข้อมูลดิบที่ไม่เปลี่ยนแปลงที่นโยบายอนุญาตเพื่อให้การแปลงสามารถเล่นซ้ำ ปกป้องข้อมูลรับรองและฟิลด์ที่ละเอียดอ่อน, ทำให้การลองทำซ้ำเป็นอิดิโมพอเทนท์ การเปลี่ยนสคีมาควรจัดประเภทเป็นเข้ากันได้หรือทำลายผ่านสัญญา แทนที่จะค้นพบเมื่อแดชบอร์ดปลายทางเปลี่ยนแปลงโดยไม่มีการแจ้งเตือน

แปลงและโหลดด้วยความหมายที่ทำซ้ำได้

การแปลงแยกประเภท, ทำให้หน่วยมาตรฐาน, กำจัดข้อมูลซ้ำ, เข้าร่วม, ใช้กฎทางธุรกิจ, จัดการประวัติ, และสกัดข้อเท็จจริงและมิติแต่ละกฎต้องมีการทดสอบและต้นกำเนิด ปรับการเตรียมสถิติให้เหมาะกับข้อมูลฝึกที่เหมาะสมเมื่อ ETL ส่งต่อให้ ML มิติที่เปลี่ยนแปลงช้า determine ว่าการเปลี่ยนแปลงคุณลักษณะจะเขียนทับหรือเก็บประวัติ ประกาศระดับความละเอียดของข้อเท็จจริงก่อนการเข้าร่วม; ข้อผิดพลาดหลายต่อหลายสร้างมาตรการซ้ำที่อาจผ่านการตรวจสอบแถวพื้นฐานได้

การโหลดอาจเพิ่ม, ผสาน, แทนที่พาร์ทิชัน, หรืออัปเดตเรคคอร์ด ใช้ตารางชั่วคราวและการสลับแบบอะตอมิกเมื่อเป็นไปได้เพื่อให้ผู้อ่านไม่เห็นสถานะบางส่วน บังคับใช้ความเป็นเอกลักษณ์, ความสัมพันธ์, ค่าที่ยอมรับ, ความสมบูรณ์, และข้อบังคับทางธุรกิจ จัดการเหตุการณ์ล่าช้าและการเติมข้อมูลย้อนหลังด้วยเวลาของเหตุการณ์และโค้ดที่เวอร์ชัน การกระชับกับยอดรวมของแหล่งข้อมูลเป็นสิ่งสำคัญสำหรับข้อมูลการเงินและการดำเนินงาน ELT โหลดข้อมูลดิบก่อนการแปลงในปลายทาง; ความต้องการในการกำกับดูแลและความถูกต้องยังคงอยู่

การดำเนินงานและการกู้คืน

การจัดลำดับจัดการการพึ่งพา, กำหนดเวลา, การลองทำซ้ำ, ความพร้อมทำงานพร้อมกัน, และการแจ้งเตือน ตรวจสอบความสดใหม่, ปริมาณ, คุณภาพ, ระยะเวลา, ค่าใช้จ่าย, และผลกระทบต่อปลายทาง งานที่ล้มเหลวควรดำเนินต่อหรือเล่นซ้ำโดยไม่มีการซ้ำซ้อน เวอร์ชันโค้ดและสคีมา, รักษาต้นกำเนิด, และทดสอบการเติมข้อมูลย้อนหลังแยกส่วน การกู้คืนจากภัยพิบัติรวมถึงข้อมูลดิบ, แคตาล็อก, สิทธิ์, สถานะการจัดลำดับ, และคำนิยามเชิงความหมาย ETL น่าเชื่อถือเมื่อผู้ใช้สามารถติดตามเมตริกไปยังแหล่งข้อมูลและทำซ้ำได้หลังการเปลี่ยนแปลง—not เพียงเมื่อพายป์ไลน์สีเขียวสำเร็จ

ตัวอย่างทำงาน: พายป์ไลน์คำสั่งซื้อแบบเพิ่มขึ้น

งาน ETL อ่านบันทึกการเปลี่ยนแปลงของฐานข้อมูลสำหรับคำสั่งซื้อและรายการ, เก็บเหตุการณ์ที่ไม่เปลี่ยนแปลง, ตรวจสอบลำดับและสคีมา, และผสานเข้าในตารางข้อเท็จจริงของคลังข้อมูลที่ระดับบรรทัดคำสั่งซื้อ เวลาเหตุการณ์และเวอร์ชันอัปเดตจัดการการแก้ไขล่าช้า; คีย์ที่กำหนดอย่างแน่นอนทำให้การเล่นซ้ำเป็นอิดิโมพอเทนท์ มิติรักษาประวัติลูกค้าและผลิตภัณฑ์ที่เลือกผ่านคีย์ทดแทน จำนวนแถว, ยอดคำสั่งซื้อ, ภาษี, การคืนสินค้า, และการยกเลิกสอดคล้องกับช่วงเวลาของแหล่งข้อมูล

การเปลี่ยนแปลงฟิลด์แหล่งข้อมูลที่ทำลายการส่งต่อไปยังตารางที่เชื่อถือได้และแจ้งเตือนเจ้าของพร้อมต้นกำเนิดต่อเนื่อง การเติมข้อมูลย้อนหลังทำงานด้วยโค้ดที่เวอร์ชันในสภาพแยกและเปรียบเทียบก่อนการสลับแบบอะตอมิก นโยบายการเข้าถึงจำกัดตัวระบุลูกค้า, และการลบกระจายไปยังสำเนาที่อนุญาตได้ การตรวจสอบครอบคลุมความสดใหม่, ปริมาณ, คุณภาพ, ค่าใช้จ่าย, และผลกระทบต่อแดชบอร์ด การทดสอบการกู้คืนสร้างช่วงเวลาจากเหตุการณ์ดิบและคืนสถานะการจัดลำดับ ตัวกำหนดเวลาสีเขียวไม่เพียงพอหากตัวเลขธุรกิจไม่สามารถทำซ้ำและกระชับได้

หลักฐานการดำเนินการและความพร้อมใช้งาน

การตัดสินใจในระดับการผลิตต้องการมากกว่าการสาธิตที่ประสบความสำเร็จ กำหนดผู้ใช้เป้าหมาย, สภาพแวดล้อมการทำงาน, อินพุต, เอาต์พุต, การพึ่งพา, เจ้าของ, และผลของความล้มเหลวสำคัญแต่ละรายการ สร้างฐานเส้นฐานที่ทำซ้ำได้และชุดการประเมินที่เวอร์ชันก่อนการปรับแต่ง ทดสอบกรณีทั่วไป, เงื่อนไขขอบเขต, อินพุตที่ผิดรูปหรือหายไป, การเปลี่ยนแปลงการกระจาย, การหยุดทำงานของการพึ่งพา, การใช้งานผิดวิธี, และกลุ่มหรือสภาพแวดล้อมที่อาจได้รับบริการไม่เพียงพอ วัดคุณภาพงานพร้อมกับการปรับเทียบหรือความไม่แน่นอน, ความหน่วง, ปริมาณการทำงาน, ต้นทุนทรัพยากร, การเข้าถึง, ความเป็นส่วนตัว, และความปลอดภัย บันทึกการแปลงและเกณฑ์ทุกอย่างเพื่อให้ผู้ตรวจสอบอิสระสามารถทำซ้ำผลลัพธ์และแยกแยะหลักฐานจากต้นแบบที่ดึงดูด

ก่อนเปิดใช้งาน, มอบอำนาจสำหรับการปล่อย, ข้อยกเว้น, การเปลี่ยนแปลง, การย้อนกลับ, และการยกเลิกใช้ ใช้การเปิดตัวเป็นขั้นตอน, รักษาการสำรองที่ปลอดภัย, และตรวจสอบการสังเกตด้วยความล้มเหลวที่ใส่เข้าโดยเจตนา โทรเมตริกการดำเนินงานควรเปิดเผยคุณภาพอินพุต, พฤติกรรมเอาต์พุต, เวอร์ชันโมเดลหรือกฎ, สถานะการพึ่งพา, การแก้ไขโดยมนุษย์, และผลลัพธ์ที่ยืนยันโดยไม่เก็บข้อมูลละเอียดอ่อนที่ไม่จำเป็น กำหนดเกณฑ์การแจ้งเตือนและเจ้าของการตอบสนอง, จากนั้นตรวจสอบหลักฐานจากโลกจริงหลังการปรับใช้แทนการสันนิษฐานว่าประสิทธิภาพออฟไลน์จะคงอยู่ ประเมินใหม่เมื่อแหล่งข้อมูล, ผู้ใช้, โมเดล, ผู้จำหน่าย, นโยบาย, ฮาร์ดแวร์, หรือเป้าหมายเปลี่ยนแปลง ระบบที่ดูแลยังต้องการเอกสารขั้นตอนการกู้คืน, การเรียนรู้จากเหตุการณ์, การลบและการเก็บรักษา, และจุดชัดเจนที่ควรปิดหรือแทนที่

คำถามที่พบบ่อย

ETL ล้าสมัยในแพลตฟอร์มข้อมูลคลาวด์หรือไม่?

ไม่. บางแพลตฟอร์มอาจนิยม ELT, แต่ความรับผิดชอบในการสกัด, แปลงและโหลดยังคงมีอยู่ ทีมมักผสานทั้งสองรูปแบบเข้าด้วยกัน

สิ่งใดทำให้พายป์ไลน์ ETL เป็นอิดิโมพอเทนท์?

มันสามารถประมวลผลอินพุตเดียวกันได้อย่างปลอดภัยโดยไม่สร้างสถานะปลายทางที่ซ้ำซ้อนหรือไม่สอดคล้อง, โดยทั่วไปทำได้ผ่านคีย์ที่เสถียร, จุดตรวจสอบและการเขียนแบบธุรกรรม

Primary references

• Microsoft Azure Architecture Center: ETL
• เอกสาร Apache Airflow
• เอกสาร Debezium change-data-capture