พื้นฐาน AI
Data Fabric คืออะไร?
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
A data fabric คือรูปแบบสถาปัตยกรรมสำหรับการค้นหา เชื่อมต่อ กำกับดูแล และส่งมอบข้อมูลผ่านระบบที่กระจายอยู่ มันให้ชั้นเมตาดาต้าและการควบคุมที่ใช้ร่วมกัน เพื่อให้ผู้คนและแอปพลิเคชันสามารถค้นหาข้อมูลที่เชื่อถือได้โดยไม่ต้องบังคับให้ชุดข้อมูลทุกชุดอยู่ในที่เก็บข้อมูลทางกายภาพเดียว
Data fabric ไม่ใช่ผลิตภัณฑ์เดียวและไม่ได้ลบความแตกต่างของระบบต้นทาง คุณค่าของมันขึ้นอยู่กับเมตาดาต้าที่แม่นยำ ความเป็นเจ้าของที่ชัดเจน นโยบายที่บังคับใช้ได้ การรวมระบบที่เชื่อถือได้ และหลักฐานว่าผู้ใช้ได้รับข้อมูลที่เหมาะสมกับวัตถุประสงค์ของตน
ประเด็นสำคัญ
- ระดับควบคุมที่อุดมด้วยเมตาดาต้าเชื่อมต่อแคตาล็อก การสืบสาย การตรวจคุณภาพ นโยบายและการเข้าถึง
- ข้อมูลอาจยังคงกระจายอยู่และถูกคัดลอก สตรีม แปลงรูป หรือเสมือนตามภาระงาน
- Data fabric เน้นเทคโนโลยีเป็นหลัก; data mesh เน้นความเป็นเจ้าของของโดเมนและแนวคิดข้อมูลเป็นผลิตภัณฑ์
- การอัตโนมัติช่วยขยายขนาดการกำกับดูแล แต่เจ้าของที่รับผิดชอบยังคงกำหนดความหมาย คุณภาพและการใช้ที่อนุญาตได้
ระดับควบคุมและระดับข้อมูล
ระดับข้อมูลประกอบด้วยฐานข้อมูล ไฟล์ สตรีม API และไพป์ไลน์ที่เคลื่อนย้ายหรือสืบค้นข้อมูลเหล่านั้น ส่วนระดับควบคุมบันทึกเมตาดาต้าเชิงเทคนิคและเชิงธุรกิจ ได้แก่ สคีม่า เจ้าของ การจัดประเภท มาตรการคุณภาพ สืบสาย นโยบายและการใช้งาน
แคตาล็อกหรือกราฟความรู้สามารถเชื่อมโยงข้อเท็จจริงเหล่านี้เพื่อให้ผู้ใช้ค้นพบชุดข้อมูลและเข้าใจบริบทของมัน จากนั้น fabric จะใช้เมตาดาต้าเพื่อชี้นำการเข้าถึง การแปลง การสังเกตและการบังคับใช้นโยบายบนแพลตฟอร์มที่หลากหลาย
การรวมโดยไม่มีที่เก็บข้อมูลบังคับเดียว
บางภาระงานคัดลอกข้อมูลผ่าน ETL ; บางงานใช้การจับการเปลี่ยนแปลงของข้อมูล (change‑data capture) สตรีมเหตุการณ์ API หรือการเสมือนการสืบค้น รูปแบบที่เหมาะสมขึ้นอยู่กับความสดใหม่ ประสิทธิภาพ ความสอดคล้อง สิทธิอธิปไตย ค่าใช้จ่ายและข้อจำกัดของระบบต้นทาง
การเข้าถึงแบบเสมือนสามารถลดการทำสำเนาได้แต่อาจทำให้ผู้ใช้เผชิญกับความล่าช้าและความพร้อมของระบบต้นทาง การทำวัตถุจริงช่วยเพิ่มประสิทธิภาพและความสามารถในการทำซ้ำแต่สร้างภาระการซิงโครไนซ์และการจัดการวงจรชีวิตของข้อมูล
การกำกับดูแล ความหมายและคุณภาพ
พจนานุกรมธุรกิจให้ความหมายร่วมกันกับคำเช่น ลูกค้า คำสั่ง หรือบัญชีที่ใช้งานอยู่ สืบสายแสดงว่าฟิลด์มาจากที่ใดและมีการเปลี่ยนแปลงอย่างไร การจัดประเภทและนโยบายกำหนดว่าใครสามารถเข้าถึงบันทึกที่ละเอียดอ่อนและเพื่อวัตถุประสงค์ใด
กฎคุณภาพควรผูกกับกรณีการใช้งานเฉพาะ ความครบถ้วนที่พอเพียงสำหรับแดชบอร์ดอาจไม่ปลอดภัยสำหรับการตัดสินใจอัตโนมัติ Fabric ควรแสดงความสดใหม่ ประวัติการตรวจสอบและข้อจำกัดที่ทราบได้ แทนการทำเครื่องหมายสินทรัพย์ว่าได้รับการรับรองเท่านั้น
Data fabric, mesh และ lakehouse
Data mesh เป็นแนวทางสังคม‑เทคนิคที่มอบความรับผิดชอบของผลิตภัณฑ์ข้อมูลให้กับทีมโดเมน Data fabric เน้นบริการเทคนิคที่ใช้ร่วมกันและการอัตโนมัติของเมตาดาต้า องค์กรสามารถผสานทั้งสองแนวคิดได้: ความเป็นเจ้าของของโดเมนสามารถทำงานผ่าน fabric ร่วมกัน
Lakehouse ผสานความยืดหยุ่นของ data‑lake กับการจัดการและคุณลักษณะการสืบค้นแบบคลังข้อมูล มันอาจเป็นหนึ่งในแพลตฟอร์มที่เข้าร่วม แต่ไม่ได้เป็น fabric ครอบคลุมทุกระบบเช่นเดียวกัน เช่นเดียวกับคลังข้อมูลหรือแคตาล็อกเดียวที่ไม่สามารถให้ฟังก์ชันการรวมและนโยบายทั้งหมดได้
การนำไปใช้และการประเมินผล
เริ่มต้นด้วยกรณีการใช้ข้ามระบบที่มีคุณค่าและทำรายการแหล่งข้อมูล เจ้าของ นโยบายและความคาดหวังระดับบริการขั้นต่ำ จัดตั้งตัวตน มาตรฐานเมตาดาต้า สัญญา การทดสอบและการสังเกตก่อนเพิ่มคำแนะนำอัตโนมัติ
วัดเวลาการค้นพบ เวลาอนุมัติการเข้าถึง อัตราเหตุการณ์ ความสดใหม่ของข้อมูล การนำกลับมาใช้ใหม่และความเชื่อมั่นของผู้ใช้ เชื่อมโยง fabric กับการกำกับดูแล ข้อมูลเชิงโครงสร้างและไม่เชิงโครงสร้าง และ ความปลอดภัยไซเบอร์ ; การเชื่อมต่อโดยไม่มีการควบคุมอาจเพิ่มความเสี่ยงต่อการเปิดเผยข้อมูล
สถาปัตยกรรม Data‑fabric และระดับเมตาดาต้า
Data fabric เป็นแนวทางสถาปัตยกรรมสำหรับเชื่อมต่อข้อมูลที่กระจายผ่านเมตาดาต้า การกำกับดูแล การรวมและบริการการเข้าถึงร่วมกัน ไม่ใช่ฐานข้อมูลหรือผลิตภัณฑ์เดียว แหล่งข้อมูลอาจยังคงอยู่ในคลังข้อมูล, lake, ระบบปฏิบัติการ, สตรีมและแพลตฟอร์ม SaaS ในขณะที่แคตาล็อกอธิบายชุดข้อมูล สืบสายบันทึกการแปลง นโยบายควบคุมการเข้าถึง และคำนิยามเชิงความหมายทำให้แนวคิดสามารถนำกลับมาใช้ได้ การเสมือน การทำสำเนา API และไพป์ไลน์เป็นวิธีการส่งมอบเสริมที่เลือกตามความล่าช้า ขนาด ความสามารถของแหล่งและความต้องการความสอดคล้อง
เมตาดาต้าเชิงรอบจับสคีม่า เจ้าของ การใช้ คุณภาพ การจัดประเภท สืบสาย รูปแบบการสืบค้นและเหตุการณ์การดำเนินงาน และสามารถขับเคลื่อนการอัตโนมัติได้ กราฟความรู้สามารถเชื่อมโยงแนวคิดธุรกิจกับฟิลด์และนโยบาย การอัตโนมัติอาจแนะนำการ join, ตรวจจับ drift, กระจายนโยบายหรือส่งต่อเหตุการณ์ แต่เมตาดาต้าที่สรุปต้องอาศัยความเชื่อมั่นและการดูแล หากแคตาล็อกไม่ได้เชื่อมต่อกับการส่งมอบและการควบคุม จะกลายเป็นหนี้เอกสาร; การรวมอัตโนมัติโดยไม่มีเจ้าของเชิงความหมายทำให้ความไม่สอดคล้องเกิดเร็วขึ้น
การรวม, การกำกับดูแล, และผลิตภัณฑ์ข้อมูล
Batch ETL, change‑data capture, streams, federation, และ reverse ETL มีความสดใหม่และความล้มเหลวที่ต่างกัน กำหนดแหล่งข้อมูลอ้างอิง ตัวระบุ สัญญา เวลาเหตุการณ์ ข้อมูลล่าช้า การลบและการกระทบยอด คำสืบค้นเสมือนหลีกเลี่ยงการคัดลอกแต่ต้องพึ่งพาประสิทธิภาพและความพร้อมของแหล่ง; การทำวัตถุจริงเพิ่มความเร็วแต่สร้างภาระความสดใหม่และการเก็บรักษา นโยบายความละเอียดอ่อนต้องตามหรือประเมินใหม่สำหรับข้อมูลที่สกัด, แคช, embeddings และการส่งออก
ถือชุดข้อมูลที่มีคุณค่าสูงเป็นผลิตภัณฑ์โดยมีเจ้าของ ผู้ใช้ เอกสาร ความคาดหวังของบริการ การทดสอบและการสนับสนุน การเป็นเจ้าของแบบรวมศูนย์ให้โดเมนจัดการความหมายในขณะที่มาตรฐานร่วมกันรักษาการทำงานร่วมกัน ทีมศูนย์กลางให้ความสามารถของแพลตฟอร์มและการกำกับดูแล ไม่ได้เป็นเจ้าของทุกฟิลด์ วัดเวลาการค้นพบ การนำกลับมาใช้ใหม่ คุณภาพข้อมูล เวลาในการเข้าถึง การแก้ไขเหตุการณ์ การนำเมตริกที่เชื่อถือได้ไปใช้และค่าใช้จ่าย จำนวนรายการในแคตาล็อกหรือคอนเนคเตอร์ไม่ได้เป็นหลักฐานว่าผู้คนสามารถค้นหาและใช้ข้อมูลที่เชื่อถือได้
กลยุทธ์การนำไปใช้
เริ่มด้วยการเดินทางข้ามโดเมนหนึ่งที่ทราบความล่าช้าและความเสี่ยง ค้นหารายการแหล่งและสัญญา ตั้งตัวตนและการจัดประเภท เชื่อมต่อสืบสายและคุณภาพ แล้วอัตโนมัติการควบคุมที่ทำซ้ำ หลีกเลี่ยงการพยายามหลายปีเพื่อจำลององค์กรทั้งหมดก่อนให้คุณค่า ทดสอบการหยุดทำงานของแหล่ง การเปลี่ยนสคีม่า การยกเลิกการเข้าถึง เหตุการณ์ล่าช้าและการกู้คืนจากภัยพิบัติ Data fabric จะประสบความสำเร็จเมื่อข้อมูลที่กระจายง่ายต่อการกำกับดูแลและใช้โดยไม่ลบความเป็นจริงเชิงปฏิบัติการและความรับผิดชอบของระบบที่มาจาก
ตัวอย่างการทำงาน: data‑fabric ของลูกค้า
บริษัทหนึ่งเชื่อมต่อข้อมูลการค้า การสนับสนุน การตลาด และผลิตภัณฑ์โดยให้ระบบปฏิบัติการเป็นแหล่งอ้างอิง แคตาล็อกร่วมเชื่อมโยงคำนิยามของลูกค้า, บัญชี, คำสั่ง, ความยินยอมและการโต้ตอบกับฟิลด์จริง การจับการเปลี่ยนแปลงของข้อมูลส่งมอบผลิตภัณฑ์ที่กำกับดูแล ส่วนการเสมือนให้บริการการค้นหาปัจจุบันปริมาณต่ำและตารางที่ทำวัตถุจริงสนับสนุนการวิเคราะห์ ตัวตน สืบสาย คุณภาพและนโยบายถูกนำไปใช้ก่อนที่ชั้น AI ปรับส่วนบุคคลจะใช้ข้อมูลนั้น
การถอนความยินยอมจะกระจายผ่านตารางคลังข้อมูล ดัชนีการค้นหา embeddings และระบบเปิดใช้งาน พร้อมหลักฐานการเสร็จสิ้น สัญญาสคีม่าและการทดสอบกระบวนการตรวจจับการเปลี่ยนแปลงของแหล่ง เจ้าของเผยความคาดหวังเรื่องความสดใหม่และคุณภาพ และเมตาดาต้าการใช้ช่วยกำจัดสำเนาที่ไม่ได้ใช้ การทดลองวัดเวลาในการเข้าถึง การนำเมตริกที่เชื่อถือได้กลับมาใช้ การแก้ไขเหตุการณ์และการปฏิบัติตามความเป็นส่วนตัว Fabric ถือว่าประสบความสำเร็จเพราะการเดินทางข้ามโดเมนหนึ่งกลายเป็นที่เชื่อถือได้และกำกับดูแลได้—not เพราะผู้ขายเชื่อมต่อแหล่งข้อมูลจำนวนมากที่สุด
หลักฐานการนำไปใช้และความพร้อมในการปฏิบัติการ
การตัดสินใจเชิงผลิตต้องการมากกว่าการสาธิตที่สำเร็จ กำหนดผู้ใช้เป้าหมาย สภาพแวดล้อมการทำงาน อินพุต เอาต์พุต ขึ้นต่อกัน เจ้าของและผลของความล้มเหลวสำคัญแต่ละประการ สร้างฐานบรรทัดฐานที่ทำซ้ำได้และชุดประเมินรุ่นก่อนการปรับแต่ง ทดสอบกรณีทั่วไป เงื่อนไขขอบเขต อินพุตที่ผิดรูปหรือขาดหาย การเปลี่ยนแปลงการกระจาย การหยุดทำงานของแหล่ง การใช้ในทางที่ผิดและกลุ่มหรือสภาพแวดล้อมที่อาจไม่ได้รับบริการอย่างเพียงพอ วัดคุณภาพงานพร้อมการสอบเทียบหรือความไม่แน่นอน ความล่าช้า ปริมาณการทำงาน ค่าใช้จ่ายทรัพยากร การเข้าถึง ความเป็นส่วนตัวและความปลอดภัย บันทึกการแปลงและเกณฑ์ทุกอย่างเพื่อให้ผู้ตรวจสอบอิสระสามารถทำซ้ำผลลัพธ์และแยกแยะหลักฐานจากต้นแบบที่ดึงดูดใจ
ก่อนเปิดใช้งาน มอบอำนาจการปล่อย เวอร์ชันยกเว้น การเปลี่ยนแปลง การย้อนกลับและการยกเลิก ใช้การเปิดตัวเป็นขั้นตอน รักษาการสำรองที่ปลอดภัย และตรวจสอบการเฝ้าระวังด้วยการฉีดความล้มเหลวโดยเจตนา Telemetry การปฏิบัติการควรเปิดเผยคุณภาพอินพุต พฤติกรรมเอาต์พุต รุ่นโมเดลหรือกฎ แหล่งที่พึ่งสุขภาพ การแทรกแซงของมนุษย์และผลลัพธ์ที่ยืนยันโดยไม่เก็บข้อมูลที่ละเอียดอ่อนโดยไม่จำเป็น กำหนดเกณฑ์การแจ้งเตือนและเจ้าของการตอบสนอง แล้วตรวจสอบหลักฐานจากโลกจริงหลังการปรับใช้ แทนการสันนิษฐานว่าประสิทธิภาพออฟไลน์จะคงที่ ประเมินใหม่เมื่อแหล่งข้อมูล ผู้ใช้ โมเดล ผู้ขาย นโยบาย ฮาร์ดแวร์ หรือเป้าหมายเปลี่ยน ระบบที่ดูแลต้องมีเอกสารการกู้คืน การเรียนรู้จากเหตุการณ์ การลบและการเก็บรักษา รวมถึงจุดที่ชัดเจนว่าควรปิดหรือแทนที่
คำถามที่พบบ่อย
Data fabric ย้ายข้อมูลทั้งหมดไปที่เดียวหรือไม่?
ไม่ใช่ มันสามารถประสานข้อมูลที่ยังคงกระจายอยู่และเลือกการเคลื่อนย้ายทางกายภาพหรือการเสมือนตามภาระงานได้
Data fabric คือเดียวกับ data mesh หรือไม่?
ไม่ Fabric เน้นการอธิบายสถาปัตยกรรมที่เปิดใช้งานและการอัตโนมัติ; Mesh เน้นความเป็นเจ้าของแบบกระจายของโดเมนและความรับผิดชอบของผลิตภัณฑ์ข้อมูล ทั้งสองสามารถอยู่ร่วมกันได้
อ้างอิงหลัก
