Dasar-dasar AI
Apa itu Data Fabric?
Tambahkan Unite.AI ke sumber pilihan Anda di Google
A data fabric adalah pola arsitektur untuk menemukan, menghubungkan, mengatur, dan menyampaikan data di seluruh sistem terdistribusi. Ia menyediakan lapisan metadata dan kontrol bersama sehingga orang dan aplikasi dapat menemukan data tepercaya tanpa memaksa setiap kumpulan data ke dalam satu penyimpanan fisik.
Data fabric bukanlah satu produk tunggal dan tidak menghilangkan perbedaan sistem sumber. Nilainya bergantung pada metadata yang akurat, kepemilikan yang jelas, kebijakan yang dapat ditegakkan, integrasi yang dapat diandalkan, serta bukti bahwa konsumen menerima data yang sesuai dengan tujuan mereka.
Key takeaways
- Plane kontrol yang kaya metadata menghubungkan katalog, jejak asal, kualitas, kebijakan, dan akses.
- Data dapat tetap terdistribusi dan disalin, diputar alir, diubah, atau divisualisasikan sesuai beban kerja.
- Data fabric berorientasi teknologi; data mesh menekankan kepemilikan domain dan data sebagai produk.
- Otomatisasi membantu memperluas skala tata kelola, namun pemilik yang bertanggung jawab tetap mendefinisikan makna, kualitas, dan penggunaan yang diizinkan.
The control plane and the data plane
Plane data berisi basis data, berkas, aliran, API, dan pipeline yang memindahkan atau mengkueri mereka. Plane kontrol mencatat metadata teknis dan bisnis: skema, pemilik, klasifikasi, ukuran kualitas, jejak asal, kebijakan, dan penggunaan.
Katalog atau grafik pengetahuan dapat menghubungkan fakta-fakta ini sehingga konsumen dapat menemukan kumpulan data dan memahami konteksnya. Fabric kemudian menggunakan metadata untuk mengarahkan akses, transformasi, observabilitas, dan penegakan kebijakan di seluruh platform heterogen.
Integration without one mandatory store
Beberapa beban kerja menyalin data melalui ETL; yang lain menggunakan change-data capture, aliran peristiwa, API, atau virtualisasi kueri. Pola yang tepat bergantung pada kebaruan, kinerja, konsistensi, kedaulatan, biaya, dan batasan sistem sumber.
Akses virtual dapat mengurangi duplikasi tetapi dapat mengekspos konsumen pada latensi dan ketersediaan sumber. Materialisasi fisik meningkatkan kinerja dan reproduktifitas tetapi menimbulkan tanggung jawab sinkronisasi dan siklus hidup.
Governance, semantics and quality
Glosarium bisnis memberikan makna bersama untuk istilah seperti pelanggan, pesanan, atau akun aktif. Jejak asal menunjukkan dari mana sebuah bidang berasal dan bagaimana ia berubah. Klasifikasi dan kebijakan menentukan siapa yang dapat mengakses catatan sensitif dan untuk tujuan apa.
Aturan kualitas harus dilampirkan pada kasus penggunaan tertentu. Kelengkapan yang cukup untuk dasbor mungkin tidak aman untuk keputusan otomatis. Fabric harus menampilkan kebaruan, riwayat validasi, dan keterbatasan yang diketahui, bukan sekadar memberi label aset sebagai bersertifikat.
Data fabric, mesh and lakehouse
Data mesh adalah pendekatan sosioteknis yang menugaskan tim domain tanggung jawab atas produk data yang dapat berinteroperasi. Data fabric menekankan layanan teknis bersama dan otomatisasi metadata. Organisasi dapat menggabungkan keduanya: kepemilikan domain dapat beroperasi melalui fabric bersama.
Lakehouse menggabungkan fleksibilitas data lake dengan manajemen bergaya gudang dan fitur kueri. Itu dapat menjadi satu platform yang berpartisipasi, tetapi bukan seluruh fabric lintas sistem. Demikian pula, gudang atau katalog saja tidak menyediakan semua fungsi integrasi dan kebijakan.
Implementation and evaluation
Mulailah dengan kasus penggunaan lintas sistem yang berharga dan inventarisasi sumber minimum, pemilik, kebijakan, serta harapan tingkat layanan. Tetapkan identitas, standar metadata, kontrak, pengujian, dan observabilitas sebelum menambahkan rekomendasi otomatis.
Ukur waktu penemuan, waktu persetujuan akses, tingkat insiden, kebaruan data, penggunaan kembali, dan kepercayaan konsumen. Hubungkan fabric dengan tata kelola data terstruktur dan tidak terstruktur serta keamanan siber; konektivitas tanpa kontrol dapat meningkatkan paparan.
Data-fabric architecture and metadata plane
Data fabric adalah pendekatan arsitektural untuk menghubungkan data terdistribusi melalui metadata bersama, tata kelola, integrasi, dan layanan akses. Itu bukan satu basis data atau produk. Sumber dapat tetap berada di gudang, lake, sistem operasional, aliran, dan platform SaaS sementara katalog menggambarkan kumpulan data, jejak asal melacak transformasi, kebijakan mengontrol akses, dan definisi semantik membuat konsep dapat digunakan kembali. Virtualisasi, replikasi, API, dan pipeline adalah metode penyampaian pelengkap yang dipilih berdasarkan latensi, skala, kemampuan sumber, dan kebutuhan konsistensi.
Metadata aktif menangkap skema, kepemilikan, penggunaan, kualitas, klasifikasi, jejak asal, pola kueri, dan peristiwa operasional serta dapat menggerakkan otomatisasi. Grafik pengetahuan dapat menghubungkan konsep bisnis ke bidang fisik dan kebijakan. Otomatisasi dapat merekomendasikan join, mendeteksi drift, menyebarkan klasifikasi, atau mengarahkan insiden, tetapi metadata yang disimpulkan memerlukan kepercayaan dan pengelolaan. Katalog yang tidak terhubung dengan penyampaian dan kontrol menjadi hutang dokumentasi; integrasi otomatis tanpa kepemilikan semantik menciptakan inkonsistensi yang lebih cepat.
Integration, governance, and data products
Batch ETL, change-data capture, aliran, federasi, dan reverse ETL memiliki kebaruan dan semantik kegagalan yang berbeda. Tentukan sumber otoritatif, pengidentifikasi, kontrak, waktu peristiwa, data terlambat, penghapusan, dan rekonsiliasi. Kuery virtual menghindari salinan tetapi bergantung pada kinerja dan ketersediaan sumber; materialisasi meningkatkan kecepatan tetapi menimbulkan kewajiban kebaruan dan retensi. Kebijakan sensitif harus diikuti atau dievaluasi kembali untuk data turunan, cache, embedding, dan ekspor.
Anggap kumpulan data bernilai tinggi sebagai produk dengan pemilik, pengguna, dokumentasi, harapan layanan, pengujian, dan dukungan. Kepemilikan federasi memungkinkan domain mengelola makna sementara standar bersama menjaga interoperabilitas. Tim pusat menyediakan kemampuan platform dan tata kelola, bukan kepemilikan setiap bidang. Ukur waktu penemuan, penggunaan kembali, kualitas data, waktu tunggu akses, penyelesaian insiden, adopsi metrik tepercaya, dan biaya. Jumlah entri katalog atau konektor bukan bukti bahwa orang dapat menemukan dan menggunakan data yang dapat diandalkan.
Implementation strategy
Mulailah dengan satu perjalanan lintas domain yang penundaan dan risikonya sudah diketahui. Inventarisasi sumber dan kontrak, tetapkan identitas dan klasifikasi, hubungkan jejak asal dan kualitas, lalu otomatisasi kontrol berulang. Hindari upaya multi‑tahun untuk memodelkan seluruh perusahaan sebelum memberikan nilai. Uji gangguan sumber, perubahan skema, pencabutan akses, peristiwa terlambat, dan pemulihan bencana. Data fabric berhasil ketika data terdistribusi menjadi lebih mudah dikelola dan digunakan tanpa menghapus realitas operasional dan akuntabilitas sistem tempat data itu berasal.
Worked example: a customer-data fabric
Sebuah perusahaan menghubungkan data perdagangan, dukungan, pemasaran, dan produk sambil membiarkan sistem operasional menjadi otoritatif. Katalog bersama mengaitkan definisi pelanggan, akun, pesanan, persetujuan, dan interaksi ke bidang fisik. Change-data capture memberi pasokan produk yang diatur, sementara virtualisasi melayani pencarian saat ini bervolume rendah dan tabel materialisasi mendukung analitik. Identitas, jejak asal, kualitas, dan kebijakan diterapkan sebelum lapisan personalisasi AI diizinkan menggunakan data.
Penarikan persetujuan menyebar melalui tabel gudang, indeks pencarian, embedding, dan sistem aktivasi, dengan bukti penyelesaian. Kontrak skema dan pengujian rekonsiliasi mendeteksi perubahan sumber. Pemilik mempublikasikan harapan kebaruan dan kualitas, dan metadata penggunaan membantu menghentikan salinan yang tidak terpakai. Pilot mengukur waktu tunggu akses, penggunaan kembali metrik tepercaya, penyelesaian insiden, dan kepatuhan privasi. Fabric dianggap berhasil karena satu perjalanan lintas domain menjadi dapat diandalkan dan dapat diatur—bukan karena vendor menghubungkan jumlah sumber terbanyak.
Implementation evidence and operational readiness
Keputusan produksi memerlukan lebih dari sekadar demonstrasi yang berhasil. Tentukan pengguna yang dimaksud, lingkungan operasional, masukan, keluaran, ketergantungan, pemilik, dan konsekuensi setiap kegagalan penting. Bangun baseline yang dapat direproduksi dan set evaluasi berversi sebelum penyetelan. Uji kasus biasa, kondisi batas, masukan yang rusak atau hilang, pergeseran distribusi, gangguan ketergantungan, penyalahgunaan, serta kelompok atau lingkungan yang paling mungkin kurang terlayani. Ukur kualitas tugas bersama dengan kalibrasi atau ketidakpastian, latensi, throughput, biaya sumber daya, aksesibilitas, privasi, dan keamanan. Catat setiap transformasi dan ambang batas sehingga peninjau independen dapat mereproduksi hasil dan membedakan bukti dari prototipe yang menarik.
Sebelum peluncuran, tetapkan otoritas untuk rilis, pengecualian, perubahan, rollback, dan pensiun. Gunakan peluncuran bertahap, pertahankan fallback yang aman, dan verifikasi pemantauan dengan kegagalan yang sengaja disuntikkan. Telemetri operasional harus mengungkap kualitas masukan, perilaku keluaran, versi model atau aturan, kesehatan ketergantungan, intervensi manusia, dan hasil yang terkonfirmasi tanpa mengumpulkan data sensitif yang tidak diperlukan. Tentukan ambang batas peringatan dan pemilik respons, kemudian tinjau bukti dunia nyata setelah penerapan alih-alih mengasumsikan kinerja offline akan berlanjut. Evaluasi kembali setiap kali sumber data, pengguna, model, vendor, kebijakan, perangkat keras, atau tujuan berubah. Sistem yang dipelihara juga memerlukan prosedur pemulihan terdokumentasi, pembelajaran insiden, penghapusan dan retensi, serta titik yang jelas di mana sistem harus dinonaktifkan atau diganti.
Frequently asked questions
Does a data fabric move all data into one place?
Tidak. Ia dapat mengkoordinasikan data yang tetap terdistribusi dan memilih pergerakan fisik atau virtualisasi sesuai beban kerja.
Is a data fabric the same as a data mesh?
Tidak. Fabric terutama menggambarkan arsitektur dan otomatisasi yang memungkinkan; mesh terutama menggambarkan kepemilikan domain terdesentralisasi dan tanggung jawab produk data. Kedua konsep dapat berdampingan.
Primary references
