Co to jest Data Fabric?

Często kojarzony z sztuczną inteligencją (AI) i uczeniem maszynowym (ML), data fabric jest jednym z głównych narzędzi do konwertowania surowych danych na inteligencję biznesową.

Ale co dokładnie jest data fabric?

Data fabric to architektura i oprogramowanie, które oferuje zunifikowaną kolekcję aktywów danych, baz danych i architektur baz danych w ramach przedsiębiorstwa. Ułatwia integrację końcową różnych potoków danych i środowisk chmury za pomocą inteligentnych i zautomatyzowanych systemów.

Data fabrics stały się bardziej istotne, ponieważ trwają znaczące rozwoju w chmurze hybrydowej, Internecie rzeczy (IoT), AI i obliczeniach brzegowych. Spowodowało to ogromny wzrost dużych danych, co oznacza, że organizacje mają jeszcze więcej do zarządzania.

Aby poradzić sobie z tymi dużymi danymi, firmy muszą skoncentrować się na ujednoliceniu i zarządzaniu środowiskami danych, co spowodowało wiele wyzwań, takich jak silo danych, ryzyka bezpieczeństwa i wąskie gardła w podejmowaniu decyzji. To właśnie te wyzwania skłoniły zespoły zarządzania danymi do przyjęcia rozwiązań data fabric, które pomagają ujednolicić systemy danych, wzmocnić prywatność i bezpieczeństwo, poprawić zarządzanie i zapewnić większy dostęp do danych dla pracowników.

Integracja danych prowadzi do podejmowania decyzji opartych na danych, a podczas gdy przedsiębiorstwa historycznie używały różnych platform danych dla konkretnych aspektów biznesu, data fabrics umożliwiają wyświetlanie danych w sposób bardziej spójny. Wszystko to prowadzi do lepszego zrozumienia cyklu życia klienta i pomaga ustanowić połączenia między danymi.

Jaki jest cel data fabric?

Data fabrics są używane do ustanowienia zunifikowanego widoku powiązanych danych, co ułatwia dostęp do informacji niezależnie od ich lokalizacji, powiązania z bazą danych lub struktury. Data fabrics również upraszczają analizę z AI i uczeniem maszynowym.

Innym celem data fabric jest ułatwienie rozwoju aplikacji, ponieważ tworzy wspólny model dostępu do informacji oddzielony od tradycyjnych aplikacji i silosów baz danych. Te modele zapewniają lepszy dostęp do informacji, ale także poprawiają wydajność, ustanawiając jedną warstwę, na której dostęp do danych można zarządzać we wszystkich zasobach.

Chociaż nie ma jednej architektury danych dla data fabric, mówi się często, że istnieją sześć podstawowych składników tego typu ramy danych:

1. Zarządzanie danymi: Odpowiedzialne za zarządzanie danymi i bezpieczeństwo danych.

2. Pobieranie danych: Łączy dane chmury i identyfikuje połączenia między danymi strukturalnymi i niestrukturalnymi.

3. Przetwarzanie danych: Rafinuje dane, aby upewnić się, że tylko istotne dane są wyświetlane do ekstrakcji danych.

4. Orkiestracja danych: Bardzo ważna warstwa ramy odpowiedzialna za transformację, integrację i oczyszczanie danych, aby mogły być używane w całym przedsiębiorstwie.

5. Odkrywanie danych: Wyświetla nowe sposoby integrowania źródeł danych.

6. Dostęp do danych: Umożliwia konsumpcję danych, zapewnia odpowiednie uprawnienia dla określonych zespołów, aby spełnić wymagania regulacyjne, i pomaga wyświetlać istotne dane za pomocą pulpitu nawigacyjnego i innych narzędzi wizualizacji danych.

Korzyści z data fabric

Istnieje wiele korzyści biznesowych i technicznych związanych z data fabrics, takich jak:

• Złamanie silosów danych: Nowoczesne firmy często cierpią na silo danych, ponieważ nowoczesne bazy danych są powiązane z grupami aplikacji i często rosną, gdy dodawane są nowe do przedsiębiorstwa. Silosy danych zawierają dane różnych struktur i formatów, ale data fabrics mogą poprawić dostęp do informacji przedsiębiorstwa i używać zebranych danych do poprawy wydajności operacyjnej.

• Ujednolicenie baz danych: Data fabrics również pomagają firmom ujednolicić bazy danych, które są rozproszone na dużym obszarze. Zapewniają, że różnice w lokalizacji nie powodują barier w dostępie. Data fabrics upraszczają rozwój aplikacji i mogą być używane do optymalizacji konkretnego użycia danych aplikacji bez ograniczania dostępu do danych dla innych aplikacji. Mogą również ujednolicić dane, które już przeniesiono do silosów.

• Jeden sposób dostępu do informacji: Data fabrics poprawiają przenośność aplikacji i działają jako jeden sposób dostępu do informacji w chmurze i centrum danych.

• Generowanie informacji w przyspieszonym tempie: Rozwiązania data fabric mogą łatwo obsługiwać złożone zestawy danych, co przyspiesza czas potrzebny do uzyskania informacji. Ich architektura umożliwia pre-fabryczne modele analityczne i algorytmy poznawcze do przetwarzania danych w skali i prędkości.

• Używane przez użytkowników technicznych i nie technicznych: Data fabrics nie są skierowane tylko do użytkowników technicznych. Architektura jest elastyczna i może być używana z szerokim zakresem interfejsów użytkownika. Mogą pomóc budować pulpity nawigacyjne, które mogą być zrozumiane przez menedżerów biznesu, lub ich zaawansowane narzędzia mogą być używane do eksploracji danych przez naukowców danych.

Najlepsze praktyki wdrażania data fabrics

Globalny rynek danych jest w ciągłym rozwoju, a istnieje duże zapotrzebowanie w tym obszarze. Wiele firm szuka sposobów na wdrożenie architektury danych, aby zoptymalizować dane przedsiębiorstwa, i stosuje się kilka wspólnych najlepszych praktyk.

Jedną z takich praktyk jest przyjęcie modelu procesu DataOps. Data fabric i DataOps nie są identyczne, ale zgodnie z modelem DataOps, istnieje ścisłe połączenie między procesami danych, narzędziami i użytkownikami. Poprzez wyrównanie użytkowników do polegania na danych, mogą one wykorzystywać narzędzia i stosować informacje. Bez modelu DataOps użytkownicy mogą mieć trudności z uzyskaniem wystarczającej ilości informacji z data fabric.

Inną najlepszą praktyką jest unikanie przekształcenia data fabric w kolejne jezioro danych, co jest powszechnym zjawiskiem. Na przykład, prawdziwy data fabric nie może być osiągnięty, jeśli masz wszystkie składniki architektury, takie jak źródła danych i analityka, ale nie masz API i SDK. Data fabric odnosi się do projektu architektury, a nie do jednej technologii. Niektóre z cech definiujących architektury to interoperacyjność między składnikami i gotowość do integracji.

Jest również krytyczne dla organizacji, aby zrozumieć ich wymagania zgodności i regulacyjne. Architektura data fabric może poprawić bezpieczeństwo, zarządzanie i zgodność z regulacjami.

Ponieważ dane nie są rozproszone po systemach, istnieje mniejsze zagrożenie narażenia danych wrażliwych. Z tego powodu ważne jest, aby zrozumieć wymagania zgodności i regulacyjne przed wdrożeniem data fabric. Różne typy danych mogą podlegać różnym jurysdykcjom regulacyjnym. Jednym z rozwiązań jest użycie zautomatyzowanych zasad zgodności, które zapewniają, że transformacja danych jest zgodna z prawem.

Przypadki użycia data fabric

Istnieje wiele różnych zastosowań data fabric, ale kilka jest bardzo powszechnych. Jednym z takich powszechnych przykładów jest wirtualna/logiczna kolekcja geograficznie rozproszonych aktywów danych w celu ułatwienia dostępu i analizy. Data fabric jest zwykle używana do zarządzania centralnego biznesu w tym przypadku. Ponieważ rozproszone linie operacyjne, które zbierają i używają danych, są obsługiwane przez tradycyjne interfejsy aplikacji i dostępu do danych, istnieje wiele do zyskania dla organizacji, które mają regionalne lub krajowe podziały swojej działalności. Te organizacje często wymagają centralnego zarządzania i koordynacji.

Innym głównym przypadkiem użycia data fabric jest ustanowienie zunifikowanego modelu danych po połączeniu lub przejęciu. Kiedy takie połączenia lub przejęcia mają miejsce, baza danych i polityka zarządzania danymi wcześniej niezależnej organizacji często ulegają zmianie, co powoduje, że trudniej jest zbierać informacje przez granice organizacyjne. Data fabric może pokonać to, tworząc zunifikowany widok danych, który umożliwia połączonej jednostce harmonizację na jednym modelu danych.