Wat is een datafabriek?

Vaak geassocieerd met kunstmatige intelligentie (AI) en machine learning (ML), is een datafabric een van de belangrijkste hulpmiddelen voor het omzetten van ruwe gegevens in business intelligence.

Maar wat is een datafabriek precies?

Een datafabric is een architectuur en software die een uniforme verzameling van data-assets, databases en database-architecturen binnen een onderneming biedt. Het vergemakkelijkt de end-to-end integratie van verschillende datapijplijnen en cloudomgevingen door het gebruik van intelligente en geautomatiseerde systemen.

Datafabrics zijn belangrijker geworden naarmate er belangrijke ontwikkelingen plaatsvinden met de hybride cloud, internet of things (IoT), AI en edge computing. Dit heeft geleid tot een enorme toename van big data, waardoor organisaties nog meer te beheren hebben.

Om met deze big data om te gaan, moeten bedrijven zich richten op de eenwording en het beheer van data-omgevingen, wat verschillende uitdagingen heeft opgeleverd, zoals datasilo's, beveiligingsrisico's en knelpunten bij de besluitvorming. Deze uitdagingen hebben ertoe geleid dat datamanagementteams datafabric-oplossingen zijn gaan gebruiken, die helpen datasystemen te verenigen, privacy en beveiliging te versterken, governance te verbeteren en meer datatoegankelijkheid voor werknemers te bieden.

Data-integratie leidt tot meer datagestuurde besluitvorming, en hoewel ondernemingen in het verleden verschillende dataplatforms hebben gebruikt voor specifieke aspecten van het bedrijf, zorgen datafabrics ervoor dat de data meer samenhangend kunnen worden bekeken. Dit alles leidt tot een beter begrip van de levenscyclus van de klant en helpt verbanden tussen gegevens tot stand te brengen.

Wat is het doel van een datafabriek?

Datafabrics worden gebruikt om een ​​uniforme weergave van de bijbehorende gegevens tot stand te brengen, wat de toegang tot informatie vergemakkelijkt, ongeacht de locatie, database-associatie of structuur. Datafabrics vereenvoudigen ook de analyse met AI en machine learning.

Een ander doel van een datafabric is om de ontwikkeling van applicaties te vergemakkelijken, aangezien het een gemeenschappelijk model creëert voor toegang tot informatie, los van de traditionele applicatie- en databasesilo's. Deze modellen bieden betere toegang tot informatie, maar ze verbeteren ook de efficiëntie door een enkele laag te creëren waar de toegang tot gegevens voor alle bronnen kan worden beheerd.

Hoewel er niet één enkele data-architectuur is voor een datafabric, wordt vaak gezegd dat er zes fundamentele componenten zijn voor dit type dataframework:

1. Gegevensbeheer: Verantwoordelijk voor data governance en beveiliging van data.

2. Gegevensopname: Brengt clouddata samen en identificeert verbindingen tussen gestructureerde en ongestructureerde data.

3. data Processing: verfijnt de gegevens om ervoor te zorgen dat alleen relevante gegevens worden weergegeven voor gegevensextractie.

4. Gegevens orkestratie: Een echt belangrijke laag van het raamwerk die verantwoordelijk is voor het transformeren, integreren en opschonen van gegevens, zodat deze door het hele bedrijf kunnen worden gebruikt.

5. Gegevensdetectie: Biedt nieuwe manieren om gegevensbronnen te integreren.

6. Toegang tot data: Maakt het verbruik van gegevens mogelijk, zorgt voor de juiste machtigingen voor bepaalde teams om te voldoen aan de regelgeving en helpt relevante gegevens boven water te krijgen door het gebruik van dashboards en andere hulpmiddelen voor gegevensvisualisatie.

Voordelen van een datafabriek

Datafabrics hebben veel zakelijke en technische voordelen, zoals:

• Doorbreek gegevenssilo's: Moderne bedrijven hebben vaak last van datasilo's omdat moderne databases worden geassocieerd met groepen applicaties en vaak groeien als er nieuwe aan de onderneming worden toegevoegd. Gegevenssilo's bevatten gegevens van verschillende structuren en formaten, maar gegevensstructuren kunnen de toegang tot bedrijfsinformatie verbeteren en verzamelde gegevens gebruiken om de operationele efficiëntie te verbeteren.

• Verenig databanken: Datafabrics helpen bedrijven ook om databases te verenigen die over een groot gebied verspreid zijn. Ze zorgen ervoor dat de locatieverschillen geen toegangsdrempels opleveren. Datafabrics vereenvoudigen applicatieontwikkeling en kunnen worden gebruikt om specifiek applicatiedatagebruik te optimaliseren zonder data minder toegankelijk te maken voor andere applicaties. Ze kunnen ook gegevens verenigen die al naar silo's zijn verplaatst.

• Enkele manier om toegang te krijgen tot informatie: Datafabrics verbeteren de overdraagbaarheid van applicaties en fungeren als een enkele manier om toegang te krijgen tot informatie in zowel de cloud als het datacenter.

• Genereer inzichten in een versneld tempo: Datafabric-oplossingen kunnen gemakkelijk omgaan met complexe datasets, wat de tijd tot inzicht versnelt. Hun architectuur maakt vooraf gebouwde analysemodellen en cognitieve algoritmen mogelijk om gegevens op schaal en snelheid te verwerken.

• Gebruikt door technische en niet-technische gebruikers: Datafabrics zijn niet alleen gericht op technische gebruikers. De architectuur is flexibel en kan worden gebruikt met een breed scala aan gebruikersinterfaces. Ze kunnen helpen bij het bouwen van dashboards die begrepen kunnen worden door bedrijfsleiders, of hun geavanceerde tools kunnen worden gebruikt voor gegevensonderzoek door datawetenschappers.

Best practices voor het implementeren van datafabrics

De wereldwijde datamarkt breidt zich voortdurend uit en er is een sterke vraag in de ruimte. Veel bedrijven proberen een gegevensarchitectuur te implementeren om hun bedrijfsgegevens te optimaliseren en volgen een aantal algemene best practices.

Een van die praktijken is het omarmen van een DataOps-procesmodel. Datafabric en DataOps zijn niet identiek, maar volgens een DataOps-model is er een nauwe verbondenheid tussen dataprocessen, tools en de gebruikers. Door gebruikers af te stemmen op gegevens, kunnen ze gebruikmaken van de tools en inzichten toepassen. Zonder een DataOps-model kunnen gebruikers moeite hebben om genoeg uit de datastructuur te halen.

Een andere best practice is om te voorkomen dat de datafabric gewoon weer een datameer wordt, wat vaak voorkomt. Een echte datafabric kan bijvoorbeeld niet worden bereikt als u beschikt over alle architecturale componenten, zoals databronnen en analyses, maar geen van de API's en SDK's. Datafabric verwijst naar het architectuurontwerp, niet naar een enkele technologie. En enkele van de bepalende kenmerken van de architectuur zijn interoperabiliteit tussen componenten en integratiegereedheid.

Het is ook van cruciaal belang voor de organisatie om de nalevings- en wettelijke vereisten te begrijpen. Een datafabric-architectuur kan de beveiliging, het bestuur en de naleving van regelgeving verbeteren.

Aangezien gegevens niet verspreid zijn over systemen, is er een kleinere dreiging van blootstelling aan gevoelige gegevens. Dat gezegd hebbende, is het belangrijk om de nalevings- en wettelijke vereisten te begrijpen voordat u een datafabric implementeert. Verschillende gegevenstypen kunnen onder verschillende regelgevende jurisdicties vallen. Een oplossing is het gebruik van geautomatiseerd nalevingsbeleid dat ervoor zorgt dat gegevenstransformatie voldoet aan de wetgeving.

Data Fabric-gebruiksscenario's

Er zijn veel verschillende toepassingen voor een datafabric, maar een paar zijn zeer gebruikelijk. Een veelvoorkomend voorbeeld is de virtuele/logische verzameling van geografisch diverse gegevensactiva om toegang en analyse te vergemakkelijken. De datafabriek wordt in dit geval meestal gebruikt voor gecentraliseerde bedrijfsvoering. Omdat de gedistribueerde lijnoperaties die de gegevens verzamelen en gebruiken, worden ondersteund door traditionele applicatie- en gegevenstoegangs-/query-interfaces, valt er veel te winnen voor organisaties met regionale of nationale segmentatie van hun activiteiten. Deze organisaties hebben vaak centrale aansturing en coördinatie nodig.

Een andere belangrijke use-case voor datafabrics is het opzetten van een uniform datamodel na een fusie of overname. Wanneer deze plaatsvinden, verandert het database- en gegevensbeheerbeleid van de voorheen onafhankelijke organisatie vaak, wat betekent dat het moeilijker wordt om informatie over organisatiegrenzen heen te verzamelen. Een datafabriek kan dit oplossen door een uniforme weergave van gegevens te creëren waarmee de gecombineerde entiteit kan harmoniseren op één gegevensmodel.