Hvad er ETL? (Extract, Transform, Load) Metodologi & Brugsområder

ETL står for “extract, transform, load”. Det er en proces, der integrerer data fra forskellige kilder i en enkelt repository, så det kan bearbejdes og derefter analyseres, så nyttig information kan udledes derfra. Denne nyttige information er det, der hjælper virksomheder med at træffe datadrevne beslutninger og vokse.

“Data er det nye olie.”

Clive Humby, Matematiker

Den globale dataoprettelse er øget eksponentielt, så meget, at mennesker, ifølge Forbes, fordobler dataoprettelsen hver to år. Som følge heraf er den moderne datastack udviklet. Data-marts er blevet omdannet til data-warehouses, og når det ikke har været nok, er data-lakes blevet oprettet. Selv om alle disse forskellige infrastrukturer har en proces, der er forblevet den samme, ETL-processen.

I denne artikel vil vi se på metodologien bag ETL, dets brugsområder, dets fordele og hvordan denne proces har hjulpet med at forme den moderne data-landskab.

Metodologien bag ETL

ETL gør det muligt at integrere data fra forskellige kilder på ét sted, så det kan bearbejdes, analyseres og derefter deles med virksomhedens interessenter. Det sikrer integriteten af de data, der skal bruges til rapportering, analyse og forudsigelse med maskinlæringsmodeller. Det er en tre-trinsproces, der ekstraherer data fra multiple kilder, transformerer det og derefter loader det ind i business-intelligence-værktøjer. Disse business-intelligence-værktøjer bruges derefter af virksomheder til at træffe datadrevne beslutninger.

Ekstraktionsfasen

I denne fase ekstraheres data fra multiple kilder ved hjælp af SQL-forespørgsler, Python-kode, DBMS (database-management-systemer) eller ETL-værktøjer. De mest almindelige kilder er:

• CRM (Customer Relationship Management) Software
• Analytics-værktøj
• Data-warehouse
• Database
• Cloud-lagringssystemer
• Salgs- og marketing-værktøjer
• Mobilapps

Disse kilder er enten strukturerede eller ustrukturerede, hvilket er grunden til, at dataformatet ikke er ensartet på dette stadium.

Transformationsfasen

I transformationsfasen transformerer og kompilere det ekstraherede rådata til et format, der er egnet for målsystemet. For det formål undergår rådataene en række transformations-underprocesser, såsom:

1. Rensning—inconsistente og manglende data behandles.
2. Standardisering—ensartet formatering anvendes overalt.
3. Duplikatfjernelse—redundant data fjernes.
4. Outlier-afklaring—outlierer afklares og normaliseres.
5. Sortering—data organiseres på en måde, der øger effektiviteten.

Ud over at omformulere dataene er der også andre grunde til, at dataene skal transformerer. Null-værdier, hvis de er til stede i dataene, skal fjernes; ud over det er der ofte outlierer til stede i dataene, som påvirker analysen negativt; de skal behandles i transformationsfasen. Ofte kommer vi ud for data, der er redundant og ikke tilfører noget værdi til virksomheden; sådant data droppes i transformationsfasen for at spare systemets lagringsplads. Disse er de problemer, der løses i transformationsfasen.

Load-fasen

Når rådataene er ekstraheret og tilpasset med transformationsprocesser, loaderes de ind i målsystemet, der normalt er enten et data-warehouse eller en data-lake. Der er to forskellige måder at udføre load-fasen på.

1. Fuldt load: Alle data loaderes på én gang for første gang i målsystemet. Det er teknisk set mindre komplekst, men tager mere tid. Det er ideelt, når datastørrelsen ikke er for stor.
2. Incrementsload: Incrementsload, som navnet antyder, udføres i inkrementer. Det har to underkategorier.

• Stream-incrementsload: Data loaderes i interval, normalt dagligt. Denne type load er bedst, når dataene er i små mængder.
• Batch-incrementsload: I batch-typen af incrementsload loaderes dataene i batch med et interval mellem to batch. Det er ideelt, når dataene er for store. Det er hurtigt, men teknisk mere komplekst.

TYPER AF ETL-VÆRKTØJER

ETL udføres på to måder, manuel ETL eller no-code ETL. I manuel ETL er der lidt til ingen automation. Alt kodes af et team bestående af datavidenskabsfolk, dataanalytikere og dataingeniører. Alle rørledninger af extract, transform og load designes manuelt for alle datasæt. Dette medfører enorme produktivitets- og ressource-tab.

Alternativet er no-code ETL; disse værktøjer har normalt drag-and-drop-funktioner i sig. Disse værktøjer fjerner helt behovet for kodning, således at selv ikke-tekniske medarbejdere kan udføre ETL. På grund af deres interaktive design og inkluderende tilgang bruger de fleste virksomheder Informatica, Integrate.io, IBM Storage, Hadoop, Azure, Google Cloud Dataflow og Oracle (ORCL ) Data Integrator til deres ETL-operationer.

Der findes fire typer no-code ETL-værktøjer i dataindustrien.

1. Kommercielle ETL-værktøjer
2. Open Source ETL-værktøjer
3. Tilpassede ETL-værktøjer
4. Cloud-baserede ETL-værktøjer

BEST PRACTICES FOR ETL

Der er nogle praksisser og protokoller, der skal følges for at sikre en optimeret ETL-rørledning. De bedste praksisser diskuteres nedenfor:

1. Forstå konteksten af data: Hvordan data indsamles og hvad metricerne betyder, skal forstås ordentligt. Det ville hjælpe med at identificere, hvilke attributter der er redundant og skal fjernes.
2. Genoprettelsespunkter: I tilfælde af, at rørledningen er brudt, og der er en data-læk, skal der være protokoller på plads til at genoprette den lækkede data.
3. ETL-logbog: En ETL-logbog skal opretholdes, der har en optegnelse over hver enkelt proces, der er udført med dataene før, under og efter en ETL-cyklus.
4. Audit: Der skal holdes øje på dataene efter et interval for at sikre, at dataene er i den tilstand, man ønsker, de skal være.
5. Lille datastørrelse: Størrelsen af databaserne og deres tabeller skal holdes små, så dataene er mere horisontalt end vertikalt fordelt. Denne praksis sikrer en øget proceshastighed og, som følge heraf, en hurtigere ETL-proces.
6. Oprettelse af en cache-lag: Cache-laget er et højhastighedsdata-lagringssystem, der gemmer nyligt brugt data på en disk, hvor det kan tilgås hurtigt. Denne praksis hjælper med at spare tid, når det cachede data er det, systemet anmoder om.
7. Parallel proces: At behandle ETL som en serie-proces sluger en stor del af virksomhedens tid og ressourcer, hvilket gør hele processen ekstremt ineffektiv. Løsningen er at udføre parallel proces og multiple ETL-integrationer på én gang.

ETL-BRUGSOMRÅDER

ETL gør operationerne glatte og effektive for virksomheder på en række måder, men vi vil diskutere de tre mest populære brugsområder her.

Upload til Cloud:

Lokal lagring af data er en dyr mulighed, der får virksomheder til at bruge ressourcer på at købe, opbevare, køre og vedligeholde servere. For at undgå alt dette besvær kan virksomhederne direkte uploade dataene til cloud-lagringen. Dette sparer værdifulde ressourcer og tid, der kan investeres i at forbedre andre aspekter af ETL-processen.

Sammenlægning af data fra forskellige kilder:

Data er ofte spredt over forskellige systemer i en organisation. Sammenlægning af data fra forskellige kilder på ét sted, så det kan bearbejdes og derefter analyseres og deles med interessenterne senere, udføres ved hjælp af ETL-processen. ETL sikrer, at data fra forskellige kilder er formateret ensartet, mens dataintegriteten forbliver intakt.

Prædikativ modellering:

Datadrevne beslutninger er hjørnestenen i en succesfuld forretningsstrategi. ETL hjælper virksomheder med at ekstrahere data, transformere det og derefter loade det ind i databaser, der er forbundet med maskinlæringsmodeller. Disse maskinlæringsmodeller analyserer dataene efter, at de er gået igennem en ETL-proces, og derefter laver forudsigelser baseret på disse data.

FREMTIDEN FOR ETL I DATA-LANDSKABET

ETL spiller bestemt en rolle som rygraden i data-arkitekturen; om det vil blive ved med at være sådan, er endnu ikke set, da der med introduktionen af Zero ETL i teknologi-industrien er store ændringer undervejs. Med Zero ETL vil der ikke være behov for den traditionelle extract, transform og load-proces, men dataene vil blive overført direkte til målsystemet i næsten realtid.

Der er talrige nye trends i data-økosystemet. Se unite.ai for at udvide din viden om teknologitrends.