ืืื ื ืืืืืืชืืช 101
ืืื ETL? (Extract, Transform, Load) ืืชืืืืืืืื ื-Use cases
ETL הוא ראשי תיבות של “extract, transform, load”. זוהי תהליך שמשלב נתונים ממקורות שונים לאחסון בודד כך שניתן יהיה לעבד ואז לנתח אותו כדי להסיק מידע מועיל ממנו. מידע זה הוא זה שעוזר לעסקים לקבל החלטות המבוססות על נתונים ולצמוח.
“נתונים הם הנפט החדש.”
קלייב האמבי, מתמטיקאי
יצירת נתונים גלובלית גדלה באופן אקספוננציאלי, כך שלפי פורבס, בקצב הנוכחי, בני אדם מכפילים את יצירת הנתונים כל שנתיים. כתוצאה מכך, המערך המודרני של נתונים התפתח. ארסנלי נתונים הומרו למחסני נתונים, וכאשר זה לא היה מספיק, נוצרו אגמי נתונים. עם זאת, בכל התשתיות השונות, תהליך אחד נותר זהה, תהליך ETL.
במאמר זה, נבחן את המתודולוגיה של ETL, ה-Use cases שלו, היתרונות שלו וכיצד תהליך זה עזר ליצור את הנוף המודרני של נתונים.
מתודולוגיה של ETL
ETL מאפשר לשלב נתונים ממקורות שונים למקום אחד כך שניתן יהיה לעבד, לנתח ואז לשתף אותו עם בעלי המניות של העסקים. הוא מבטיח את שלמות הנתונים שישמשו לדוחות, ניתוח וחיזוי עם מודלים של למידת מכונה. זוהי תהליך בן שלושה שלבים שמוציא נתונים ממקורות מרובים, משנה אותם ואז טוען אותם לכלים של בינטליגנציה עסקית. כלים אלו של בינטליגנציה עסקית משמשים אז על ידי העסקים לקבל החלטות המבוססות על נתונים.
שלב ה-Extract
בשלב זה, הנתונים מוצאים ממקורות מרובים באמצעות שאילתות SQL, קודים של Python, DBMS (מערכות ניהול מסדי נתונים) או כלים של ETL. המקורות הנפוצים ביותר הם:
- תוכנה לניהול יחסי לקוחות
- כלי ניתוח
- מחסן נתונים
- מסד נתונים
- פלטפורמות אחסון ענן
- כלים של מכירות ושיווק
- אפליקציות סלולריות
מקורות אלו הם מובנים או לא מובנים, ולכן פורמט הנתונים אינו אחיד בשלב זה.
שלב ה-Transform
בשלב ה-Transform, הנתונים הגולמיים שהוצאו מושתנים ומורכבים לפורמט המתאים למערכת היעד. לשם כך, הנתונים הגולמיים עוברים תת-תהליכים של המרה, כגון:
- ניקוי – נתונים לא עקביים וחסרים מטופלים.
- סטנדרטיזציה – פורמט אחיד מוחל על כל הנתונים.
- הסרת כפילויות – נתונים מיותרים מוסרים.
- זיהוי חריגים – חריגים מזוהים ומנורמלים.
- מיון – הנתונים מאורגנים בצורה שמגדילה את היעילות.
בנוסף לשינוי פורמט הנתונים, יש סיבות אחרות לצורך המרת הנתונים. ערכים ריקים, אם קיימים בנתונים, צריכים להימחק; מלבד זאת, יש לעיתים קרובות חריגים בנתונים, שמשפיעים לרעה על הניתוח; יש לטפל בהם בשלב ה-Transform. לעיתים קרובות אנו נתקלים בנתונים מיותרים שאינם מוסיפים ערך לעסק; נתונים כאלו מושמטים בשלב ה-Transform כדי לחסוך את שטח האחסון של המערכת. אלו הם הבעיות שנפתרות בשלב ה-Transform.
שלב ה-Load
כאשר הנתונים הגולמיים מוצאים ומעוצבים עם תהליכים של המרה, הם נטענים למערכת היעד, שבדרך כלל היא מחסן נתונים או אגם נתונים. יש שני דרכים שונות לבצע את שלב ה-Load.
- טעינה מלאה: כל הנתונים נטענים בבת אחת לראשונה במערכת היעד. זהו תהליך פחות מורכב מבחינה טכנית, אך לוקח יותר זמן. זהו האידיאלי במקרה שגודל הנתונים אינו גדול מדי.
- טעינה תקופתית: טעינה תקופתית, כפי שמרמז שמה, מבוצעת בתקופות. יש לה שתי תת-קטגוריות.
- טעינה תקופתית רציפה: נתונים נטענים בתקופות, בדרך כלל יומיות. סוג זה של טעינה הוא הטוב ביותר כאשר הנתונים בכמויות קטנות.
- טעינה תקופתית בקבוצות: בסוג התקופתי של טעינה, הנתונים נטענים בקבוצות עם תקופה בין שתי קבוצות. זהו האידיאלי כאשר הנתונים גדולים מדי. זהו מהיר, אך מורכב יותר מבחינה טכנית.
סוגים של כלים ETL
ETL מבוצע בשני אופנים, ETL ידני או ETL ללא קוד. ב-ETL ידני, יש מעט מאוד אוטומציה. הכל מתוכנת על ידי צוות הכולל מדען נתונים, מנתח נתונים ומהנדס נתונים. כל צינורות ה-Extract, Transform ו-Load מתוכננים עבור כל סט נתונים באופן ידני. זה גורם לאובדן פרודוקטיביות ומשאבים עצום.
החלופה היא ETL ללא קוד; כלים אלו בדרך כלל מכילים פונקציות הגררה ושחרור. כלים אלו מוחקים לחלוטין את הצורך בקידוד, ובכך מאפשרים לעובדים לא-טכניים לבצע ETL. בגלל עיצובם האינטראקטיבי והגישה הכללית, רוב העסקים משתמשים ב- Informatica, Integrate.io, IBM Storage, Hadoop, Azure, Google Cloud Dataflow ו-Oracle Data Integrator עבור פעולות ETL.
קיימים ארבעה סוגים של כלים ETL ללא קוד בתעשיית הנתונים.
- כלים ETL מסחריים
- כלים ETL בקוד פתוח
- כלים ETL מותאמים
- כלים ETL מבוססי ענן
טיפים ל-ETL
ישנם כמה טיפים ופרוטוקולים שיש לעקוב אחריהם כדי לוודא צינור ETL מותאם. הטיפים הטובים ביותר מוסברים להלן:
- הבנת ההקשר של הנתונים: איך הנתונים נאספים ומהם המטריקות המשמעותיות יש להבין כראוי. זה יעזור לזהות אילו תכונות מיותרות ויש להסיר אותן.
- נקודות ביקורת לשיקום: במקרה שהצינור שבור ויש דליפת נתונים, יש להיות בעל פרוטוקולים במקום לשיקום הנתונים שדלף.
- יומן ETL: יומן ETL יש לאחזק, שיכיל רישום של כל תהליך שבוצע עם הנתונים לפני, במהלך ואחרי מחזור ETL.
- ביקורת: לשמור על הנתונים אחרי תקופה, רק כדי לוודא שהנתונים במצב שרציתם.
- גודל קטן של נתונים: גודל המסדים והטבלאות יש לשמור קטן, כך שהנתונים יתפזרו יותר באופן אופקי מאשר אנכי. תרגול זה מבטיח זינוק במהירות העיבוד, ובהמשך, מאיץ את תהליך ה-ETL.
- יצירת שכבת קשה: שכבת קשה היא שכבת אחסון נתונים במהירות גבוהה, שאוחסנו בה נתונים שנעשה בהם שימוש לאחרונה על דיסק, שם הם יכולים להיות נגישים במהירות. תרגול זה עוזר לחסוך זמן כאשר הנתונים המקודדים הם אלו שמערכת התבקשה.
- עיבוד מקביל: טיפול ב-ETL כתהליך סדרתי אוכל חלק גדול מזמן ומשאבי העסק, מה שהופך את התהליך כולו ללא יעיל. הפתרון הוא לבצע עיבוד מקביל ואינטגרציות ETL מרובות בו-זמנית.
Use cases של ETL
ETL הופך את הפעולות לחלקות ויעילות עבור עסקים במספר דרכים, אך נדון בשלושת ה-Use cases הפופולריים ביותר.
העלאה לענן:
אחסון נתונים במקום מקומי הוא אפשרות יקרה, שגורמת לעסקים לבזבז משאבים על רכישה, אחזקה, הפעלה ותחזוקה של שרתים. כדי להימנע מכל הבעיות האלו, עסקים יכולים להעלות את הנתונים ישירות לענן. זה חוסך משאבים וזמן יקרים, שניתן להשקיע אותם אז בשיפור היבטים אחרים של תהליך ETL.
מיזוג נתונים ממקורות שונים:
נתונים מפוזרים לעיתים קרובות במערכות שונות בארגון. מיזוג נתונים ממקורות שונים למקום אחד, כך שניתן יהיה לעבד ואז לנתח אותם, כדי לשתפם עם בעלי המניות מאוחר יותר, נעשה באמצעות תהליך ETL. ETL מבטיח שנתונים ממקורות שונים מעוצבים באופן אחיד, בעוד השלמות של הנתונים נשמרת.
דגמים חיזויים:
קבלת החלטות המבוססות על נתונים היא הפינה הקורנרית של אסטרטגיה עסקית מוצלחת. ETL עוזר לעסקים על ידי הוצאת נתונים, המרתם ואז טעינתם למסדי נתונים המקושרים למודלים של למידת מכונה. מודלים אלו של למידת מכונה מנתחים את הנתונים אחרי שעברו תהליך ETL, ואז עושים חיזויים על סמך הנתונים.
עתידו של ETL בנוף הנתונים
ETL בהחלט משחק תפקיד של עמוד השדרה באדריכלות הנתונים; האם הוא יישאר כך או לא, עדיין לא ברור, מכיוון שעם הצגת Zero ETL בתעשייה, שינויים גדולים קרבים. עם Zero ETL, לא יהיה צורך בתהליכים המסורתיים של Extract, Transform ו-Load, אלא הנתונים יועברו ישירות למערכת היעד, כמעט בזמן אמת.
ישנם מגמות חדשות רבות באקוסיסטם של נתונים. עיינו ב-unite.ai כדי להרחיב את ידיעותיכם על מגמות טכנולוגיות.
