Big Data ကဘာလဲ?

Big Data ကဘာလဲ?

“Big Data” သည် ကျွန်ုပ်တို့ခေတ်တွင် အသုံးများသော buzz စကားလုံးများထဲမှ တစ်ခုဖြစ်သော်လည်း အမှန်တကယ်ဆိုလိုသည်မှာ အဘယ်နည်း။

ဤသည်မှာ ကြီးမားသောဒေတာ၏ လျင်မြန်ပြီး ရိုးရှင်းသော အဓိပ္ပါယ်ဖွင့်ဆိုချက်ဖြစ်သည်။ Big ဒေတာ ဒေတာကို သမားရိုးကျ ဒေတာလုပ်ဆောင်ခြင်းနှင့် သိမ်းဆည်းခြင်းနည်းလမ်းများဖြင့် ကိုင်တွယ်ရန် ကြီးမားပြီး ရှုပ်ထွေးလွန်းသော ဒေတာဖြစ်သည်။ ၎င်းသည် လျင်မြန်သော အဓိပ္ပါယ်ဖွင့်ဆိုချက်တစ်ခုအဖြစ် သင်သုံးနိုင်သော်လည်း၊ ဒေတာကြီးများကို ပိုမိုနက်နဲပြီး ပြည့်စုံစွာ နားလည်ရန် အထောက်အကူဖြစ်ပါလိမ့်မည်။ သိုလှောင်မှု၊ တည်ဆောက်ပုံ၊ နှင့် လုပ်ဆောင်ခြင်းကဲ့သို့သော ကြီးမားသောဒေတာကို အခြေခံသည့် သဘောတရားအချို့ကို ကြည့်ကြပါစို့။

Big Data ဘယ်လောက်ကြီးလဲ။

"အရွယ်အစား 'X' ထက် မည်သည့်ဒေတာသည် ကြီးမားသောဒေတာဖြစ်သည်" ဟုပြောသကဲ့သို့ ရိုးရှင်းသည်မဟုတ်ပါ၊ ဒေတာကို ကိုင်တွယ်နေသည့်ပတ်ဝန်းကျင်သည် အလွန်အရေးကြီးသောအချက်ဖြစ်သည်။ ဒေတာကြီးတစ်ခုအဖြစ် အရည်အချင်းပြည့်မီသောအရာကို ဆုံးဖြတ်ခြင်း။. ဒေတာကြီးကြီးမားမားဟု ယူဆရန် လိုအပ်သည့် အရွယ်အစားသည် အကြောင်းအရာ သို့မဟုတ် ဒေတာကို အသုံးပြုနေသည့် အလုပ်အပေါ် မူတည်ပါသည်။ များစွာသော အရွယ်အစား မတူညီသော ဒေတာအတွဲနှစ်ခုကို မတူညီသော အခြေအနေများတွင် "big data" ဟု ယူဆနိုင်ပါသည်။

ပိုမိုတိကျသေချာစေရန်၊ သင်သည် 200-megabyte ဖိုင်ကို အီးမေးလ် ပူးတွဲပါဖိုင်အဖြစ် ပေးပို့ရန် ကြိုးစားပါက၊ ထိုသို့ လုပ်ဆောင်နိုင်မည် မဟုတ်ပါ။ ဤအခြေအနေတွင်၊ 200-megabyte ဖိုင်ကို ဒေတာကြီးဟု ယူဆနိုင်သည်။ ဆန့်ကျင်ဘက်အနေနှင့်၊ တူညီသော LAN အတွင်းရှိ အခြားစက်တစ်ခုသို့ 200-megabyte ဖိုင်ကို ကူးယူခြင်းသည် အချိန်မည်မျှကြာမည်မဟုတ်ပါ၊ ၎င်းအခြေအနေတွင်၊ ၎င်းကို ကြီးမားသောဒေတာအဖြစ် မှတ်ယူမည်မဟုတ်ပါ။

သို့သော်၊ လေ့ကျင့်ရေးကွန်ပြူတာအမြင်ဆိုင်ရာအက်ပ်လီကေးရှင်းများတွင်အသုံးပြုရန်အတွက် 15 terabyte တန်ဖိုးရှိသော ဗီဒီယိုကို ကြိုတင်စီမံထားရန် လိုအပ်သည်ဟု ယူဆကြပါစို့။ ဤအခြေအနေမျိုးတွင်၊ ဗီဒီယိုဖိုင်များသည် အားကောင်းသည့်ကွန်ပျူတာတစ်လုံးပင်လျှင် ၎င်းတို့အားလုံးကို လုပ်ဆောင်ရန် အချိန်ကြာမြင့်မည်ဖြစ်ပြီး၊ ထို့ကြောင့် လုပ်ဆောင်ချိန်ကို လျှော့ချရန်အတွက် အတူတကွချိတ်ဆက်ထားသော ကွန်ပျူတာများစွာတွင် ဖြန့်ဝေခြင်းကို ပုံမှန်အားဖြင့် လုပ်ဆောင်နိုင်မည်ဖြစ်သည်။ ဤ 15 terabytes ဗီဒီယိုဒေတာသည် ကြီးမားသောဒေတာအဖြစ် အရည်အချင်းပြည့်မီမည်ဖြစ်သည်။

Big Data Structures အမျိုးအစားများ

ဒေတာကြီးများသည် ဖွဲ့စည်းပုံ၏ အမျိုးအစားသုံးမျိုးဖြင့် လာပါသည်- ဖွဲ့စည်းတည်ဆောက်ပုံမရှိသောဒေတာ၊ တစ်ပိုင်းဖွဲ့စည်းပုံနှင့် ဖွဲ့စည်းတည်ဆောက်ထားသည့်ဒေတာ။

Unstructured data သည် တိကျသေချာနိုင်သော ဖွဲ့စည်းပုံမရှိသော ဒေတာဖြစ်ပြီး ဆိုလိုသည်မှာ ဒေတာသည် မရှိမဖြစ်လိုအပ်သော ရေကန်ကြီးတစ်ခုတွင်သာဖြစ်သည်။ ဖွဲ့စည်းပုံမရှိသော ဒေတာ နမူနာများသည် တံဆိပ်မပါသော ပုံများ ပြည့်နေသော ဒေတာဘေ့စ်တစ်ခု ဖြစ်လိမ့်မည်။

Semi-structured data သည် တရားဝင်ဖွဲ့စည်းပုံမရှိသော်လည်း လျော့ရဲသောဖွဲ့စည်းပုံအတွင်းတွင် ရှိနေသည့် ဒေတာဖြစ်သည်။ ဥပမာအားဖြင့်၊ သင်သည် အီးမေးလ်တစ်ခုချင်းစီတွင်ပါရှိသော ဒေတာများကို ကိုးကားနိုင်သောကြောင့် အီးမေးလ်ဒေတာကို တစ်ပိုင်းဖွဲ့စည်းပုံဒေတာအဖြစ် ရေတွက်နိုင်သော်လည်း တရားဝင်ဒေတာပုံစံများကို မသတ်မှတ်ရသေးပါ။

Structured data သည် ကွဲပြားသောအင်္ဂါရပ်များဖြင့် ခွဲခြားထားသော ဒေတာအချက်များဖြင့် တရားဝင်ဖွဲ့စည်းပုံပါရှိသော ဒေတာဖြစ်သည်။ ဖွဲ့စည်းပုံဒေတာ၏ ဥပမာတစ်ခုသည် အမည်များ၊ အီးမေးလ်များ၊ ဖုန်းနံပါတ်များနှင့် ဝဘ်ဆိုက်များကဲ့သို့သော ဆက်သွယ်ရန်အချက်အလက်များပါရှိသော excel spreadsheet တစ်ခုဖြစ်သည်။

ဤဒေတာအမျိုးအစားများတွင် ကွဲပြားမှုများအကြောင်း ပိုမိုဖတ်ရှုလိုပါက ဤလင့်ခ်ကို ကြည့်ရှုပါ။

Big Data အကဲဖြတ်ရန်အတွက် မက်ထရစ်များ

ကြီးမားသောဒေတာကို ပမာဏ၊ အလျင်နှင့် အမျိုးမျိုးသော တိုင်းတာမှုသုံးမျိုးဖြင့် ခွဲခြမ်းစိတ်ဖြာနိုင်သည်။

Volume သည် data ၏အရွယ်အစားကိုရည်ညွှန်းသည်။ ဒေတာအတွဲများ၏ ပျမ်းမျှအရွယ်အစားသည် မကြာခဏ တိုးများလာသည်။ ဥပမာအားဖြင့်၊ 2006 ခုနှစ်တွင် အကြီးဆုံး hard drive သည် 750 GB hard drive ဖြစ်သည်။ ဆန့်ကျင်ဘက်အနေဖြင့် Facebook သည် တစ်နေ့လျှင် ဒေတာ 500 terabytes ကျော် ထုတ်လုပ်မည်ဟု ယူဆရပြီး ယနေ့ရရှိနိုင်သည့် အကြီးဆုံးသော စားသုံးသူ hard drive မှာ 16 terabyte hard drive ဖြစ်သည်။ ခေတ်တစ်ခုတွင် ကြီးမားသောဒေတာအဖြစ် တိုင်းတာသည့်အရာသည် နောက်တစ်ခုတွင် ကြီးမားသောဒေတာမဟုတ်ပေ။ ကျွန်ုပ်တို့ပတ်ဝန်းကျင်ရှိ အရာဝတ္ထုများတွင် အာရုံခံကိရိယာများ၊ ကင်မရာများ၊ မိုက်ခရိုဖုန်းများနှင့် အခြားဒေတာစုဆောင်းကိရိယာများ တပ်ဆင်ထားသောကြောင့် ယနေ့ခေတ်တွင် ဒေတာများ ပိုမိုထုတ်ပေးပါသည်။

Velocity သည် ဒေတာရွေ့လျားမှု မည်မျှမြန်သည်ကို ရည်ညွှန်းသည်၊ သို့မဟုတ် အခြားနည်းဖြင့် သတ်မှတ်ကာလတစ်ခုအတွင်း ဒေတာမည်မျှထုတ်ပေးသည်ကို ဆိုလိုသည်။ ဆိုရှယ်မီဒီယာစီးကြောင်းများသည် မိနစ်တိုင်းတွင် ရာနှင့်ချီသော ပို့စ်များနှင့် မှတ်ချက်များကို ထုတ်ပေးနေသော်လည်း သင့်ကိုယ်ပိုင်အီးမေးလ်ဝင်စာပုံးတွင် လုပ်ဆောင်ချက်များစွာနည်းနိုင်ဖွယ်ရှိသည်။ Big data စီးကြောင်းများသည် အချိန်နှင့်တပြေးညီ အဖြစ်အပျက်ပေါင်း ရာနှင့်ချီ သို့မဟုတ် သန်းပေါင်းများစွာကို ကိုင်တွယ်လေ့ရှိသည့် တိုက်ရိုက်စီးကြောင်းများဖြစ်သည်။ ဤဒေတာစီးကြောင်းများ၏ ဥပမာများသည် အွန်လိုင်းဂိမ်းပလပ်ဖောင်းများနှင့် ကြိမ်နှုန်းမြင့် စတော့ခ်ရောင်းဝယ်ရေး အယ်ဂိုရီသမ်များဖြစ်သည်။

Variety သည် dataset အတွင်းပါရှိသော မတူညီသောဒေတာအမျိုးအစားများကို ရည်ညွှန်းသည်။ ဒေတာကို အသံ၊ ဗီဒီယို၊ စာသား၊ ဓာတ်ပုံ၊ သို့မဟုတ် အမှတ်စဉ်နံပါတ်များကဲ့သို့ မတူညီသော ဖော်မတ်များစွာဖြင့် ဖန်တီးနိုင်သည်။ ယေဘုယျအားဖြင့်၊ ရိုးရာဒေတာဘေ့စ်များကို ဒေတာအမျိုးအစားတစ်ခု သို့မဟုတ် စုံတွဲတစ်တွဲမျှသာ ကိုင်တွယ်ရန် ဖော်မတ်လုပ်ထားသည်။ အခြားနည်းဖြင့်ပြောရလျှင် သမားရိုးကျ ဒေတာဘေ့စ်များသည် မျှတသော တစ်သားတည်းကျပြီး တသမတ်တည်း ခန့်မှန်းနိုင်သော ဖွဲ့စည်းတည်ဆောက်ပုံအရ ဒေတာကို ထိန်းထားရန် ဖွဲ့စည်းတည်ဆောက်ထားသည်။ အပလီကေးရှင်းများ ပိုမိုကွဲပြားလာသည်နှင့်အမျှ မတူညီသောအင်္ဂါရပ်များနှင့် ပြည့်နှက်နေပြီး လူများစွာအသုံးပြုလာသည်နှင့်အမျှ၊ ဒေတာအမျိုးအစားများ ပိုမိုသိမ်းဆည်းရန် ဒေတာဘေ့စ်များသည် တိုးတက်ပြောင်းလဲလာရမည်ဖြစ်သည်။ Unstructured databases များသည် တစ်ခုနှင့်တစ်ခု မသက်ဆိုင်သော data အမျိုးအစားများစွာကို သိမ်းဆည်းထားနိုင်သောကြောင့် ဒေတာကြီးကြီးမားမားကို ကိုင်ဆောင်ရန် အကောင်းဆုံးဖြစ်သည်။

Big Data ကိုင်တွယ်နည်းများ

ဒေတာကြီးများကို ခွဲခြမ်းစိတ်ဖြာရာတွင် လွယ်ကူချောမွေ့စေရန် ဒီဇိုင်းထုတ်ထားသော မတူညီသော ပလက်ဖောင်းများနှင့် ကိရိယာများစွာရှိပါသည်။ သမားရိုးကျ ဒေတာခွဲခြမ်းစိတ်ဖြာမှုကိရိယာများဖြင့် အတော်လေး စိန်ခေါ်နိုင်သော အလုပ်တစ်ခုဖြစ်သည့် ဒေတာမှ အဓိပ္ပာယ်ရှိသော ပုံစံများကို ထုတ်ယူရန် ကြီးမားသောဒေတာပေါင်းစုများကို ခွဲခြမ်းစိတ်ဖြာရန် လိုအပ်ပါသည်။ ဒေတာအများအပြားကို ခွဲခြမ်းစိတ်ဖြာရန် ကိရိယာများ လိုအပ်မှုကို တုံ့ပြန်ရန်အတွက် ကုမ္ပဏီများစွာသည် ကြီးမားသောဒေတာခွဲခြမ်းစိတ်ဖြာမှုကိရိယာများကို ဖန်တီးခဲ့ကြသည်။ ကြီးမားသောဒေတာခွဲခြမ်းစိတ်ဖြာခြင်းကိရိယာများတွင် ZOHO Analytics၊ Cloudera နှင့် Microsoft BI ကဲ့သို့သောစနစ်များပါဝင်သည်။