อะไรคือ Big Data?

อะไรคือ Big Data?

“Big Data” เป็นคำที่ใช้กันอย่างแพร่หลายในยุคปัจจุบัน แต่คำนี้หมายถึงอะไร?

นี่คือคำจำกัดความของ Big Data ที่เรียบง่าย Big data คือข้อมูลที่มีขนาดใหญ่และซับซ้อนเกินกว่าที่จะจัดการได้ด้วยวิธีการประมวลผลและจัดเก็บข้อมูลแบบดั้งเดิม แม้ว่านี่จะเป็นคำจำกัดความที่เรียบง่าย แต่ก็จะช่วยให้เข้าใจ Big Data ได้ดีขึ้น หากเรามีความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับแนวคิดที่อยู่เบื้องหลัง Big Data เช่น การจัดเก็บข้อมูล โครงสร้าง และการประมวลผล

Big Data มีขนาดใหญ่แค่ไหน?

ไม่ใช่เรื่องง่ายที่จะบอกว่า “ข้อมูลใดๆ ที่มีขนาดใหญ่กว่า ‘X’ จะถือเป็น Big Data” สิ่งแวดล้อมที่ข้อมูลถูกจัดการเป็นปัจจัยที่สำคัญมากในการกำหนดว่าข้อมูลใดถือเป็น Big Data การกำหนดข้อมูลที่ถือเป็น Big Data ขึ้นอยู่กับบริบทหรืองานที่ข้อมูลถูกใช้ ชุดข้อมูลสองชุดที่มีขนาดต่างกันมากสามารถถือเป็น “Big Data” ในบริบทที่แตกต่างกัน

เพื่อให้เห็นภาพชัดเจนยิ่งขึ้น หากคุณพยายามส่งไฟล์ขนาด 200 เมกะไบต์เป็นไฟล์แนบในอีเมล คุณจะไม่สามารถทำได้ ในบริบทนี้ ไฟล์ขนาด 200 เมกะไบต์สามารถถือเป็น Big Data ได้ ในทางกลับกัน การคัดลอกไฟล์ขนาด 200 เมกะไบต์ไปยังอุปกรณ์อื่นภายในเครือข่ายเดียวกันอาจไม่ต้องใช้เวลาใดๆ และในบริบทนั้น ไฟล์ขนาด 200 เมกะไบต์จะไม่ถือเป็น Big Data

อย่างไรก็ตาม สมมติว่าเราต้องประมวลผลวิดีโอขนาด 15 เทระไบต์สำหรับการใช้งานในการฝึกอบรมแอปพลิเคชันการมองเห็นของคอมพิวเตอร์ ในกรณีนี้ ไฟล์วิดีโอนั้นมีขนาดใหญ่มากจนแม้แต่คอมพิวเตอร์ที่มีประสิทธิภาพสูงก็จะใช้เวลานานในการประมวลผลทั้งหมด ดังนั้นการประมวลผลจึงมักจะถูกกระจายไปทั่วหลายคอมพิวเตอร์ที่เชื่อมต่อกันเพื่อลดเวลาในการประมวลผล วิดีโอขนาด 15 เทระไบต์เหล่านี้จะถือเป็น Big Data อย่างแน่นอน

ประเภทของโครงสร้าง Big Data

Big Data มีสามประเภทของโครงสร้าง: ข้อมูลที่ไม่มีโครงสร้าง, ข้อมูลที่มีโครงสร้างบางส่วน และข้อมูลที่มีโครงสร้าง

ข้อมูลที่ไม่มีโครงสร้างคือข้อมูลที่ไม่มีรูปแบบที่กำหนดไว้ ซึ่งหมายความว่าข้อมูลอยู่ในกลุ่มใหญ่เพียงกลุ่มเดียว ตัวอย่างของข้อมูลที่ไม่มีโครงสร้างคือฐานข้อมูลที่เต็มไปด้วยรูปภาพที่ไม่มีฉลาก

ข้อมูลที่มีโครงสร้างบางส่วนคือข้อมูลที่ไม่มีรูปแบบที่เป็นทางการ แต่อยู่ในโครงสร้างที่หลวม ตัวอย่างของข้อมูลที่มีโครงสร้างบางส่วนคือข้อมูลอีเมล ซึ่งคุณสามารถอ้างอิงข้อมูลภายในอีเมลแต่ละฉบับ แต่ยังไม่มีรูปแบบข้อมูลที่เป็นทางการ

ข้อมูลที่มีโครงสร้างคือข้อมูลที่มีรูปแบบที่เป็นทางการ โดยมีจุดข้อมูลที่ถูกจัดหมวดหมู่ตามคุณลักษณะต่างๆ ตัวอย่างของข้อมูลที่มีโครงสร้างคือตารางเอ็กซ์เซลที่มีข้อมูลติดต่อ เช่น ชื่อ, อีเมล, หมายเลขโทรศัพท์ และเว็บไซต์

หากคุณต้องการอ่านเพิ่มเติมเกี่ยวกับความแตกต่างระหว่างประเภทข้อมูลเหล่านี้ คุณสามารถดูได้ที่ลิงก์นี้

เมตริกสำหรับการประเมิน Big Data

Big Data สามารถวิเคราะห์ได้โดยใช้เมตริกสามประเภท: ปริมาณ, ความเร็ว และความหลากหลาย

ปริมาณหมายถึงขนาดของข้อมูล ขนาดเฉลี่ยของชุดข้อมูลมักจะเพิ่มขึ้นเรื่อยๆ ตัวอย่างเช่น ฮาร์ดดิสก์ที่ใหญ่ที่สุดในปี 2006 คือฮาร์ดดิสก์ขนาด 750 GB ในขณะที่ Facebook (META ) คิดว่าสร้างข้อมูลมากกว่า 500 เทระไบต์ต่อวัน และฮาร์ดดิสก์ที่ใหญ่ที่สุดสำหรับผู้บริโภคที่มีจำหน่ายในปัจจุบันคือฮาร์ดดิสก์ขนาด 16 เทระไบต์ สิ่งที่ถือเป็น Big Data ในยุคหนึ่งอาจไม่ใช่ Big Data ในยุคอื่น ข้อมูลที่สร้างขึ้นในปัจจุบันเพิ่มขึ้นเพราะวัตถุรอบตัวเรามีอุปกรณ์ตรวจจับ, กล้อง, ไมโครโฟน และอุปกรณ์เก็บข้อมูลอื่นๆ มากขึ้น

ความเร็วหมายถึงความเร็วที่ข้อมูลเคลื่อนที่ หรืออีกนัยหนึ่ง คือปริมาณข้อมูลที่สร้างขึ้นในระยะเวลาหนึ่ง สตรีมโซเชียลมีเดียสร้างโพสต์และคอมเมนต์หลายร้อยพันรายการในแต่ละนาที ในขณะที่กล่องอีเมลส่วนตัวของคุณอาจมีกิจกรรมน้อยกว่ามาก Big Data สตรีมคือสตรีมที่จัดการเหตุการณ์หลายร้อยพันหรือหลายล้านเหตุการณ์ในเวลาเกือบจะเรียลไทม์ ตัวอย่างของสตรีมข้อมูลเหล่านี้คือแพลตฟอร์มเกมออนไลน์และอัลกอริทึมการซื้อขายหุ้นความถี่สูง

ความหลากหลายหมายถึงประเภทต่างๆ ของข้อมูลที่อยู่ในเซตข้อมูล ข้อมูลสามารถอยู่ในรูปแบบต่างๆ เช่น ออดิโอ, วิดีโอ, ข้อความ, รูปภาพ หรือหมายเลขซีเรียล โดยทั่วไป ฐานข้อมูลแบบดั้งเดิมถูกออกแบบมาเพื่อจัดการข้อมูลประเภทเดียวหรือสองประเภท ฐานข้อมูลแบบดั้งเดิมถูกออกแบบมาเพื่อจัดเก็บข้อมูลที่มีโครงสร้างที่คาดการณ์ได้และสม่ำเสมอ เมื่อแอปพลิเคชันกลายเป็นแบบหลากหลาย มีคุณลักษณะมากขึ้น และมีผู้ใช้มากขึ้น ฐานข้อมูลจึงต้องพัฒนาเพื่อจัดเก็บข้อมูลหลายประเภทมากขึ้น ฐานข้อมูลที่ไม่มีโครงสร้างเหมาะสำหรับจัดเก็บ Big Data เนื่องจากสามารถจัดเก็บข้อมูลหลายประเภทที่ไม่เกี่ยวข้องกัน

วิธีการจัดการ Big Data

มีหลายแพลตฟอร์มและเครื่องมือที่ถูกออกแบบมาเพื่ออำนวยความสะดวกในการวิเคราะห์ Big Data ทะเลสาบข้อมูลขนาดใหญ่ต้องถูกวิเคราะห์เพื่อแยกย่อยรูปแบบที่มีความหมายออกจากข้อมูล ซึ่งเป็นงานที่ท้าทายเมื่อใช้เครื่องมือวิเคราะห์ข้อมูลแบบดั้งเดิม ในการตอบสนองต่อความต้องการเครื่องมือสำหรับการวิเคราะห์ข้อมูลขนาดใหญ่หลายบริษัทได้สร้างเครื่องมือวิเคราะห์ Big Data เครื่องมือวิเคราะห์ Big Data รวมถึงระบบ như ZOHO Analytics, Cloudera และ Microsoft (MSFT ) BI