ما هي البيانات الكبيرة؟

ما هي البيانات الكبيرة؟

“البيانات الكبيرة” هي واحدة من العبارات الشائعة المستخدمة في عصرنا الحالي، ولكن ماذا تعني حقًا؟

هنا تعريف سريع وبسيط للبيانات الكبيرة. البيانات الكبيرة هي بيانات كبيرة جدًا ومركبة لدرجة أنها لا يمكن التعامل معها بواسطة طرق المعالجة والتخزين التقليدية. بينما هذا تعريف سريع يمكن استخدامه كقاعدة سريعة، سيكون من المفيد الحصول على فهم أعمق وأكثر شمولاً للبيانات الكبيرة. دعونا نلقي نظرة على بعض المفاهيم التي تؤسس للبيانات الكبيرة، مثل التخزين والهيكل والمعالجة.

كم حجم البيانات الكبيرة؟

ليس من البسيط القول “أي بيانات أكبر من حجم ‘X’ هي بيانات كبيرة”، فإن البيئة التي يتم التعامل مع البيانات فيها هي عامل مهم جدًا في تحديد ما يعتبر بيانات كبيرة. الحجم الذي يجب أن تكون عليه البيانات لكي تعتبر بيانات كبيرة يعتمد على السياق أو المهمة التي يتم استخدام البيانات فيها. يمكن أن تعتبر مجموعتان من البيانات بحجمين مختلفين بشكل كبير “بيانات كبيرة” في سياقات مختلفة.

لتوضيح أكثر، إذا حاولت إرسال ملف بحجم 200 ميغابايت كملحق بريد إلكتروني، لن تتمكن من القيام بذلك. في هذا السياق، يمكن اعتبار الملف بحجم 200 ميغابايت بيانات كبيرة. في المقابل، نسخ ملف بحجم 200 ميغابايت إلى جهاز آخر داخل نفس الشبكة المحلية قد لا يأخذ أي وقت على الإطلاق، وفي هذا السياق، لن تعتبر بيانات كبيرة.

然而، دعونا نفترض أن هناك 15 تيرابايت من مقاطع الفيديو تحتاج إلى المعالجة المسبقة لاستخدامها في تطبيقات الرؤية الحاسوبية. في هذه الحالة، تأخذ ملفات الفيديو مساحة كبيرة لدرجة أن حتى جهاز كمبيوتر قوي سيستغرق وقتًا طويلاً لمعالجتها جميعًا، وبالتالي يتم توزيع المعالجة عادةً عبر عدة أجهزة كمبيوتر متصلة ببعضها البعض لتقليل وقت المعالجة. هذه 15 تيرابايت من بيانات الفيديو تعتبر بالتأكيد بيانات كبيرة.

أنواع هياكل البيانات الكبيرة

تأتي البيانات الكبيرة في ثلاث فئات من الهياكل: بيانات غير منظمة وبيانات شبه منظمة وبيانات منظمة.

البيانات غير المنظمة هي بيانات لا تمتلك هيكلاً محددًا، مما يعني أن البيانات موجودة في مجموعة كبيرة واحدة. أمثلة على البيانات غير المنظمة هي قاعدة بيانات كاملة من الصور غير الموصوفة.

البيانات شبه المنظمة هي بيانات لا تمتلك هيكلاً رسميًا، ولكنها موجودة داخل هيكل فضفاض. على سبيل المثال، يمكن اعتبار بيانات البريد الإلكتروني بيانات شبه منظمة، لأنك يمكن أن تشير إلى البيانات الموجودة في رسائل البريد الإلكتروني الفردية، ولكن أنماط البيانات الرسمية لم يتم تأسيسها.

البيانات المنظمة هي بيانات تمتلك هيكلاً رسميًا، مع بيانات تم تجميعها حسب ميزات مختلفة. واحد من الأمثلة على البيانات المنظمة هو جدول إكسل يحتوي على معلومات الاتصال مثل الأسماء والبريد الإلكتروني وأرقام الهواتف والمواقع الإلكترونية.

إذا كنت ترغب في قراءة المزيد عن الفروق بين أنواع البيانات هذه، يمكنك زيارة الرابط هنا.

معايير تقييم البيانات الكبيرة

يمكن تحليل البيانات الكبيرة من حيث ثلاثة معايير مختلفة: الحجم والسرعة والتنوع.

الحجم يُشير إلى حجم البيانات. متوسط حجم مجموعات البيانات يزداد بشكل متزايد. على سبيل المثال، كان أكبر قرص صلب في عام 2006 هو قرص صلب بحجم 750 جيجابايت. في المقابل، يُعتقد أن فيسبوك يُنتج أكثر من 500 تيرابايت من البيانات في يوم واحد وأكبر قرص صلب متوفر اليوم هو قرص صلب بحجم 16 تيرابايت. ما يُعتبر بيانات كبيرة في عصر ما قد لا يكون كذلك في عصر آخر. يتم إنتاج المزيد من البيانات اليوم لأن المزيد والمزيد من الأشياء المحيطة بنا مجهزة بمتحسسات وكاميرات وميكروفونات وأجهزة جمع بيانات أخرى.

السرعة تشير إلى مدى سرعة حركة البيانات، أو بعبارة أخرى، كمية البيانات التي تُنتج في فترة زمنية معينة. تُنتج تيارات الوسائط الاجتماعية مئات الآلاف من المنشورات والتعليقات كل دقيقة، بينما سيكون لديك نشاط أقل في صندوق بريدك الإلكتروني. تيارات البيانات الكبيرة هي تيارات تتعامل مع مئات الآلاف أو الملايين من الأحداث في وقت قريب من الوقت الفعلي. أمثلة على هذه التيارات هي منصات الألعاب عبر الإنترنت و خوارزميات التداول المالي عالي التردد.

التنوع يُشير إلى أنواع مختلفة من البيانات الموجودة في المجموعة. يمكن أن تتكون البيانات من تنسيقات مختلفة مثل الصوت والفيديو والنص والصور والأرقام التسلسلية. بشكل عام، يتم تصميم قواعد البيانات التقليدية لمعالجة نوع أو نوعين من البيانات. مع تطور التطبيقات لتصبح أكثر تنوعًا وتميزًا واستخدامًا من قبل المزيد من الناس، تمت إعادة تصميم قواعد البيانات لتخزين أنواع أكثر من البيانات. قواعد البيانات غير المنظمة مثالية لتخزين البيانات الكبيرة لأنها يمكن أن تحتوي على أنواع متعددة من البيانات غير المرتبطة ببعضها البعض.

طرق التعامل مع البيانات الكبيرة

هناك العديد من المنصات والأدوات المصممة لتسهيل تحليل البيانات الكبيرة. تحتاج برك البيانات الكبيرة إلى تحليل لاستخراج أنماط ذات معنى من البيانات، وهي مهمة يمكن أن تثبت صعوبة مع أدوات تحليل البيانات التقليدية. استجابةً لاحتياج أدوات لتحليل كميات كبيرة من البيانات، أنشأت العديد من الشركات أدوات لتحليل البيانات الكبيرة. تشمل أدوات تحليل البيانات الكبيرة أنظمة مثل ZOHO Analytics و Cloudera و Microsoft (MSFT ) BI.