ما هي علم البيانات؟

يبدو أن مجال علم البيانات يزداد حجمًا وشهرة يومًا بعد يوم. وفقًا لينكد إن، كان علم البيانات واحد من أسرع المجالات نموًا في عام 2017 وفي عام 2020، صنفت غلاس دور وظيفة علم البيانات على أنها واحدة من ثلاث وظائف أفضل في الولايات المتحدة. نظرًا للشعبية المتزايدة لعلم البيانات، فليس من المفاجئ أن يزداد عدد الأشخاص المهتمين بالحقل. ومع ذلك، ما هو علم البيانات بالضبط؟

دعونا نتعرف على علم البيانات، وقضاء بعض الوقت في تعريف علم البيانات، واستكشاف كيف يغير البيانات الكبيرة والذكاء الاصطناعي الحقل، وتعلم بعض الأدوات الشائعة لعلم البيانات، والتحقق من بعض الأمثلة على علم البيانات.

ما هو علم البيانات؟

قبل أن نستكشف أي أدوات أو أمثلة لعلم البيانات، سنريدها للحصول على تعريف مقنع لعلم البيانات.

تعريف “علم البيانات” صعب بعض الشيء، لأن المصطلح يتم تطبيقه على العديد من المهام وأساليب الاستفسار والتحليل. يمكننا أن نبدأ بذكر ما يعني مصطلح “العلم”. العلم هو الدراسة المنهجية للعالم المادي والطبيعي من خلال الملاحظة والتجربة، معهدفًا إلى تقدم الفهم البشري للعمليات الطبيعية. الكلمات المهمة في هذا التعريف هي “الملاحظة” و “الفهم”.

إذا كان علم البيانات هو عملية فهم العالم من الأنماط في البيانات، فإن مسؤولية عالم البيانات هي تحويل البيانات، وتحليل البيانات، واستخراج الأنماط من البيانات. بعبارة أخرى، يتم تزويد عالم البيانات بالبيانات، ويستخدم مجموعة من الأدوات والتقنيات لتحضير البيانات (إعدادها للتحليل) ثم تحليل البيانات للعثور على أنماط ذات معنى.

دور عالم البيانات مشابه لدور عالم تقليدي. كلاهما مهتم بالتحليل البيانات لدعم أو رفض الفرضيات حول كيفية عمل العالم، ومحاولة فهم الأنماط في البيانات لتحسين فهمنا للعالم. يستخدم علماء البيانات نفس الأساليب العلمية التي يستخدمها عالم تقليدي. يبدأ عالم البيانات بجمع الملاحظات حول ظاهرة معينة، ثم يصيغ فرضية حول الظاهرة، ثم يحاول العثور على بيانات تثبت أو تدحض فرضيته.

إذا لم تثبت البيانات فرضية عالم البيانات، فقد يتمكن من بناء نظرية أو نموذج حول كيفية عمل الظاهرة، والتي يمكن اختبارها مرة أخرى من خلال رؤية ما إذا كانت تنطبق على مجموعات بيانات أخرى. إذا كان النموذج قويًا بما فيه الكفاية، إذا كان يفسر الأنماط جيدًا ولا يتم دحضه خلال الاختبارات الأخرى، فيمكن استخدامه للتنبؤ بالظواهر المستقبلية.

عادةً ما لا يجمع عالم البيانات بياناته الخاصة من خلال التجربة. عادةً ما لا يصمم التجارب مع الضبط والتجارب المزدوجة العمياء للكشف عن المتغيرات المضطربة التي قد تتداخل مع فرضية. معظم البيانات التي يتحليلها عالم البيانات هي بيانات مكتسبة من خلال الدراسات الملاحظة والنظم، وهو طريقة قد تختلف بها وظيفة عالم البيانات عن وظيفة عالم تقليدي، الذي يميل إلى إجراء المزيد من التجارب.

مع ذلك، قد يُطلب من عالم البيانات إجراء نوع من التجارب يسمى الاختبار أ حيث يتم تعديل النظام الذي يجمع البيانات لمعرفة كيف تتغير أنماط البيانات.

بغض النظر عن التقنيات والأدوات المستخدمة، يهدف علم البيانات في النهاية إلى تحسين فهمنا للعالم من خلال فهم البيانات، والبيانات مكتسبة من خلال الملاحظة والتجربة. علم البيانات هو عملية استخدام الخوارزميات والمبادئ الإحصائية والأدوات والمachines لاستخراج Informationen من البيانات، Informationen تساعدنا على فهم الأنماط في العالم من حولنا.

ماذا يفعل علماء البيانات؟

قد تلاحظ أن أي نشاط ي涉ل تحليل البيانات بطريقة علمية يمكن أن يسمى علم البيانات، وهو جزء مما يجعل تعريف علم البيانات صعبًا. لجعل الأمر أكثر وضوحًا، دعونا نستكشف بعض الأنشطة التي قد يفعلها عالم البيانات يوميًا.

يجمع علم البيانات العديد من التخصصات والاختصاصات معًا. الصورة: Calvin Andrus via Wikimeedia Commons, CC BY SA 3.0 (https://commons.wikimedia.org/wiki/File:DataScienceDisciplines.png)

في أي يوم معين، قد يُطلب من عالم البيانات إنشاء مخططات تخزين واسترجاع البيانات، وإنشاء أنابيب ETL (استخراج، تحويل، تحميل) وتنظيف البيانات، وتطبيق الأساليب الإحصائية، وإنشاء تصورات ولوحات تحكم للبيانات، وتنفيذ خوارزميات الذكاء الاصطناعي والتعلم الآلي، ووضع توصيات للإجراءات بناءً على البيانات.

دعونا ننظر إلى المهام المذكورة أعلاه بمزيد من التفصيل.

قد يُطلب من عالم البيانات التعامل مع تثبيت التكنولوجيا اللازمة لتخزين واسترجاع البيانات، مع الاهتمام بالعتاد والبرمجيات. قد يُطلق على الشخص المسؤول عن هذا المنصب أيضًا “مهندس البيانات“. ومع ذلك، تشمل بعض الشركات هذه المسؤوليات في دور عالم البيانات. قد يُطلب من عالم البيانات أيضًا إنشاء أو مساعدة في إنشاء أنابيب ETL. نادرًا ما تأتي البيانات في شكل مناسب لعالم البيانات. بدلاً من ذلك، سيتعين على عالم البيانات استلام البيانات في شكلها الخام من مصدر البيانات، وتحويلها إلى شكل يمكن استخدامه، ومعالجتها (أشياء مثل معالجة البيانات، وإسقاط التكرارات، وإزالة البيانات التالفة).

أساليب علم البيانات الإحصائية

تطبيق الإحصاء ضروري لتحويل مجرد النظر إلى البيانات وتفسيرها إلى علم حقيقي. يتم استخدام الأساليب الإحصائية لاستخراج الأنماط ذات الصلة من مجموعات البيانات، ويجب على عالم البيانات أن يكون على دراية جيدة بال概念ات الإحصائية. يجب أن يكون قادرًا على التمييز بين الارتباطات المهمة والارتباطات الزائفة عن طريق التحكم في المتغيرات المضطربة. كما يجب أن يعرف الأدوات الصحيحة لاستخدامها لتحديد الميزات المهمة في مجموعة البيانات / التي لها قوة تنبؤية. يجب على عالم البيانات أن يعرف متى يستخدم نهجًا للانحدار مقابل نهج التصنيف، ومتى يجب الاهتمام بمتوسط العينة مقابل الوسيط. عالم البيانات لن يكون عالمًا بدون هذه المهارات الحاسمة.

تصوير البيانات

جزء حاسم من وظيفة عالم البيانات هو التواصل مع النتائج للآخرين. إذا لم يتمكن عالم البيانات من التواصل بشكل فعال مع النتائج للآخرين، فإن أهمية النتائج لا تهم. يجب على عالم البيانات أن يكون قصاصًا فعالًا أيضًا. هذا يعني إنتاج تصورات تواصل النقاط ذات الصلة حول مجموعة البيانات والأنماط المكتشفة فيها. هناك عدد كبير من أدوات تصوير البيانات التي قد يستخدمها عالم البيانات، وربما يصور البيانات لغرض الاستكشاف الأولي الأساسي (تحليل البيانات الاستكشافي) أو يصور النتائج التي ينتجها نموذج.

التوصيات والتطبيقات التجارية

يجب على عالم البيانات أن يكون لديه بعض الفهم لمتطلبات وأهداف المنظمة أو الشركة. يجب على عالم البيانات أن يفهم هذه الأشياء لأنهم يحتاجون إلى معرفة ما النوع من المتغيرات والميزات التي يجب عليهم تحليلها، والبحث عن الأنماط التي ستساعد منظمتها في تحقيق أهدافها. يجب على علماء البيانات أن يكونوا على دراية بالقيود التي يعملون تحتها والافتراضات التي يفترضها قيادة المنظمة.

التعلم الآلي والذكاء الاصطناعي

يستخدم التعلم الآلي و خوارزميات الذكاء الاصطناعي والأدوات الأخرى من قبل علماء البيانات لتحليل البيانات، وتحديد الأنماط داخل البيانات، والكشف عن العلاقات بين المتغيرات، والتنبؤ بالحدث المستقبلية.

علم البيانات التقليدية مقابل علم البيانات الكبير

随着 تقدم أساليب جمع البيانات وتوسع قواعد البيانات، ظهرت فروق بين علم البيانات التقليدية و “علم البيانات الكبير“.

يتم إجراء التحليلات التقليدية لعلم البيانات والعلوم من خلال التحليلات الوصفية والاستكشافية، معهدفًا إلى العثور على الأنماط وتحليل نتائج أداء المشاريع. غالبًا ما تركز الأساليب التقليدية للتحليلات على البيانات السابقة والحالية فقط. يتعامل محللوا البيانات غالبًا مع البيانات التي تم تنظيفها بالفعل وتنظيمها، بينما يتعامل علماء البيانات غالبًا مع بيانات معقدة وملوثة. قد يتم استخدام تقنيات التحليلات المتقدمة أكثر لتنبؤ السلوك المستقبلي، على الرغم من أن هذا يتم بشكل أكثر شيوعًا مع البيانات الكبيرة، حيث أن النماذج التنبؤية غالبًا ما تحتاج إلى كميات كبيرة من البيانات لتكون موثوقة.

“البيانات الكبيرة” تشير إلى البيانات التي تكون كبيرة ومعقدة لدرجة أن لا يمكن التعامل معها باستخدام تقنيات التحليلات التقليدية وعلم البيانات والأدوات. غالبًا ما يتم جمع البيانات الكبيرة من خلال المنصات عبر الإنترنت، ويتم استخدام أدوات تحويل البيانات المتقدمة لجعل كميات كبيرة من البيانات جاهزة للفحص من قبل علم البيانات. مع جمع المزيد من البيانات باستمرار، يصبح جزء أكبر من وظيفة عالم البيانات يتعلق بتحليل البيانات الكبيرة.

أدوات علم البيانات

تتضمن أدوات علم البيانات الشائعة أدوات لتخزين البيانات، وإجراء تحليل البيانات الاستكشافي، ونمذجة البيانات، وإجراء ETL، وتصوير البيانات. تقدم منصات مثل Amazon (AMZN ) Web Services و Microsoft Azure و Google Cloud أدوات لمساعدة علماء البيانات على تخزين وtransform و تحليل و نمذجة البيانات. هناك أيضًا أدوات علم البيانات المستقلة مثل Airflow (بنية تحتية للبيانات) و Tableau (تصوير البيانات والتحليلات).

فيما يتعلق بخوارزميات التعلم الآلي والذكاء الاصطناعي المستخدمة لنمذجة البيانات، غالبًا ما يتم توفيرها من خلال وحدات و منصات علم البيانات مثل TensorFlow و PyTorch و Azure Machine Learning Studio. يمكن لعلماء البيانات من خلال هذه المنصات تعديل مجموعات البيانات، وإنشاء هياكل التعلم الآلي، و تدريب نماذج التعلم الآلي.

تشمل أدوات علم البيانات الشائعة الأخرى والمكتبات SAS (للمodeling الإحصائي)، و Apache Spark (لتحليل البيانات المتدفقة)، و D3.js (لتصورات التفاعلية في المتصفح)، و Jupyter (لبلوكات التفاعلية والقابلة للمشاركة والتصورات).

الصورة: Seonjae Jo via Flickr, CC BY SA 2.0 (https://www.flickr.com/photos/130860834@N02/19786840570)

أمثلة على علم البيانات

توجد أمثلة على علم البيانات وتطبيقاته في كل مكان. علم البيانات له تطبيقات في كل شيء من توصيل الطعام، والرياضة، والمرور، والصحة. البيانات موجودة في كل مكان، وبالتالي يمكن تطبيق علم البيانات على كل شيء.

فيما يتعلق بالغذاء، يستثمر أوبير في توسيع نظام النقل الخاص به إلى توصيل الطعام، أوبير إي츠. يحتاج أوبير إي츠 إلى توصيل الطعام إلى الناس في وقت مناسب، بينما لا يزال ساخنًا وطازجًا. من أجل حدوث ذلك، يحتاج علماء البيانات في الشركة إلى استخدام النمذجة الإحصائية التي تأخذ في الاعتبار جوانب مثل المسافة من المطاعم إلى نقاط التسليم، واضطرابات العطلات، ووقت الطهي، وحتى ظروف الطقس، كل ذلك مع هدف تحسين أوقات التسليم.

تستخدم إحصائيات الرياضة من قبل مديري الفرق لتحديد أفضل اللاعبين وتشكيل فرق قوية وموثوقة سوف تفوز بالمباريات. مثال ملحوظ هو علم البيانات الوثائقية من قبل مايكل لويس في كتاب موني بول، حيث قام مدير عام فريق أوكلاند أثليتكس بتحليل مجموعة من الإحصائيات لتحديد لاعبي جودة يمكن توقيعهم مع الفريق بتكلفة منخفضة نسبيًا.

تحليل أنماط المرور حاسم لإنشاء المركبات ذاتية القيادة. المركبات ذاتية القيادة يجب أن تكون قادرة على التنبؤ بنشاط حولها والاستجابة لتغييرات في ظروف الطريق، مثل المسافة الإيقافية المطلوبة عندما تمطر، بالإضافة إلى وجود المزيد من السيارات على الطريق خلال ساعات الذروة. بالإضافة إلى المركبات ذاتية القيادة، تطبيقات مثل جوجل مابز تحليل أنماط المرور لتقول للمتحركين كم من الوقت سوف يستغرق الوصول إلى وجهتهم باستخدام طرق مختلفة ووسائل النقل.

فيما يتعلق بالبيانات الصحية، غالبًا ما يتم الجمع بين الرؤية الحاسوبية والتعلم الآلي وتقنيات الذكاء الاصطناعي الأخرى لإنشاء فئات تصنيف الصور قادرة على فحص الأشياء مثل الأشعة السينية، والتصوير بالرنين المغناطيسي، والتصوير بالموجات الصوتية لمعرفة ما إذا كان هناك أي مشاكل طبية محتملة قد تظهر في الفحص. يمكن استخدام هذه الخوارزميات لمساعدة الأطباء في تشخيص الأمراض.

في النهاية، يغطي علم البيانات العديد من الأنشطة ويجمع بين جوانب مختلفة التخصصات. ومع ذلك، علم البيانات دائمًا ما يهتم برواية قصص مقنعة ومثيرة للاهتمام من البيانات، و باستخدام البيانات لفهم العالم بشكل أفضل.