متانة أكبر من الدقة: لماذا يجب أن تكون “متانة النموذج” معيارًا حقيقيًا لتشغيل النماذج

بواسطة Ingo Mierswa، المؤسس والرئيس والباحث الرئيسي في RapidMiner.

لقد حقق علم البيانات تقدمًا كبيرًا في السنوات القليلة الماضية، ويستخدم العديد من المنظمات تحليلات متقدمة أو نماذج تعلم الآلة للحصول على رؤى أعمق حول العمليات، وفي بعض الحالات، حتى للتنبؤ بنتائج محتملة للمستقبل. بالنسبة للعلوم الأخرى، غالبًا ما لا يكون من الواضح ما إذا كان مشروعًا سينجح أو لا، وقد تم الإبلاغ عن أن ما يصل إلى 87٪ من مشاريع علم البيانات لا تصل إلى الإنتاج. في حين لا يمكن توقع نسبة نجاح 100٪، هناك بعض الأنماط في مشاريع علم البيانات التي تؤدي إلى ارتفاع معدلات النجاح أكثر مما ينبغي أن يُعتبر مقبولًا في هذا المجال. يبدو أن هذه الأنماط المشكلة موجودة بشكل مستقل عن أي صناعة أو حالة استخدام معينة، مما يشير إلى وجود مشكلة عالمية في علم البيانات يجب معالجتها.

قياس نجاح تعلم الآلة

يعتمد علماء البيانات الذين ي创建ون نماذج تعلم الآلة (ML) على معايير رياضية محددة جيدًا لقياس أداء هذه النماذج. يعتمد اختيار هذه المعايير بشكل رئيسي على نوع النموذج. لنفترض أن النموذج يجب أن يتنبأ بالفئات أو التصنيفات للوضعيات الجديدة — على سبيل المثال، إذا كان العميل على وشك الإنهيار أو لا. في مثل هذه الحالات، يستخدم علماء البيانات قياسات مثل الدقة (مدى صحة النموذج) أو الدقة (مدى صحة العملاء الذين يتنبأون بالانهيار إذا كنا نتنبأ بالانهيار).

يحتاج علماء البيانات إلى معايير موضوعية مثل هذه لأن جزءًا من عملهم هو تحسين هذه المعايير التقييمية لإنتاج أفضل نموذج. في الواقع، إلى جانب تحضير البيانات لجعلها جاهزة للنمذجة، فإن بناء وتحسين هذه النماذج هو حيث يقضي علماء البيانات معظم وقتهم.

الجزء السلبي من هذا هو أن علماء البيانات لا يركزون بشكل كبير على وضع هذه النماذج في الإنتاج، وهو مشكلة لأكثر من سبب. أولاً وأهمًا، النماذج التي لا تنتج نتائج ناجحة لا يمكن استخدامها لتحقيق تأثير تجاري للمنظمات التي تنشرها. ثانيًا، لأن هذه المنظمات قد أنفقت وقتًا ومoney على تطوير ونشر نماذج لم تنتج نتائج ناجحة عند تشغيلها ضد “بيانات العالم الحقيقي”، فإنها أكثر احتمالًا للاعتقاد بأن تعلم الآلة وأدوات علم البيانات الأخرى لا فائدة منها لمنظمتهم ورفض التقدم في مبادرات علم البيانات المستقبلية.

الحقيقة هي أن علماء البيانات يستمتعون بتحسين النماذج ويقضون الكثير من الوقت على هذا. لكن بدون تأثير تجاري، لا يتم إنفاق هذا الوقت بحكمة، وهو أمر مؤلم بشكل خاص بالنظر إلى ندرة علماء البيانات في عالم اليوم.

جائزة نتفليكس وفشل الإنتاج

لقد رأينا هذا الظاهرة من الاستثمار المفرط في بناء النماذج وعدم الاستثمار في تشغيل النماذج في السنوات الأخيرة. كانت جائزة نتفليكس مسابقة مفتوحة لأفضل خوارزمية للتعاون لتنبؤ بتقييمات المستخدمين لأفلام. إذا كنت سوف تعطي فيلمًا جديدًا تقييمًا عاليًا، فمن المحتمل أنك استمتعت بهذا الفيلم — لذلك باستخدام نظام التقييم هذا، سوف يوصي نتفليكس بأفلام معينة لك، وإذا استمتعت بالمحتويات الموصى بها، فمن المحتمل أن تظل طويلاً كعميل لنتفليكس. كان الجائزة الكبرى مبلغ 1 مليون دولار، تم منحها للفريق الذي تمكن من تحسين خوارزمية نتفليكس الخاصة بنسبة 10٪ على الأقل.

بدأت التحديات في عام 2006، وعلى مدى السنوات الثلاث التالية، أدت مساهمات أكثر من 40,000 فريق علم البيانات حول العالم إلى تحسين كبير يزيد عن 10٪ لنجاح التوصية بالعنوان. ومع ذلك، لم يتم تشغيل نماذج الفريق الفائز أبدًا. قال نتفليكس إن “الزيادة في الدقة لم تبرر الجهد اللازم لتشغيل هذه النماذج”.

لماذا لا يكون الأمثل دائمًا أمثل

لقد تم استخدام دقة النموذج وال معايير الأخرى في علم البيانات لفترة طويلة لقياس نجاح النموذج قبل وضع النموذج في الإنتاج. كما رأينا، لا تصل العديد من النماذج إلى هذه المرحلة — وهو تبديد للموارد، سواء فيما يتعلق بالطاقة أو الوقت المستغرق.

ولكن هناك مشاكل أخرى مع هذه الثقافة من الاستثمار المفرط في تعديل النماذج. أولاً، هناك انحراف غير مقصود إلى بيانات الاختبار، مما يؤدي إلى نماذج تظهر جيدة للمanager البيانات، ولكنها تؤدي بشكل سيئ في الإنتاج — أحيانًا حتى تسبب ضررًا. يحدث هذا لسببين:

1. هناك اختلاف معروف بين خطأ الاختبار والخطأ الذي ستراه في الإنتاج
2. تأثير الأعمال ومعيار أداء علم البيانات غالبًا ما يكونان مترابطين، ولكن النماذج “الأمثل” لا تؤدي دائمًا أكبر تأثير

النقطة الأولى أعلاه تعرف أيضًا باسم “التكيف مع مجموعة الاختبار“. إنه ظاهرة معروفة جيدًا، خاصة بين المشاركين في مسابقات علم البيانات مثل تلك التي تقدمها Kaggle. في هذه المسابقات، يمكنك رؤية نسخة أقوى من هذه الظاهرة بالفعل بين لوحات القيادة العامة والخاصة. في الواقع، يمكن لمشارك أن يفوز بلوحة القيادة العامة في مسابقة كاغل دون قراءة البيانات أبدًا. وبالمثل، قد لا ينتج الفائز بلوحة القيادة الخاصة والمنافسة بشكل عام نموذجًا يمكنه الحفاظ على أدائه على أي مجموعة بيانات أخرى غير تلك التي تم تقييمه عليها.

الدقة لا تساوي تأثير الأعمال

لقد قبلنا هذه الممارسة لفترة طويلة، مما يؤدي إلى تبني النماذج ببطء لبيانات الاختبار. ونتيجة لذلك، ما يبدو وكأنه أفضل نموذج يثبت أنه نموذج متوسط على الأفضل:

• القياسات مثل الدقة التنبؤية غالبًا لا تساوي تأثير الأعمال
• لا يمكن ترجمة تحسين الدقة بنسبة 1٪ إلى نتائج الأعمال الأفضل بنسبة 1٪
• هناك حالات حيث يؤدي نموذج أداء منخفض أداءً أفضل من حيث تأثير الأعمال
• يجب مراعاة عوامل أخرى مثل الصيانة وسرعة التقييم ومتانتها ضد التغييرات بمرور الوقت (المعروفة باسم “المتانة”)

هذه النقطة الأخيرة مهمة بشكل خاص. لن تؤدي أفضل النماذج فقط الفوز في المسابقات أو الظهور جيدًا في مختبر علم البيانات، بل ستثبت أيضًا في الإنتاج وتؤدي أداءً جيدًا على مجموعة متنوعة من مجموعات الاختبار. هذه هي النماذج التي نسميها نماذج متينة.

الانجراف وأهمية المتانة

تتدهور جميع النماذج بمرور الوقت. السؤال الوحيد هو مدى سرعة حدوث ذلك وكيف يؤدي النموذج بعد التغييرات. سبب هذا التدهور هو حقيقة أن العالم ليس ساكنًا. لذلك، تتغير البيانات التي يتم تطبيق النموذج عليها بمرور الوقت. إذا حدثت هذه التغييرات ببطء، نسميها “انجراف المفاهيم”. إذا حدثت التغييرات فجأة، نسميها “انقلاب المفاهيم”. على سبيل المثال، قد يتغير سلوك العملاء ببطء بمرور الوقت، وقد تأثر بالاتجاهات والتسويق. قد لا تعمل نماذج الإمكانات بعد ذلك. يمكن أن تتسارع هذه التغييرات بشكل كبير في بعض الحالات. على سبيل المثال، أدى فيروس كورونا إلى زيادة مبيعات مواد مثل ورق التواليت والمطهرات — زيادة غير متوقعة في بعض المنتجات التي يمكن أن تسبب انحرافًا كبيرًا في مثل هذا النموذج.

النموذج المتين قد لا يكون أفضل نموذج بناءً على معايير مثل الدقة أو الدقة، ولكنه سيعمل جيدًا على مجموعة أوسع من مجموعات البيانات. لهذا السبب، سيعمل أيضًا بشكل أفضل على مدى فترة أطول من الوقت وسيكون قادرًا على تقديم تأثير تجاري مستدام.

النماذج الخطية والأنواع الأخرى من النماذج البسيطة غالبًا ما تكون أكثر متانة لأنها أكثر صعوبة في التكيف مع مجموعة اختبار معينة أو لحظة في الوقت. يمكن استخدام نماذج أكثر قوة كـ “مطالبين” لنموذج أبسط، مما يسمح لعلماء البيانات برؤية ما إذا كان يمكنه أيضًا الثبات بمرور الوقت. ولكن يجب استخدام هذا في النقطة النهائية، وليس في بداية رحلة النمذجة.

في حين لم يتم إدخال معيار رسمي لقياس المتانة بعد في مجال علم البيانات، هناك عدة طرق يمكن لعلماء البيانات من خلالها تقييم متانة نماذجهم:

• الانحرافات المعيارية الأصغر في تشغيل التحقق يعني أن أداء النموذج كان أقل اعتمادًا على تفاصيل مجموعات الاختبار المختلفة
• حتى لو لم يقم علماء البيانات بتشغيلات التحقق الكاملة، فقد يستخدمون مجموعتين مختلفتين من البيانات للاختبار والتحقق. انخفاض الفرق بين معدلات الخطأ لمجموعات بيانات الاختبار والتحقق يُظهر متانة أعلى
• إذا تم رصد النموذج بشكل صحيح في الإنتاج، يمكن رؤية معدلات الخطأ بمرور الوقت. استمرار معدلات الخطأ بمرور الوقت هو علامة جيدة على متانة النموذج.
• إذا كانت حلول رصد النموذج تاخذ في الاعتبار الانجراف، فيجب على علماء البيانات الانتباه إلى كيفية تأثير النموذج من خلال هذا الانجراف.

تغيير ثقافة علم البيانات

بعد تشغيل النموذج في مرحلة التشغيل، لا تزال هناك تهديدات لأداء النموذج. النقطتان الأخيرتان بشأن متانة النموذج تتطلبان رصدًا مناسبًا للنماذج في الإنتاج. كبداية لتحويل ثقافة علم البيانات، من المستحسن أن تستثمر الشركات في رصد النماذج بشكل صحيح وتبدأ في مساءلة علماء البيانات عن نقص الأداء بعد تشغيل النماذج في الإنتاج. هذا سوف يغير الثقافة على الفور من ثقافة بناء النماذج إلى ثقافة إنشاء قيمة ومحافظة عليها في مجال علم البيانات.

كما أظهر لنا الأحداث العالمية الأخيرة، يتغير العالم بسرعة. الآن، أكثر من أي وقت مضى، نحتاج إلى بناء نماذج متينة — وليس فقط دقيقة — لتحقيق تأثير تجاري معنوي بمرور الوقت. على سبيل المثال، تستضيف كاغل تحديًا لتحفيز علماء البيانات حول العالم على بناء حلول نموذجية لاستخدامها في الكفاح العالمي ضد فيروس كورونا. أتوقع أن النماذج الأكثر نجاحًا التي تنتجها هذه التحديات سوف تكون الأكثر متانة، وليس الأكثر دقة، كما رأينا كيف يتغير بيانات فيروس كورونا بسرعة في يوم واحد.

يجب أن يكون علم البيانات حول العثور على الحقيقة، وليس إنتاج “أفضل” نموذج. من خلال الالتزام بمعيار أعلى من المتانة أكثر من الدقة، سوف يكون علماء البيانات قادرين على تقديم تأثير تجاري أكبر لمنظماتنا ومساعدة في تشكيل المستقبل بشكل إيجابي.