ما هي تعزيز التدرج؟

نوع شائع من نماذج التعلم الآلي التي تمكنت من أن تكون مفيدة للغاية في مسابقات العلوم البيانية هي نموذج تعزيز التدرج. تعزيز التدرج هو أساسًا عملية تحويل نماذج التعلم الضعيفة إلى نماذج تعلم قوية. ومع ذلك ، كيف يتم تحقيق ذلك بالضبط؟ دعونا نلقي نظرة أقرب على خوارزميات تعزيز التدرج ونفهم بشكل أفضل كيف يتحول نموذج تعزيز التدرج المتعلمون الضعيفون إلى متعلمين أقوياء.

تعريف تعزيز التدرج

يهدف هذا المقال إلى منحك فهمًا جيدًا لما هو تعزيز التدرج ، دون الكثير من تفصيلات الرياضيات التي تقف وراء الخوارزميات. بمجرد أن تكتسب فهمًا لطريقة عمل تعزيز التدرج على مستوى عال ، فإنك مدعو للاستكشاف بشكل أعمق واكتشاف الرياضيات التي تجعلها ممكنة.

دعونا نبدأ بتعريف ما يعني “تعزيز” المتعلم. يتم تحويل المتعلمون الضعيفون إلى متعلمون أقوياء عن طريق تعديل خصائص نموذج التعلم. ما هو بالضبط الخوارزمية التي يتم تعزيزها؟

تعمل نماذج التعزيز عن طريق تعديل نموذج تعلم آلي شائع آخر ، شجرة القرار.

نموذج شجرة القرار يعمل عن طريق تقسيم مجموعة البيانات إلى أجزاء أصغر وأصغر ، وعندما لا يمكن تقسيم الأجزاء إلى أجزاء أصغر ، يكون الناتج شجرة مع عقد وورق. العقد في شجرة القرار هي حيث يتم اتخاذ القرارات حول النقاط البيانية باستخدام معايير تصفية مختلفة. الأوراق في شجرة القرار هي النقاط البيانية التي تم تصنيفها. يمكن لخوارزميات شجرة القرار التعامل مع البيانات العددية والفئوية ، والانقسامات في الشجرة تعتمد على متغيرات / ميزات معينة.

توضيح لطريقة تدريب نماذج التعزيز.
صورة: SeattleDataBuy via Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

نوع واحد من خوارزميات التعزيز هو خوارزمية AdaBoost. خوارزميات AdaBoost تبدأ بتدريب نموذج شجرة القرار وتعيين وزن متساوي لكل ملاحظة. بعد تقييم الشجرة الأولى لبدقة ، يتم تعديل الأوزان للملاحظات المختلفة. الملاحظات التي كانت سهلة التصنيف لها أوزان منخفضة ، بينما الملاحظات التي كانت صعبة التصنيف لها أوزان أعلى. يتم إنشاء شجرة ثانية باستخدام هذه الأوزان المعدلة ، مع هدف أن تكون تنبؤات الشجرة الثانية أكثر دقة من تنبؤات الشجرة الأولى.

النموذج الآن يتكون من التنبؤات للشجرة الأصلية والشجرة الجديدة (أو الشجرة 1 + الشجرة 2). يتم تقييم دقة التصنيف مرة أخرى بناءً على النموذج الجديد. يتم إنشاء شجرة ثالثة بناءً على الخطأ المحسوب للنموذج ، ويتم تعديل الأوزان مرة أخرى. يستمر هذا العملية لعدد معين من التكرارات ، والنموذج النهائي هو نموذج مجموعة يستخدم مجموع موزون للتنبؤات التي قدمتها جميع الشجرات التي تم بناؤها في السابق.

العملية الموضحة أعلاه تستخدم أشجار القرار والمنظمات / النماذج الأساسية ، ومع ذلك ، يمكن تنفيذ نهج التعزيز مع مجموعة واسعة من النماذج مثل العديد من نماذج التصنيف والانحدار القياسية. المفاهيم الرئيسية للفهم هي أن التنبؤات اللاحقة تتعلم من الأخطاء التي يرتكبها السابقون وأن التنبؤات يتم إنشاؤها بشكل تسلسلي.

الميزة الرئيسية للخوارزميات المتعززة هي أنها تستغرق وقتًا أقل لإيجاد التنبؤات الحالية مقارنة بنماذج التعلم الآلي الأخرى. ومع ذلك ، يجب توخي الحذر عند استخدام خوارزميات التعزيز ، لأنها معرضة للافراط في التعلم.

تعزيز التدرج

سننظر الآن إلى واحدة من أكثر خوارزميات التعزيز شيوعًا. نماذج تعزيز التدرج (GBM) معروفة بدقتها العالية ، وتعزز المبادئ العامة المستخدمة في AdaBoost.

الفرق الرئيسي بين نموذج تعزيز التدرج و AdaBoost هو أن GBM يستخدم طريقة مختلفة لحساب المتعلمين الذين يخطئون في تحديد النقاط البيانية. خوارزمية AdaBoost تحسب哪里 نموذج يعاني من أداء ضعيف من خلال فحص النقاط البيانية التي تمت إعطاؤها أوزان كبيرة. في حين أن GBM يستخدم التدرج لتحديد دقة المتعلمين ، وتطبيق دالة خسارة على نموذج. دالات الخسارة هي طريقة لقياس دقة نموذج الارتباط مع مجموعة البيانات ، وحساب خطأ وتحسين النموذج لتقليل ذلك الخطأ. يسمح GBM للمستخدم بتحسين دالة خسارة محددة بناءً على هدفه المحدد.

باستخدام أكثر دالة خسارة شيوعًا – متوسط الخطأ المربعي (MSE) – كمثال ، الانحدار التدرجي يستخدم لتحديث التنبؤات بناءً على معدل تعلم محدد مسبقًا ، مع هدف العثور على القيم التي تكون فيها الخسارة صغيرة.

لجعل الأمر أوضح:

تنبؤات النموذج الجديدة = متغيرات الإخراج – التنبؤات القديمة غير الكاملة.

بمعنى إحصائي أكثر ، GBM تهدف إلى العثور على أنماط ذات صلة في نموذج الإرصاد ، وضبط النموذج ليتناسب مع النمط وجعل الإرصاد أقرب إلى الصفر قدر الإمكان. إذا قمت بتنفيذ انحدار على تنبؤات النموذج ، فإن الإرصاد سوف تكون موزعة حول 0 (الارتباط المثالي) ، و GBM تعثر على أنماط داخل الإرصاد وتحديث النموذج حول هذه الأنماط.

بمعنى آخر ، يتم تحديث التنبؤات بحيث يكون مجموع جميع الإرصاد أقرب إلى 0 قدر الإمكان ، مما يعني أن القيم المتوقعة سوف تكون قريبة جدًا من القيم الفعلية.

لاحظ أن مجموعة واسعة من دالات الخسارة الأخرى (مثل الخسارة اللوغاريتمية) يمكن أن تستخدمها GBM. تم اختيار MSE أعلاه لغرض البساطة.

تنويعات على نماذج تعزيز التدرج

نماذج تعزيز التدرج هي خوارزميات جشعة معرضة للافراط في التعلم على مجموعة البيانات. يمكن حماية ذلك بمجموعة من الطرق التي يمكن أن تحسن أداء GBM.

يمكن تنظيم GBM بأربع طرق مختلفة: التقليل ، قيود الشجرة ، تعزيز التدرج العشوائي ، والتعلم المعاقب.

التقليل

كما ذكرنا سابقًا ، في GBM يتم جمع التنبؤات معًا بشكل تسلسلي. في “التقليل” ، يتم تعديل إضافات كل شجرة إلى المجموع الكلي. يتم تطبيق أوزان تبطئ معدل تعلم الخوارزمية ، مما يتطلب إضافة المزيد من الشجرات إلى النموذج ، مما ي cải thiện أداء النموذج وعزومته بشكل عام. العيب هو أن النموذج يستغرق وقتًا أطول للتدريب.

قيود الشجرة

يمكن جعل الشجرة أكثر صعوبة من خلال إضافة المزيد من العمق إلى الشجرة أو زيادة عدد العقد أو الأوراق في الشجرة. يمكن أن يؤدي فرض قيود على عدد الملاحظات لكل انقسام إلى نفس التأثير. مرة أخرى ، العيب هو أن النموذج يستغرق وقتًا أطول للتدريب.

العينة العشوائية

يمكن إنشاء المتعلمون الفرديون من خلال عملية عشوائية ، بناءً على عينات فرعية عشوائية من مجموعة البيانات التدريبية. هذا يؤدي إلى تقليل الارتباطات بين الشجرات ، مما يحمي ضد الافراط في التعلم. يمكن عينة مجموعة البيانات قبل إنشاء الشجرة أو قبل النظر في انقسام في الشجرة.

التعلم المعاقب

بeyond قيود النموذج من خلال تحديد هيكل الشجرة ، يمكن استخدام شجرة الانحدار. شجرات الانحدار لها قيم رقمية متصلة بكل ورقة ، وتعمل هذه كأوزان ويمكن تعديلها باستخدام وظائف تنظيم شائعة مثل L1 و L2.