ما هو التدرج المعزز؟

أحد الأنواع الشائعة من نماذج التعلم الآلي التي تمكنت من أن تكون مفيدة للغاية في مسابقات علوم البيانات هو نموذج تعزيز التدرج. تعزيز التدرج هي في الأساس عملية تحويل نماذج التعلم الضعيفة إلى نماذج تعلم قوية. ومع ذلك ، كيف يتم ذلك بالضبط؟ دعونا نلقي نظرة فاحصة على خوارزميات تعزيز التدرج وأفضل فهم كيفية نموذج تعزيز التدرج يحول المتعلمين الضعفاء إلى متعلمين أقوياء.

تحديد تعزيز التدرج

تهدف هذه المقالة إلى منحك حدسًا جيدًا لما هو تعزيز التدرج ، دون العديد من الأعطال للرياضيات التي تكمن وراء الخوارزميات. بمجرد أن يكون لديك تقدير لكيفية عمل تعزيز التدرج على مستوى عالٍ ، نشجعك على التعمق واستكشاف الرياضيات التي تجعل ذلك ممكنًا.

لنبدأ بتحديد معنى "تعزيز" المتعلم. يتم تحويل المتعلمين الضعفاء إلى متعلمين أقوياء من خلال تعديل خصائص نموذج التعلم. ما هي خوارزمية التعلم بالضبط التي يتم تعزيزها؟

تعمل نماذج التعزيز من خلال زيادة نموذج آخر للتعلم الآلي ، شجرة القرار.

A شجرة القرار يعمل النموذج عن طريق تقسيم مجموعة البيانات إلى أجزاء أصغر وأصغر، وبمجرد عدم إمكانية تقسيم المجموعات الفرعية أكثر من ذلك، تكون النتيجة شجرة ذات عقد وأوراق. العقد الموجودة في شجرة القرار هي المكان الذي يتم فيه اتخاذ القرارات المتعلقة بنقاط البيانات باستخدام معايير تصفية مختلفة. الأوراق الموجودة في شجرة القرار هي نقاط البيانات التي تم تصنيفها. يمكن لخوارزميات شجرة القرار التعامل مع كل من البيانات الرقمية والفئوية، وتعتمد الانقسامات في الشجرة على متغيرات/ميزات محددة.

رسم توضيحي لطريقة تدريب نماذج التعزيز.
الصورة: SeattleDataBuy عبر Wikimedia Commons، CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

أحد أنواع خوارزمية التعزيز هو خوارزمية AdaBoost. تبدأ خوارزميات AdaBoost من خلال تدريب نموذج شجرة القرار وتحديد وزن متساوٍ لكل ملاحظة. بعد تقييم الشجرة الأولى للتأكد من دقتها ، يتم تعديل أوزان الملاحظات المختلفة. الملاحظات التي كان من السهل تصنيفها تم تخفيض أوزانها ، بينما زادت الملاحظات التي كان من الصعب تصنيفها. يتم إنشاء شجرة ثانية باستخدام هذه الأوزان المعدلة ، بهدف أن تكون تنبؤات الشجرة الثانية أكثر دقة من تنبؤات الشجرة الأولى.

يتكون النموذج الآن من تنبؤات الشجرة الأصلية والشجرة الجديدة (أو الشجرة 1 + الشجرة 2). يتم تقييم دقة التصنيف مرة أخرى بناءً على النموذج الجديد. يتم إنشاء شجرة ثالثة بناءً على الخطأ المحسوب للنموذج ، ويتم تعديل الأوزان مرة أخرى. تستمر هذه العملية لعدد معين من التكرارات ، والنموذج النهائي هو نموذج تجميعي يستخدم المجموع المرجح للتنبؤات التي قدمتها جميع الأشجار التي تم إنشاؤها مسبقًا.

تستخدم العملية الموضحة أعلاه أشجار القرار والتنبؤات / النماذج الأساسية ، ومع ذلك يمكن تنفيذ نهج التعزيز مع مجموعة واسعة من النماذج مثل العديد من نماذج المصنف القياسي ونماذج الانحدار. المفاهيم الأساسية التي يجب فهمها هي أن المتنبئين اللاحقين يتعلمون من الأخطاء التي ارتكبتها الأخطاء السابقة وأن المتنبئين يتم إنشاؤها بالتتابع.

الميزة الأساسية لتعزيز الخوارزميات هي أنها تستغرق وقتًا أقل للعثور على التوقعات الحالية عند مقارنتها بنماذج التعلم الآلي الأخرى. ومع ذلك ، يجب توخي الحذر عند استخدام خوارزميات معززة ، لأنها عرضة للإفراط في التجهيز.

تعزيز التدرج

سنلقي نظرة الآن على واحدة من أكثر خوارزميات التعزيز شيوعًا. تُعرف نماذج تعزيز التدرج (GBM) بدقتها العالية ، كما أنها تزيد من المبادئ العامة المستخدمة في AdaBoost.

يتمثل الاختلاف الأساسي بين نموذج تعزيز التدرج و AdaBoost في أن GBMs تستخدم طريقة مختلفة لحساب المتعلمين الذين يخطئون في تحديد نقاط البيانات. يحسب AdaBoost حيث يكون أداء النموذج ضعيفًا عن طريق فحص نقاط البيانات التي تم وزنها بشكل كبير. وفي الوقت نفسه ، تستخدم GBM التدرجات لتحديد دقة المتعلمين ، وتطبيق دالة الخسارة على نموذج. وظائف الخسارة هي طريقة لقياس دقة ملاءمة النموذج في مجموعة البيانات ، وحساب الخطأ وتحسين النموذج لتقليل هذا الخطأ. تتيح GBMs للمستخدم تحسين وظيفة خسارة محددة بناءً على الهدف المنشود.

أخذ وظيفة الخسارة الأكثر شيوعًا - متوسط ​​الخطأ التربيعي (MSE) - كمثال، نزول متدرج لتحديث التنبؤات بناءً على معدل التعلم المحدد مسبقًا ، بهدف العثور على القيم التي يكون فيها الفقد ضئيلًا.

لتوضيح ذلك:

تنبؤات نموذج جديد = متغيرات المخرجات - تنبؤات قديمة غير كاملة.

بمعنى إحصائي أكثر ، تهدف GBMs إلى إيجاد أنماط ذات صلة في بقايا النموذج ، وتعديل النموذج ليناسب النمط وتقريب البقايا من الصفر قدر الإمكان. إذا كنت ستنفذ تراجعًا في تنبؤات النموذج ، فسيتم توزيع البقايا حول 0 (تناسب مثالي) ، وستجد GBM أنماطًا داخل القيم المتبقية وتقوم بتحديث النموذج حول هذه الأنماط.

بمعنى آخر ، يتم تحديث التنبؤات بحيث يكون مجموع كل القيم المتبقية قريبًا من 0 قدر الإمكان ، مما يعني أن القيم المتوقعة ستكون قريبة جدًا من القيم الفعلية.

لاحظ أنه يمكن استخدام مجموعة متنوعة من وظائف الخسارة الأخرى (مثل الخسارة اللوغاريتمية) بواسطة GBM. تم اختيار MSE أعلاه لغرض البساطة.

الاختلافات في نماذج تعزيز التدرج

نماذج تعزيز التدرج هي خوارزميات جشعة تميل إلى التجهيز الزائد في مجموعة البيانات. يمكن الاحتراز من هذا باستخدام عدة طرق مختلفة يمكنها تحسين أداء GBM.

يمكن تنظيم GBMs بأربع طرق مختلفة: الانكماش ، وقيود الشجرة ، وتعزيز التدرج العشوائي ، والتعلم المعاقب.

انكماش

كما ذكرنا سابقًا ، يتم تلخيص التنبؤات في GBMs معًا بطريقة متسلسلة. في "الانكماش" ، يتم تعديل إضافة كل شجرة إلى المجموع الكلي. يتم تطبيق أوزان تعمل على إبطاء معدل تعلم الخوارزمية ، مما يستلزم إضافة المزيد من الأشجار إلى النموذج ، مما يؤدي عادةً إلى تحسين متانة النموذج وأدائه. المقايضة هي أن النموذج يستغرق وقتًا أطول للتدريب.

قيود الشجرة

تقييد الشجرة بالعديد من التعديلات مثل إضافة المزيد من العمق إلى الشجرة أو زيادة عدد العقد أو الأوراق في الشجرة يمكن أن يجعل من الصعب على النموذج زيادة حجمه. إن فرض قيد على الحد الأدنى لعدد المشاهدات لكل انقسام له تأثير مماثل. مرة أخرى ، المفاضلة هي أن تدريب النموذج سيستغرق وقتًا أطول.

أخذ العينات العشوائية

يمكن إنشاء المتعلمين الفرديين من خلال عملية عشوائية ، بناءً على عينات فرعية مختارة عشوائيًا من مجموعة بيانات التدريب. هذا له تأثير في تقليل الارتباط بين الأشجار ، مما يحمي من فرط التجهيز. يمكن أخذ عينات مجموعة البيانات بشكل فرعي قبل إنشاء الأشجار أو قبل التفكير في تقسيم الشجرة.

التعلم المعاقب

بعد تقييد النموذج من خلال تقييد بنية الشجرة ، من الممكن استخدام شجرة الانحدار. تحتوي أشجار الانحدار على قيم عددية مرتبطة بكل من الأوراق ، وتعمل هذه الأشجار كأوزان ويمكن تعديلها باستخدام وظائف التنظيم الشائعة مثل تنظيم L1 و L2.