ما هي شجرة القرار؟

شجرة القرار هي نموذج تعلم خاضع للإشراف يقوم بإجراء تنبؤ من خلال تطبيق سلسلة من قواعد إذا-ثم. كل عقدة داخلية تختبر ميزة، كل فرع يمثل نتيجة هذا الاختبار، وكل ورقة تنتج تنبؤًا فئويًا أو احتمالًا أو قيمة عددية.

تُستخدم أشجار القرار للتصنيف والانحدار. جاذبيتها عملية: يمكنها تمثيل التفاعلات غير الخطية، تتطلب تمهيدًا قليلًا نسبيًا، وتنتج مسارًا يمكن للإنسان فحصه. ضعفها هو عدم الاستقرار—تغييرات صغيرة في بيانات التدريب يمكن أن تُنتج شجرة مختلفة.

النقاط الرئيسية

• تقسّم الشجرة مساحة السمات بشكل متكرر؛ لا يلزم عزل كل ملاحظة تدريبية.
• تستخدم انقسامات التصنيف عادةً مقياس جيني أو الانتروبيا، بينما تقلل انقسامات الانحدار خطأ التنبؤ أو التباين.
• العمق، الحد الأدنى لحجم الورقة، والتقليم يتحكمون في التعقيد والإفراط في التخصيص.
• الغابات العشوائية والأشجار المعززة بالتدرج تحسن القدرة التنبؤية من خلال دمج العديد من الأشجار.

كيف تُجري شجرة القرار تنبؤًا

لنفترض أن نموذجًا يتنبأ ما إذا كانت آلة ما من المحتمل أن تتعطل. قد تسأل العقدة الجذرية ما إذا كان الاهتزاز يتجاوز عتبة تم تعلمها. ثم قد يختبر فرع درجة حرارة التشغيل. تصل الملاحظة إلى ورقة تحتوي على احتمال الفشل المُقدّر بين أمثلة التدريب التي سلكت نفس المسار.

في الانحدار، قد تُعيد الورقة متوسط القيمة المستهدفة للملاحظات في تلك المنطقة. في التصنيف، قد تُعيد الفئة الغالبة أو توزيع ترددات الفئات. يمكن أن تحتوي الورقة على العديد من الملاحظات؛ عادةً ما يكون الفصل الكامل لبيانات التدريب غير مرغوب فيه لأنه قد ينتج شجرة مفرطة التخصيص.

كيف تختار الشجرة انقسامًا

يأخذ التدريب في الاعتبار الميزات والعتبات المرشحة، ثم يختار الانقسام الذي يحسن الهدف المحدد بأكبر قدر. يجب وزن التحسين بحسب عدد الملاحظات التي تنتقل إلى كل عقدة فرعية.

عدم نقاء جيني

في التصنيف، يقيس عدم نقاء جيني مدى اختلاط الفئات في عقدة:

Gini = 1 - Σ p(k)²

العقدة التي تحتوي على فئة واحدة فقط يكون عدم نقاؤها صفرًا. يكون الانقسام المرشح مفيدًا عندما يكون عدم نقاء الأطفال الموزون أقل من عدم نقاء الأصل.

الانتروبيا ومكسب المعلومات

الانتروبيا هي مقياس آخر لعدم اليقين في الفئات:

Entropy = -Σ p(k) log₂ p(k)

مكسب المعلومات هو انتروبيا الأصل مطروحًا من انتروبيا الأطفال الموزونة. غالبًا ما تنتج جيني والانتروبيا أشجارًا مشابهة، رغم أنها ليست دائمًا متطابقة.

خسارة الانحدار

تختار أشجار الانحدار عادةً الانقسامات التي تقلل الخطأ التربيعي أو الخطأ المطلق أو معيار انحدار آخر. ثم تتنبأ كل ورقة بقيمة بناءً على الأهداف التدريبية داخل تلك المنطقة.

CART وخوارزميات الأشجار الأخرى

CART، أو أشجار التصنيف والانحدار، تستخدم الانقسامات الثنائية وتُشكل أساس التطبيقات الشائعة مثل أشجار القرار في scikit-learn. تشمل الخوارزميات الأخرى ID3 وC4.5 وC5.0. تختلف التطبيقات في أنواع الانقسامات المدعومة، ومعالجة القيم المفقودة، والتقليم، والأهداف.

قد تتطلب المتغيرات الفئوية الترميز، أو انقسامات مجموعة مباشرة، أو معالجة خاصة بالتطبيق. يمكن تعويض القيم المفقودة أو معالجتها عبر اتجاهات افتراضية متعلمة أو انقسامات بديلة. من المهم فهم سلوك المكتبة المحددة بدلاً من افتراض أن كل تطبيق شجرة يعمل بنفس الطريقة.

التحكم في تعقيد الشجرة

يمكن لشجرة عميقة أن تحفظ الضوضاء. تشمل الضوابط الشائعة:

• الحد الأقصى للعمق: يحد من طول مسار التنبؤ.
• الحد الأدنى للعينات لكل انقسام أو ورقة: يمنع المناطق الصغيرة.
• الحد الأدنى لانخفاض عدم النقاء: يتطلب أن يقدم الانقسام فائدة كافية.
• الحد الأقصى لعدد الأوراق: يحدد التعقيد الكلي.
• تقليم التكلفة-التعقيد: يزيل الفروع التي لا يبرر تحسينها التعقيد الإضافي.

التقليم هو عملية تحسين منظمة، لا حذف عشوائي. يجب اختيار المعلمات الفائقة باستخدام بيانات التحقق أو التحقق المتقاطع، بينما يظل مجموعة الاختبار النهائية دون تعديل.

القوى والقيود

يمكن لأشجار القرار نمذجة التفاعلات وتأثيرات العتبة دون الحاجة إلى مقياس السمات. تقبل المدخلات الرقمية، واعتمادًا على التطبيق، المدخلات الفئوية. التنبؤ سريع، وشجرة صغيرة سهلة التصور.

ومع ذلك، قد تكون الشجرة الواحدة ذات تباين عالٍ، وتُحدث تغييرات تنبؤية مفاجئة بالقرب من الانقسام، وتفضّل الميزات التي لديها العديد من نقاط الانقسام الممكنة. كما أن الأشجار تُستنتج بشكل سيء في الانحدار: خارج المناطق الملاحظة، لا تزال الورقة تُعيد قيمة مستمدة من عينات التدريب. قد لا تكون الشجرة الكبيرة أكثر قابلية للفهم من نموذج معقد آخر.

من شجرة واحدة إلى التجميعات

التعلم التجميعي يجمع نماذج متعددة. تُدرب الغابة العشوائية العديد من الأشجار على ملاحظات معاد أخذ عيناتها ومجموعات فرعية من الميزات، ثم تُجَمع توقعاتها. يبني التعزيز المتدرج الأشجار بشكل تسلسلي بحيث يعالج كل شجرة جديدة الخطأ المتبقي. عادةً ما تتفوق هذه الأساليب على شجرة واحدة، لكنها تُقَلِّل من قابلية التفسير وتضيف تكلفة حسابية.

يجب تفسير أهمية المميزات المستخرجة من شجرة أو تجميعة بحذر. قد تكون الأهمية المستندة إلى عدم النقاء متحيزة، ولا تثبت أهمية الميزة وجود علاقة سببية. توفر أهمية التبديل، وأدوات الاعتماد الجزئي، ومراجعة المجال سياقًا إضافيًا.

كيف تتعلم الشجرة الانقسامات والتنبؤات

تقسّم شجرة القرار مساحة السمات بشكل متكرر. في كل عقدة، يقيم خوارزمية التدريب عتبات الميزات المرشحة أو تقسيمات الفئات ويختار الانقسام الذي يقلل عدم النقاء بأكبر قدر، مثل عدم نقاء جيني أو الانتروبيا للتصنيف والخطأ التربيعي للانحدار. تخزن الأوراق توزيع الفئات أو التنبؤ الرقمي بناءً على الملاحظات التدريبية التي تصل إليها. الانقسام الجشع عملي حسابيًا لكنه لا يضمن الشجرة المثلى عالميًا، ويمكن لعينات مختلفة أو كسر التعادل أن ينتج هياكل مختلفة.

تحتاج الميزات المستمرة والرتبية والفئوية والمفقودة إلى معالجة صريحة. يمكن للترميز الواحد-الساخن أن يخلق العديد من الانقسامات المرشحة؛ قد تستخدم الطرق الفئوية الأصلية إحصاءات مرتبة لكنها تحتاج إلى تنفيذ آمن من تسرب البيانات. لا تتطلب الأشجار مقياسًا، لكنها قد تفضّل المتغيرات ذات القيمية العالية وتعزل مجموعات صغيرة. يتحكم العمق، الحد الأدنى لحجم الورقة، الحد الأدنى لانخفاض عدم النقاء، وتقليم التكلفة-التعقيد في التباين. اخترها باستخدام بيانات التحقق وقم بتقييم المعايرة، لأن احتمال الورقة المستند إلى عدد قليل من الحالات قد يكون متطرفًا وغير مستقر.

التفسير، أوضاع الفشل، واستخدام الإنتاج

المسار من الجذر إلى الورقة هو قاعدة دقيقة لتنبؤ نموذج واحد، لكنه ليس تلقائيًا تفسيرًا سببيًا. يمكن للمتغيرات المرتبطة أن تحل محل بعضها البعض، وتغييرات صغيرة في البيانات قد تغير الانقسامات العليا، وقد يعتمد مسار يبدو بسيطًا على تسميات متحيزة. قد تكون أهمية المميزات العالمية المستندة إلى عدم النقاء مضللة؛ تضيف أهمية التبديل، والاعتماد الجزئي، وفحوصات العكسية سياقًا لكنها تحمل افتراضات أيضًا. أبلغ عن عدم اليقين واختبر ما إذا كانت القاعدة المفترضة صالحة على بيانات مستقلة ومجموعات فرعية ذات صلة.

تكون الأشجار الفردية مفيدة عندما تكون الشفافية، وانخفاض زمن الاستجابة، والبنية غير الخطية المتوسطة مهمة، لكن التجميعات عادةً ما توفر أداءً تنبؤيًا أقوى. تحقق من سلوك الحدود، الفئات النادرة، القيم المفقودة، والمدخلات خارج نطاق التدريب. يجب أن تعيد القواعد المصدرة تمثيل تمهيد التدريب والمقارنة الرقمية بدقة. راقب إشغال الأوراق، توزيع المخرجات، الخطأ، والفئات الناشئة. يجب أن تُثير الشجرة التي توجه العديد من الحالات الجديدة إلى منطقة صغيرة أو كانت فارغة سابقًا مراجعة حتى وإن كان الانجراف الكلي صغيرًا. احتفظ بخطة احتياطية للمخططات غير الصالحة ووثّق كل قرار تقليم أو عتبة.

مثال عملي: شجرة تصنيف القروض القابلة للتفسير

يستخدم المقرض شجرةً فقط لتحديد أولوية الطلبات غير المكتملة للمراجعة اليدوية، وليس للموافقة أو الرفض الائتماني. الهدف هو نتيجة اكتمال موثقة، والميزات المتاحة عند الاستلام تستبعد القرارات اللاحقة. تقارن عملية التحقق الزمني المجمع شجرةً مقلصةً ضحلة مع قواعد وانحدار لوجستي. يمنع الحد الأدنى لحجم الورقة القواعد القائمة على عدد قليل من المتقدمين، بينما تُبلغ المعايرة وأخطاء الفئات الخاصة عبر القنوات والمجموعات المحمية ذات الصلة.

يرى المراجعون المسار الدقيق والقيم المصدرية لكن يمكنهم تصحيح البيانات الخاطئة وتجاوز التوجيه. تختبر المنظمة الوكلاء المرتبطين والتغييرات العكسية، وتراقب إشغال الأوراق والقيم المفقودة، وتعامل الزيادة المفاجئة في حركة المرور إلى ورقة صغيرة كحادث جودة بيانات. تُنشئ تغييرات السياسات نسخة نموذج جديدة وتحققًا، وليس تعديلًا غير موثق للانقسام. لأن الاستخدام يؤثر على الوصول والعبء، يتلقى المتقدمون قناة بشرية ولا تُعرض الشجرة أبدًا كتفسير سببي للجدارة الائتمانية.

دليل التنفيذ والاستعداد التشغيلي

يتطلب قرار الإنتاج أكثر من مجرد عرض ناجح. عرّف المستخدمين المستهدفين، بيئة التشغيل، المدخلات، المخرجات، الاعتماديات، المالك، وعواقب كل فشل مهم. أنشئ خط أساس قابل لإعادة الإنتاج ومجموعة تقييم مُصدَّرة قبل الضبط. اختبر الحالات العادية، ظروف الحدود، المدخلات المشوهة أو المفقودة، تحول التوزيع، انقطاع الاعتماديات، سوء الاستخدام، والمجموعات أو البيئات الأكثر احتمالًا للتهميش. قس جودة المهمة جنبًا إلى جنب مع المعايرة أو عدم اليقين، زمن الاستجابة، الإنتاجية، تكلفة الموارد، إمكانية الوصول، الخصوصية، والأمان. سجّل كل تحويل وعتبة حتى يتمكن مراجع مستقل من إعادة إنتاج النتيجة وتمييز الأدلة عن نموذج أولي جذاب.

قبل الإطلاق، عيّن سلطة للإصدار، الاستثناءات، التغييرات، الاسترجاع، والتقاعد. استخدم نشرًا مرحليًا، حافظ على احتياطي آمن، وتحقق من المراقبة عبر فشل مُحقن عمدًا. يجب أن تكشف القياسات التشغيلية عن جودة المدخلات، سلوك المخرجات، نسخة النموذج أو القاعدة، صحة الاعتماديات، التجاوزات البشرية، والنتائج المؤكدة دون جمع بيانات حساسة غير ضرورية. عرّف عتبات التنبيه ومسؤول الاستجابة، ثم راجع الأدلة الواقعية بعد النشر بدلاً من افتراض استمرار الأداء غير المتصل. أعد التقييم كلما تغيرت مصادر البيانات أو المستخدمون أو النماذج أو البائعون أو السياسات أو الأجهزة أو الأهداف. يحتاج النظام المُحافظ عليه أيضًا إلى وثائق استعادة، تعلم من الحوادث، إجراءات حذف واحتفاظ، ونقطة واضحة يجب فيها تعطيله أو استبداله.

المراجع الأساسية

• scikit-learn: أشجار القرار
• scikit-learn: طرق التجميع