ما هو شجرة القرار؟

ما هو شجرة القرار؟

شجرة القرار هي خوارزمية تعلم الآلة المفيدة المستخدمة في كل من المهام الانحدارية والتصنيفية. يأتي اسم “شجرة القرار” من حقيقة أن الخوارزمية تقسم مجموعة البيانات إلى أجزاء أصغر وأصغر حتى يتم تقسيم البيانات إلى مثيلات فردية ، ثم يتم تصنيفها. إذا كنت ترغب في تجسيد نتائج الخوارزمية ، فإن الطريقة التي يتم بها تقسيم الفئات تشبه شجرة وورقة كثيرة.

هذه هي تعريف سريع لشجرة القرار ، ولكن دعونا نغوص sâu في كيفية عمل شجرة القرار. الحصول على فهم أفضل لكيفية عمل شجرة القرار ، وكذلك استخداماتها ، سيساعدك على معرفة متى تستخدمها خلال مشاريع تعلم الآلة.

تنسيق شجرة القرار

شجرة القرار تشبه جدول تدفق. لاستخدام جدول التدفق ، تبدأ من نقطة البداية أو الجذر ثم تقوم بالانتقال إلى أحد العقد التالية بناءً على كيفية إجابتك على معايير التصفية في العقدة الأولية. يتم تكرار هذا العملية حتى يتم الوصول إلى نهاية.

تعمل شجرة القرار بالطريقة نفسها ، حيث يكون كل عقدة داخلية في الشجرة عبارة عن نوع من أنواع الاختبارات أو معايير التصفية. العقد على الخارج ، نهايات الشجرة ، هي تسميات للنقاط البيانية المطروحة وهي تسمى “أوراق”. الفرع الذي يؤدي من العقد الداخلية إلى العقدة التالية هو ميزات أو اتحادات الميزات. القواعد المستخدمة لتصنيف النقاط البيانية هي المسارات التي تؤدي من الجذر إلى الأوراق.

خوارزميات شجرة القرار

تعمل شجرة القرار على نهج خوارزمي يقسم مجموعة البيانات إلى نقاط بيانات فردية بناءً على معايير مختلفة. يتم تقسيم هذه الانقسامات باستخدام متغيرات مختلفة أو ميزات مختلفة لمجموعة البيانات. على سبيل المثال ، إذا كان الهدف هو تحديد ما إذا كان الكلب أو القط يُوصف بالسمات المدخلة ، فقد تكون المتغيرات التي يتم تقسيم البيانات عليها أمورًا مثل “الذيل” و “النباح”.

ما الخوارزميات المستخدمة لتقسيم البيانات فعليًا إلى فروع وأوراق؟ هناك عدة طرق يمكن استخدامها لتقسيم الشجرة ، ولكن أكثر طريقة شائعة لتقسيم الشجرة هي تقنية تسمى “التقسيم الثنائي التكراري“. عند تنفيذ هذه الطريقة لتقسيم الشجرة ، يبدأ العملية من الجذر وتمثل عدد الميزات في مجموعة البيانات عدد الانقسامات الممكنة. يتم استخدام دالة لتحديد مقدار الدقة الذي سيتكلف كل انقسام ممكن ، ويتم الانقسام باستخدام المعايير التي تتضح أقل دقة. يتم تنفيذ هذه العملية بشكل تكراري وتشكيل المجموعات الفرعية باستخدام نفس الاستراتيجية العامة.

لتحديد تكلفة الانقسام ، يتم استخدام دالة التكلفة. يتم استخدام دالة تكلفة مختلفة للمهام الانحدارية والمهام التصنيفية. هدف دالة التكلفة هي تحديد أي الفروع لها قيم استجابة أكثر تشابهًا ، أو الفروع الأكثر تجانسًا. افترض أنك تريد أن تتبع بيانات الاختبار لفئة معينة وتتبع مسارات معينة وهذا يجعل الحس السليم.

فيما يتعلق بدالة التكلفة الانحدارية لتقسيم ثنائي تكراري ، الخوارزمية المستخدمة لحساب التكلفة هي كما يلي:

sum(y – prediction)^2

التوقعات لمجموعة معينة من النقاط البيانية هي متوسط استجابات بيانات التدريب لتلك المجموعة. يتم تشغيل جميع النقاط البيانية من خلال دالة التكلفة لتحديد التكلفة لجميع الانقسامات الممكنة ويتم اختيار الانقسام الذي له أقل تكلفة.

فيما يتعلق بدالة التكلفة للتصنيف ، الدالة هي كما يلي:

G = sum(pk * (1 – pk))

هذا هو مقياس جيني ، وهو مقياس لمدى فعالية الانقسام بناءً على عدد مثيلات الفئات المختلفة في المجموعات الناتجة عن الانقسام. بعبارة أخرى ، يقيس مدى اختلاط المجموعات بعد الانقسام. الانقسام الأمثل هو عندما تتكون جميع المجموعات الناتجة عن الانقسام فقط من مدخلات من فئة واحدة. إذا تم إنشاء انقسام مثالي ، فإن قيمة “pk” ستكون 0 أو 1 و G ستكون تساوي صفر. قد تكون قادرًا على تخمين أن الانقسام الأسوأ هو عندما يكون هناك تمثيل 50-50 للفئات في الانقسام ، في حالة التصنيف الثنائي. في هذه الحالة ، ستكون قيمة “pk” 0.5 و G ستكون 0.5.

يتم إنهاء عملية التقسيم عندما يتم تحويل جميع النقاط البيانية إلى أوراق وتصنيفها. ومع ذلك ، قد تريد أن تتوقف عن نمو الشجرة مبكرًا. الشجرات الكبيرة والمعقدة معرضة للافراط في التعلم ، ولكن يمكن استخدام عدة طرق لمكافحة ذلك. أحد طرق تقليل الافراط في التعلم هو تحديد الحد الأدنى لعدد النقاط البيانية التي سيتم استخدامها لإنشاء ورقة. طريقة أخرى للسيطرة على الافراط في التعلم هي تقييد الشجرة إلى عمق أقصى ، مما يتحكم في مدى طول المسار من الجذر إلى ورقة.

عملية أخرى متضمنة في إنشاء شجرة القرار هي التقليم. يمكن أن يساعد التقليم في تحسين أداء شجرة القرار عن طريق إزالة الفروع التي تحتوي على ميزات لها قوة تنبؤية قلية / أهمية قليلة للنموذج. بهذه الطريقة ، يتم تقليل تعقيد الشجرة ، وتصبح أقل عرضة للافراط في التعلم ، ويزداد فائدة التنبؤ للنموذج.

عندما يتم إجراء التقليم ، يمكن أن يبدأ العملية من أعلى الشجرة أو أسفل الشجرة. ومع ذلك ، فإن أسهل طريقة للتقليم هي البدء من الأوراق ومحاولة إسقاط العقدة التي تحتوي على الفئة الأكثر شيوعًا في تلك الورقة. إذا لم تتفاقم دقة النموذج عند القيام بذلك ، فإن التغيير يتم الحفاظ عليه. هناك تقنيات أخرى لتنفيذ التقليم ، ولكن الطريقة الموضحة أعلاه – تقليم الخطأ المنقوص – هي على الأرجح أكثر طريقة شائعة لتقليم شجرة القرار.

اعتبارات لاستخدام شجرة القرار

شجرة القرار مفيدة غالبًا عندما يتعين إجراء التصنيف ولكن وقت الحوسبة هو مقيد كبير. يمكن لشجرة القرار أن توضح أي الميزات في مجموعات البيانات المختارة لها القوة التنبؤية الأكبر. بالإضافة إلى ذلك ، على عكس العديد من خوارزميات تعلم الآلة التي قد يكون قواعد التصنيف المستخدمة فيها صعبة الفهم ، يمكن لشجرة القرار أن توفر قواعد يمكن تفسيرها. شجرة القرار قادرة أيضًا على استخدام كل من المتغيرات التصنيفية والمتغيرات المستمرة ، مما يعني أن هناك حاجة إلى معالجة أولية أقل ، مقارنة بالخوارزميات التي يمكنها التعامل فقط مع أحد نوعي المتغيرات.

شجرة القرار لا تعمل جيدًا عندما يتم استخدامها لتحديد قيم السمات المستمرة. 한 başka محدودية لشجرة القرار هي أن ، عند إجراء التصنيف ، إذا كان هناك عدد قليل من الأمثلة التدريبية ولكن هناك العديد من الفئات ، فإن شجرة القرار تميل إلى أن تكون غير دقيقة.