ما هو التعلم التعزيزي؟

ما هو التعلم التعزيزي؟

ببساطة، التعلم التعزيزي هو تقنية تعلم الآلة تتضمن تدريب وكيل ذكاء اصطناعي من خلال تكرار الإجراءات والروابط المرتبطة بها. وكيل التعلم التعزيزي يجرّب في بيئة، ويأخذ إجراءات ويكافأ عند اتخاذ الإجراءات الصحيحة. مع مرور الوقت، يتعلم الوكيل اتخاذ الإجراءات التي ستعظم مكافأته. هذا هو تعريف سريع للتعلم التعزيزي، ولكن النظر الأعمق في المفاهيم التي تقف وراء التعلم التعزيزي سيساعدك على الحصول على فهم أفضل وأكثر直觉اً.

مصطلح “التعلم التعزيزي” مأخوذ من مفهوم التعزيز في علم النفس. لهذا السبب، دعنا نأخذ لحظة للفهم المفهوم النفسي للتعزيز. في المعنى النفسي، يشير مصطلح التعزيز إلى شيء يزيد من احتمال حدوث استجابة أو إجراء معين. هذا مفهوم التعزيز هو فكرة مركزية في نظرية التكييف العامل، التي اقترحها عالم النفس ب.ف. سكينر. في هذا السياق، التعزيز هو أي شيء يزيد من تكرار سلوك معين. إذا فكرنا في التعزيز المحتمل للبشر، يمكن أن تكون هذه الأشياء مثل الثناء، أو زيادة في العمل، أو الحلوى، أو الأنشطة الممتعة.

في المعنى التقليدي، النفسي، هناك نوعان من التعزيز. هناك تعزيز إيجابي وتعزيز سلبي. التعزيز الإيجابي هو إضافة شيء لزيادة سلوك، مثل إعطاء كلب حلوى عندما يتصرف جيداً. التعزيز السلبي يتضمن إزالة محفز لتحفيز سلوك، مثل إيقاف الأصوات الصاخبة لجعل قطة خجولة تظهر.

التعزيز الإيجابي والتعزيز السلبي

يزيد التعزيز الإيجابي من تكرار سلوك، بينما يقلل التعزيز السلبي من تكرار سلوك. بشكل عام، التعزيز الإيجابي هو النوع الأكثر شيوعاً من التعزيز المستخدم في التعلم التعزيزي، لأنه يساعد النماذج على تحقيق أداء أفضل في مهمة معينة. ليس ذلك فقط، ولكن التعزيز الإيجابي يؤدي إلى تغييرات أكثر استدامة، تغييرات يمكن أن تصبح أنماطاً متسقة وتستمر لفترات طويلة.

في المقابل، بينما يزيد التعزيز السلبي من احتمال حدوث سلوك، إلا أنه يستخدم لضمان الحفاظ على معيار أداء أدنى، وليس لتحقيق أداء نموذجية أقصى. التعزيز السلبي في التعلم التعزيزي يمكن أن يساعد في منع النموذج من اتخاذ إجراءات غير مرغوب فيها، ولكنه لا يمكنه حقاً تشجيع النموذج على اكتشاف إجراءات مرغوب فيها.

تدريب وكيل التعلم التعزيزي

عندما يُدرّب وكيل التعلم التعزيزي، هناك أربعة مكونات أو حالات مختلفة تستخدم في التدريب: الحالات الأولية (الحالة 0)، الحالة الجديدة (الحالة 1)، الإجراءات، والمكافآت.

تخيل أننا ندرّب وكيل تعلم تعزيزي للعب لعبة منصات فيديو حيث هدف الذكاء الاصطناعي هو الوصول إلى نهاية المرحلة بالتحرك إلى اليمين عبر الشاشة. الحالة الأولية للعبة يتم سحبها من البيئة، مما يعني أن الإطار الأول للعبة يتم تحليله وتقديمه إلى النموذج. بناءً على هذه المعلومات، يجب على النموذج اتخاذ إجراء.

خلال المراحل الأولية من التدريب، تكون هذه الإجراءات عشوائية، ولكن مع تعزيز النموذج، تصبح إجراءات معينة أكثر شيوعاً. بعد اتخاذ الإجراء، يتم تحديث بيئة اللعبة وإنشاء حالة جديدة أو إطار. إذا أدى الإجراء الذي اتخذه الوكيل إلى نتيجة مرغوبة، دعنا نقول في هذه الحالة أن الوكيل لا يزال على قيد الحياة ولم يتعرض لأي أذى، يتم منح بعض المكافآت للوكيل ويتعلم أن يكرر الإجراء نفسه في المستقبل.

يتم تكرار هذا النظام الأساسي باستمرار، ويحاول الوكيل أن يتعلم شيئاً جديداً ويعظم مكافأته في كل مرة.

المهام المتقطعة مقابل المهام المستمرة

يمكن وضع مهام التعلم التعزيزي عادة في واحدة من فئتين مختلفتين: المهام المتقطعة والمهام المستمرة.

المهام المتقطعة ستقوم بتنفيذ حلقة التعلم/التدريب وتحسين أدائها حتى تتم شروط النهاية ويتوقف التدريب. في لعبة، قد يكون هذا الوصول إلى نهاية المرحلة أو السقوط في خطر مثل الأسلاك الشائكة. في المقابل، لا تملك المهام المستمرة شروط انتهاء، وبالتالي تستمر في التدريب إلى الأبد حتى يختار المهندس إيقاف التدريب.

مونتي كارلو مقابل الفرق الزمني

هناك طريقتان رئيسيتان لتدريب وكيل التعلم التعزيزي. في نهج مونتي كارلو، يتم تسليم المكافآت إلى الوكيل (يتم تحديث نقاطه) فقط في نهاية حلقة التدريب. بعبارة أخرى، فقط عندما يتم ضرب شرط الانتهاء، يتعلم النموذج كيف أدى أداء جيداً. يمكنه بعد ذلك استخدام هذه المعلومات لتحديث النموذج، وعندما يبدأ الجولة التالية من التدريب، سيتصرف وفقاً للمعلومات الجديدة.

طريقة الفرق الزمني تختلف عن طريقة مونتي كارلو في أن تقدير القيمة، أو تقدير النقاط، يتم تحديثه خلال حلقة التدريب. بمجرد تقدم النموذج إلى الخطوة الزمنية التالية، يتم تحديث القيم.

الاستكشاف مقابل الاستغلال

تدريب وكيل التعلم التعزيزي هو عمل توازن، يتضمن توازن بين两个 مقياسين مختلفين: الاستكشاف والاستغلال.

الاستكشاف هو فعل جمع المزيد من المعلومات حول البيئة المحيطة، بينما الاستغلال هو استخدام المعلومات التي تم جمعها بالفعل حول البيئة لتحقيق نقاط مكافأة. إذا كان الوكيل يستكشف فقط ولا يستغلق أبداً، فإن الإجراءات المرغوبة لن تتم أبداً. من ناحية أخرى، إذا كان الوكيل يستغلق فقط ولا يستكشف أبداً، فإن الوكيل سيتعلم فقط كيفية تنفيذ إجراء واحد ولا يكتشف استراتيجيات أخرى محتملة لتحقيق المكافآت. لذلك، توازن الاستكشاف والاستغلال هو أمر بالغ الأهمية عند إنشاء وكيل تعلم تعزيزي.

استخدامات التعلم التعزيزي

يمكن استخدام التعلم التعزيزي في مجموعة واسعة من الأدوار، وهو مناسب بشكل أفضل للتطبيقات التي تتطلب تلقين المهام.

تتمثل واحدة من هذه المجالات في تلقين المهام التي تؤديها الروبوتات الصناعية، حيث يمكن أن يثبت التعلم التعزيزي فائدته. يمكن استخدام التعلم التعزيزي أيضاً لمشاكل مثل تعدين النصوص، حيث يمكن إنشاء نماذج قادرة على تلخيص نصوص طويلة. كما يجرّب الباحثون استخدام التعلم التعزيزي في مجال الرعاية الصحية، حيث يمكن لوكلاء التعلم التعزيزي التعامل مع مهام مثل تحسين سياسات العلاج. يمكن استخدام التعلم التعزيزي أيضاً لتحسين المواد التعليمية للطلاب.

ملخص التعلم التعزيزي

التعلم التعزيزي هو طريقة قوية لإنشاء وكلاء ذكاء اصطناعي يمكن أن يؤدي إلى نتائج مثيرة للإعجاب وأحياناً غير متوقعة. تدريب وكيل من خلال التعلم التعزيزي يمكن أن يكون معقداً وصعباً، لأنه يتطلب العديد من دورات التدريب وتركيباً دقيقاً لمزدوجة الاستكشاف والاستغلال. ومع ذلك، إذا نجح، يمكن لوكيل تم إنشاؤه من خلال التعلم التعزيزي أن يؤدي مهام معقدة في مجموعة واسعة من البيئات المختلفة.