ما هو التعلم التعزيزي العميق؟

ما هو التعلم التعزيزي العميق؟

إلى جانب التعلم غير الموجه والتعلم الموجه، هناك شكل شائع آخر من أشكال إنشاء الذكاء الاصطناعي وهو التعلم التعزيزي. بخلاف التعلم التعزيزي العادي، يمكن أن يؤدي التعلم التعزيزي العميق إلى نتائج مثيرة للإعجاب، نظرًا لحقيقة أنّه يجمع بين أفضل الجوانب من التعلم العميق والتعلم التعزيزي. دعونا نلقي نظرة على كيفية عمل التعلم التعزيزي العميق بدقة.

قبل أن نغوص في التعلم التعزيزي العميق، قد يكون من الجيد أن نعيد تعريف أنفسنا على كيفية عمل التعلم التعزيزي العادي. في التعلم التعزيزي، يتم تصميم الخوارزميات الهادفة من خلال عملية من التجربة والخطأ، مع تحسين الإجراء الذي يؤدي إلى أفضل نتيجة / الإجراء الذي يحصل على أكبر “مكافأة”. عندما يتم تدريب خوارزميات التعلم التعزيزي، يتم منحها “مكافآت” أو “عقوبات” التي تؤثر على الإجراءات التي سيتخذونها في المستقبل. تحاول الخوارزميات العثور على مجموعة من الإجراءات التي ستوفر للنظام أكبر مكافأة، مع توازن بين المكافآت الفورية والمستقبلية.

تعتبر خوارزميات التعلم التعزيزي قوية جدًا لأنها يمكن تطبيقها على أي مهمة تقريبًا، حيث يمكنها التعلم بمرنة وديناميكية من البيئة واكتشاف الإجراءات الممكنة.

موجز التعلم التعزيزي العميق

صورة: Megajuice عبر ويكيميديا كومنز، CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

عندما يتعلق الأمر بالتعلم التعزيزي العميق، يتم تمثيل البيئة عادةً bằng صور. الصورة هي لقطة للبيئة في نقطة زمنية معينة. يجب على الوكيل تحليل الصور واستخراج المعلومات ذات الصلة منها، واستخدام المعلومات لإعلام الإجراء الذي يجب اتخاذه. يتم إجراء التعلم التعزيزي العميق عادةً باستخدام تقنيتين مختلفتين: التعلم القائم على القيمة والتعلم القائم على السياسة.

تستخدم تقنيات التعلم القائم على القيمة خوارزميات وهياكل مثل الشبكات العصبية التلافية والشبكات العصبية العميقة-Q. تعمل هذه الخوارزميات عن طريق تحويل الصورة إلى لون رمادي واقتطاع الأجزاء غير الضرورية من الصورة. بعد ذلك، تخضع الصورة لعمليات تلافية وتمرير متتالية، واستخراج الأجزاء الأكثر أهمية من الصورة. ثم يتم استخدام الأجزاء المهمة من الصورة لحساب قيمة Q للإجراءات المختلفة التي يمكن للوكيل اتخاذها. يتم استخدام قيم Q لتحديد أفضل مسار عمل للوكيل. بعد حساب قيم Q الأولية، يتم إجراء التعميم العكسي لتحديد قيم Q الأكثر دقة.

تستخدم أساليب السياسة عندما يكون عدد الإجراءات الممكنة التي يمكن للوكيل اتخاذها كبيرًا جدًا، وهو ما يحدث عادةً في السيناريوهات الواقعية. تتطلب هذه الحالات نهجًا مختلفًا لأن حساب قيم Q للإجراءات الفردية ليس عمليًا. تعمل أساليب السياسة بدون حساب قيم الوظيفة للإجراءات الفردية. بدلاً من ذلك، تتبنى سياسات عن طريق التعلم المباشر للسياسة، غالبًا باستخدام تقنيات مثل التدرج السياسي.

تعمل تدرجات السياسة عن طريق استلام حالة وحساب الاحتمالات للإجراءات بناءً على تجارب الوكيل السابقة. ثم يتم اختيار الإجراء الأكثر احتمالاً. يتم تكرار هذا العملية حتى نهاية فترة التقييم وتحديد المكافآت للوكيل. بعد معالجة المكافآت للوكيل، يتم تحديث 매개 변수 الشبكة بالتعميم العكسي.

ما هو التعلم القائم على Q؟

نظرًا لأن التعلم القائم على Q هو جزء كبير من عملية التعلم التعزيزي العميق، دعونا نلقي نظرة على كيفية عمل نظام التعلم القائم على Q.

عملية اتخاذ القرار ماركوف

عملية اتخاذ القرار ماركوف. صورة: waldoalvarez عبر Pixabay، Pixbay License (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

من أجل أن يقوم وكيل الذكاء الاصطناعي ب سلسلة من المهام ويلتحق بهدف، يجب على الوكيل أن يكون قادرًا على التعامل مع تسلسل من الحالات والأحداث. سوف يبدأ الوكيل في حالة معينة ويجب أن يتخذ سلسلة من الإجراءات للوصول إلى حالة نهائية، ويمكن أن يكون هناك عدد كبير من الحالات بين البداية والنهاية. لا يعتبر تخزين المعلومات المتعلقة بكل حالة عمليًا أو ممكنًا، لذلك يجب على النظام أن يجد طريقة للاحتفاظ بمعلومات الحالة الأكثر أهمية فقط. يتم تحقيق ذلك من خلال استخدام عملية اتخاذ القرار ماركوف، التي تحتفظ بمعلومات الحالة الحالية والسابقة فقط. كل حالة تتبع خاصية ماركوف، التي تتبع كيفية تغير الوكيل من الحالة السابقة إلى الحالة الحالية.

التعلم القائم على Q العميق

بمجرد أن يكون النموذج لديه إمكانية الوصول إلى معلومات حول حالات بيئة التعلم، يمكن حساب قيم Q. قيم Q هي المكافأة الإجمالية الممنوحة للوكيل في نهاية تسلسل من الإجراءات.

تتم حساب قيم Q باستخدام سلسلة من المكافآت. هناك مكافأة فورية، محسوبة في الحالة الحالية واعتمادًا على الإجراء الحالي. كما يتم حساب قيمة Q للحالة التالية، وقيمة Q للحالة التي تليها، وهكذا حتى يتم حساب جميع قيم Q للحالات المختلفة. هناك أيضًا معامل غاما يُستخدم للتحكم في مقدار وزن المكافآت المستقبلية على إجراءات الوكيل. عادةً ما يتم حساب السياسات عن طريق 초기ته قيم Q عشوائيًا وترك النموذج يتقارب نحو قيم Q المثلى خلال تدريب النموذج.

شبكات Q العميقة

أحد المشاكل الأساسية المتعلقة باستخدام التعلم القائم على Q للتعلم التعزيزي هو أن كمية الذاكرة المطلوبة لتخزين البيانات تزيد بسرعة مع زيادة عدد الحالات. تحل شبكات Q العميقة هذه المشكلة عن طريق دمج نماذج الشبكات العصبية مع قيم Q، مما يسمح للوكيل بالتعلم من الخبرة ووضع تخمين معقول للإجراءات التي يجب اتخاذها. مع التعلم القائم على Q العميق، يتم تقدير دوال قيمة Q باستخدام الشبكات العصبية. تأخذ الشبكة العصبية الحالة كمدخل، وتخرج قيمة Q لجميع الإجراءات الممكنة التي يمكن للوكيل اتخاذها.

يتم إجراء التعلم القائم على Q العميق عن طريق تخزين جميع الخبرات السابقة في الذاكرة، وحساب الإخراج الأقصى للشبكة Q، ثم استخدام دالة خسارة لحساب الفرق بين القيم الحالية والقيم النظرية الأعلى الممكنة.

التعلم التعزيزي العميق مقابل التعلم العميق

أحد الفروق المهمة بين التعلم التعزيزي العميق والتعلم العميق العادي هو أن المدخلات في حالة التعلم التعزيزي العميق تتغير باستمرار، وهو ما لا يحدث في التعلم العميق التقليدي. كيف يمكن للنموذج التعلمي أن يأخذ في الاعتبار المدخلات والمخرجات التي تتغير باستمرار؟

بما أن المدخلات والمخرجات تتغير باستمرار، يمكن استخدام شبكتين عصبويتين بدلاً من واحدة. شبكة واحدة تقدر القيم الهدف، في حين أن الشبكة الأخرى مسؤولة عن التنبؤات. يتم تحديث معاملات الشبكة الهدف مع تقدم النموذج في التعلم، بعد مرور عدد معين من دورات التدريب. ثم يتم ربط مخرجات الشبكتين معًا لتحديد الفرق.

التعلم القائم على السياسة

تعتمد أساليب التعلم القائم على السياسة على نهج مختلف عن أساليب قيمة Q. بينما تقوم أساليب قيمة Q بإنشاء دالة قيمة تتنبأ بالمكافآت للحالات والإجراءات، تقوم أساليب السياسة بتحديد سياسة ستخريط الحالات إلى الإجراءات. بمعنى آخر، يتم تحسين دالة السياسة التي تختار الإجراءات مباشرة، دون اعتبار لدالة القيمة.

تدرجات السياسة

تقع سياسة التعلم التعزيزي العميق في واحدة من فئتين: سياسة عشوائية أو سياسة قطعية. السياسة القطعية هي التي يتم فيها ربط الحالات بالإجراءات، مما يعني أن عندما تُمنح السياسة معلومات حول حالة، يتم إرجاع إجراء. في حين أن السياسات العشوائية تعيد توزيع الاحتمالات للإجراءات بدلاً من إجراء فردي منفرد.

تستخدم السياسات القطعية عندما لا يوجد شك في نتائج الإجراءات التي يمكن اتخاذها. بمعنى آخر، عندما تكون البيئة نفسها قطعية. في المقابل، تكون مخرجات السياسات العشوائية مناسبة للبيئات التي يكون فيها نتيجة الإجراءات غير مؤكدة. عادةً ما تتضمن سيناريوهات التعلم التعزيزي بعض الدرجات من عدم اليقين، لذلك يتم استخدام السياسات العشوائية.

تتمتع أساليب تدرجات السياسة ببعض المزايا على أساليب التعلم القائم على Q، بالإضافة إلى بعض العيوب. من حيث المزايا، تتقارب أساليب السياسة بسرعة وثبات على المعاملات المثلى. يمكن اتباع تدرج السياسة حتى يتم تحديد أفضل المعاملات، في حين أن أساليب القيمة يمكن أن تؤدي إلى تغييرات كبيرة في الإجراءات والمعاملات المرتبطة بها.

تعمل تدرجات السياسة بشكل أفضل للمساحات الإجرائية ذات الأبعاد العالية. عندما يكون هناك عدد كبير من الإجراءات الممكنة، يصبح التعلم القائم على Q غير عملي لأنّه يجب أن يمنح درجة لكل إجراء ممكن في كل خطوة زمنية، وهو ما قد يكون مستحيلًا من الناحية الحاسوبية. ومع ذلك، مع أساليب السياسة، يتم تعديل المعاملات بمرور الوقت، وتنخفض عدد المعاملات المثلى بسرعة مع تقارب النموذج.

تتيح تدرجات السياسة أيضًا تنفيذ سياسات عشوائية، على عكس سياسات القيمة. نظرًا لأن السياسات العشوائية تنتج توزيع احتمالي، لا يلزم تنفيذ.trade-off بين الاستكشاف والاستغلال.

من حيث العيوب، العيب الرئيسي لتدرجات السياسة هو أنّها يمكن أن تتعثر أثناء البحث عن المعاملات المثلى، حيث تركز فقط على مجموعة ضيقة ومحلية من القيم المثلى بدلاً من القيم المثلى العالمية.

دالة درجة السياسة

تتمثل السياسات المستخدمة لتحسين أداء النموذج في تحسين دالة الدرجة – J(θ). إذا كانت J(θ) هي مقياس جودة سياستنا لتحقيق الهدف المرغوب، يمكننا العثور على قيم “θ” التي توفر لنا أفضل سياسة. أولاً، نحتاج إلى حساب مكافأة السياسة المتوقعة. نحسب مكافأة السياسة حتى يكون لدينا هدف، شيء لتحسينه. دالة درجة السياسة هي كيف نحسب المكافأة المتوقعة للسياسة، وهناك دوال درجة سياسة شائعة مثل: قيم البداية للبيئات الوبائية، القيمة المتوسطة للبيئات المستمرة، والمكافأة المتوسطة لكل خطوة زمنية.

صعود تدرج السياسة

يهدف صعود التدرج إلى تحريك المعاملات حتى تكون في المكان الذي يكون فيه الدرج أعلى. صورة: المجال العام (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

بعد استخدام دالة الدرجة المثلى للسياسة، وحساب المكافأة المتوقعة للسياسة، يمكننا العثور على قيمة لمعامل “θ” التي تزيد من دالة الدرجة. لزيادة دالة الدرجة J(θ)، يتم استخدام تقنية تسمى “صعود التدرج”. يعتمد صعود التدرج على مفهوم مماثل لانحدار التدرج في التعلم العميق، لكننا نهدف إلى تعظيم الدرج بدلاً من تقليله. هذا لأن درجنا ليس “خطأ”، مثل العديد من مشاكل التعلم العميق. درجنا هو شيء نريد تعظيمه. يتم استخدام تعبير يسمى مبرهنة تدرج السياسة لتقدير التدرج بالنسبة إلى سياسة “θ”.

ملخص التعلم التعزيزي العميق

في الملخص، يجمع التعلم التعزيزي العميق بين جوانب التعلم التعزيزي والشبكات العصبية العميقة. يتم إجراء التعلم التعزيزي العميق باستخدام تقنيتين مختلفتين: التعلم القائم على Q العميق وتدرجات السياسة.

تتمثل أهداف أساليب التعلم القائم على Q في توقع المكافآت التي سوف تتبع الإجراءات المتخذة في حالة معينة، بينما تهدف أساليب تدرج السياسة إلى تحسين مساحة الإجراء، وتوقع الإجراءات نفسها. تتمثل أساليب التعلم القائم على السياسة في التعلم التعزيزي العميق في السياسات القطعية أو العشوائية. السياسات القطعية ترسم الحالات مباشرة إلى الإجراءات، في حين أن السياسات العشوائية تنتج توزيعات احتمالية للإجراءات.