ما هو الانتشار العكسي؟

الانتشار العكسي هو الخوارزمية المستخدمة لحساب كيف يتغير خسارة شبكة عصبية بالنسبة للمعلمات القابلة للتدريب. يطبق قاعدة السلسلة في حساب التفاضل والتكامل عكسياً عبر العمليات المسجلة أثناء التمرير الأمامي.

الانتشار العكسي يحسب التدرجات؛ لكنه لا يقرر التحديث بنفسه. يستخدم محسن مثل الانحدار العشوائي أو AdamW هذه التدرجات لتغيير الأوزان والتحيزات وغيرها من المعلمات القابلة للتدريب.

النقاط الرئيسية

• التمرير الأمامي يبني القيم الوسيطة وينتج توقعًا.
• دالة الخسارة تحول التوقع والهدف إلى هدف تدريبي عددياً.
• الانتشار العكسي يستخدم المشتقات المحلية وقاعدة السلسلة لحساب تدرجات المعلمات بكفاءة.
• الأطر الحديثة تنفّذ التفاضل التلقائي بنمط عكسي عبر رسم بياني حسابي.

التمرير الأمامي

اعتبر وحدة بسيطة:

z = wx + b
ŷ = activation(z)

المدخل هو x، بينما w و b هما معلمات الوزن والتحيز القابلة للتدريب. عادةً ما تتغير الانحيازات أثناء التدريب كما تتغير الأوزان. تجمع الشبكة العديد من هذه العمليات، بالإضافة إلى التطبيع، والانتباه، والالتفافات، والاتصالات المتبقية، أو كتل أخرى قابلة للتفاضل.

يقوم التمرير الأمامي بتقييم تلك العمليات وينتج توقعًا. تقيس الخسارة مثل الانتروبي المتقاطع أو متوسط الخطأ المربع الهدف. تعتمد أفضل خسارة على المهمة وتفسير المخرجات.

قاعدة السلسلة

إذا كانت الخسارة L تعتمد على قيمة وسيطة z، وكانت z تعتمد على المعلمة w، فإن قاعدة السلسلة تعطي:

∂L/∂w = (∂L/∂z) × (∂z/∂w)

تحتوي الشبكة العميقة على العديد من المسارات. يتجول الانتشار العكسي عبر الرسم البياني الحسابي عكسيًا، جامعًا المساهمات عندما يؤثر قيمة على الخسارة عبر أكثر من مسار واحد. النتيجة هي تدرج لكل معلمة قابلة للتدريب شاركت في الحساب الأمامي.

مثال رقمي صغير

افترض أن ŷ = wx + b، مع x = 2، w = 3، و b = 1. التوقع هو 7. إذا كان الهدف 5 وكانت الخسارة L = ½(ŷ - y)²، فإن:

• ∂L/∂ŷ = ŷ - y = 2
• ∂ŷ/∂w = x = 2
• ∂L/∂w = 2 × 2 = 4
• ∂L/∂b = 2 × 1 = 2

يمكن للمحسن بعد ذلك تحريك w و b في اتجاه سالب التدرج. هذه الصيغة خاصة بالوحدة الخطية المختارة وخسارة الخطأ المربعي؛ القاعدة العامة للانتشار العكسي هي قاعدة السلسلة على الرسم البياني الفعلي، وليس معادلة “خطأ” ثابتة.

الانتشار العكسي مقابل الانحدار التدرجي

الانحدار التدرجي هو طريقة تحسين. يوفر الانتشار العكسي التدرجات التي يحتاجها. عادةً ما يتبع خطوة تدريبية:

1. امسح أو أعد ضبط التدرجات المخزنة.
2. نفّذ التمرير الأمامي.
3. احسب الخسارة.
4. نفّذ التمرير العكسي.
5. طبق تحديث المحسن.

فصل هذه المفاهيم يجعل من السهل فهم الزخم، AdamW، تراكم التدرجات، والتدريب بدقة مختلطة.

التفاضل التلقائي

الأطر مثل PyTorch تسجل العمليات وتبني رسمًا بيانيًا أثناء التمرير الأمامي. ثم يحسب التفاضل التلقائي بنمط عكسي منتجات المتجه-جاكوبي بكفاءة من المخرجات إلى المعلمات. هذا أكثر عمومية من كتابة المشتقات يدويًا لشبكة ثابتة وهو أساس أطر التعلم العميق الحديثة.

بعض العمليات غير قابلة للتفاضل أو لها مشتقات غير مستقرة. تحدد الأطر المشتقات الجزئية أو الاتفاقيات الموثقة في حالات معينة، لكن يجب على الممارسين أن يفهموا المتجهات المنفصلة، والعمليات داخلية، والدقة العددية.

تلاشي وتفجر التدرجات

الضرب المتكرر عبر العديد من الطبقات أو الخطوات الزمنية يمكن أن يجعل التدرجات صغيرة جدًا أو كبيرة جدًا. تلاشي التدرجات يبطئ التعلم في الطبقات المبكرة؛ تفجر التدرجات يزعزع استقرار التحديثات. تساعد تنشيطات عائلة ReLU، والتهيئة الدقيقة، والاتصالات المتبقية، والتطبيع، والتكرار المتحكم به، وتقطيع التدرجات، لكن لا شيء منها حل شامل.

فحص التدرجات

فحص التدرجات باستخدام الفروق المحدودة يقارن التدرج التحليلي أو التلقائي مع تقريب عددي. هو بطيء لكنه مفيد لتصحيح الأخطاء في العمليات المخصصة. مراقبة معايير التدرج واكتشاف قيم NaN أو اللانهائية يمكن أن تكشف عن عدم الاستقرار أثناء التدريب.

قاعدة السلسلة عبر رسم بياني حسابي

الانتشار العكسي يحسب التدرجات بكفاءة لخسارة عددية بالنسبة لكل معلمة قابلة للتفاضل. يسجل التمرير الأمامي القيم الوسيطة في رسم بياني حسابي. بدءًا من الخسارة، يطبق التفاضل التلقائي بنمط عكسي قاعدة السلسلة، مضاعفًا المشتقات المحلية ومجمعًا المساهمات حيث تلتقي المسارات. بالنسبة لطبقة y=f(x,w)، يجمع الحساسية العليا إلى y مع المشتقات الجزئية لإنتاج حساسية لـ x و w. يحسب الانتشار العكسي التدرجات؛ المحسن يقرر كيف تتغير المعلمات.

طبقة خطية بسيطة تنتج y=Wx+b. التدرج بالنسبة لـ W هو حاصل الضرب الخارجي بين تدرج الأعلى والمدخل، والتدرج بالنسبة لـ b يجمع القيم العليا، وتدرج المدخل يضرب في مصفوفة الوزن المتحولة. التنشيطات تضيف مشتقات عنصرية. الالتفاف، التطبيع، الانتباه، وإعادة الاستخدام المتكررة تتبع نفس مبدأ الرسم البياني لكن تتطلب أشكالًا صحيحة للمتجهات، والبث، والتمويه، ومشاركة المعلمات. الأطر تحرّر التنشيطات المحفوظة بعد العكسي ما لم تُحتفظ، لذا غالبًا ما يزداد استهلاك الذاكرة مع حجم الدفعة، العمق، وطول السلسلة.

فشل التدرجات، التحقق، وممارسة الهندسة

منتجات العديد من المشتقات يمكن أن تتلاشى أو تتفجر. تنشيطات شبيهة بـ ReLU، والتهيئة الدقيقة، والتطبيع، والاتصالات المتبقية، والبوابات، وتقطيع التدرجات تعالج آليات مختلفة. التنشيطات المشبعة والعمليات غير القابلة للتفاضل يمكن أن تحجب الإشارات المفيدة؛ الانتشار العكسي المقتطع يحدّ من تاريخ السلسلة؛ الدقة المختلطة قد تنخفض دون تعديل الخسارة. تفجر التدرجات هو عرض، لذا يجب أن يصاحب التقطيع فحص معدل التعلم، البيانات، البنية، والأخطاء العددية بدلاً من إخفائها.

تحقق من العمليات المخصصة باستخدام فحص التدرجات بالفروق المحدودة على مدخلات ذات دقة مزدوجة صغيرة، مع تجنّب النقاط غير القابلة للتفاضل. افحص معايير التدرج، قيم NaN، المعلمات غير النشطة، وما إذا كانت التدرجات تصل إلى الوحدات المتوقعة. امسح التدرجات المتراكمة عمدًا وفرق بين سلوك التدريب وتقييم النموذج بالنسبة للـ dropout والتطبيع. إعادة النقطة (checkpointing) تعيد حساب التنشيطات لتوفير الذاكرة؛ التدريب الموزع يجب أن يجمع التدرجات بشكل متسق. انخفاض خسارة التدريب يُظهر وجود مسار تحسين، وليس أن التدرجات صحيحة مفهوميًا، أو أن البيانات خالية من التسرب، أو أن النموذج يعمم.

مثال عملي: التحقق من طبقة عصبية مخصصة

مهندس يطبق طبقة طيفية قابلة للتفاضل لشبكة صوتية. اختبار دقة مزدوجة صغير يقارن التدرجات التلقائية مع الفروق المحدودة المركزية عبر المدخلات والمعلمات، مستثنيًا النقاط التي تكون فيها العملية غير قابلة للتفاضل عمدًا. الشكل، البث، الحشو، والتحويل من مركب إلى حقيقي يحصل على حالات منفصلة. الاختبار يتحقق من التدرجات المتراكمة عندما يُعاد استخدام معلمة ويؤكد أن إطارات الصوت المموهة لا تنتج تدرجًا.

أثناء التدريب، تتبع لوحات التحكم معايير التدرج والتنشيط، قيم NaN، المعلمات غير النشطة، وتعديل الخسارة. دفعة متعمدة الفساد تؤكد أن التحقق يلتقط المخرجات غير النهائية قبل تحديث المحسن. تُقارن الدقة المختلطة والتنفيذات المصدرة مع المرجع. تشمل اختبارات استئناف النقطة حالة المحسن وترتيب عشوائي. لا تُقبل الطبقة لمجرد انخفاض الخسارة الكلية؛ يجب أن توفر تدرجات الوحدة، الاستقرار العددي، والتعميم اللاحق دليلًا متسقًا.

دليل التنفيذ وجاهزية التشغيل

قرار الإنتاج يحتاج إلى أكثر من عرض ناجح. عرّف المستخدمين المستهدفين، بيئة التشغيل، المدخلات، المخرجات، التبعيات، المالك، وعواقب كل فشل مهم. أنشئ خط أساس قابل لإعادة الإنتاج ومجموعة تقييم مُصدّرة قبل الضبط. اختبر الحالات العادية، حدود الظروف، المدخلات المشوهة أو المفقودة، تحول التوزيع، انقطاع التبعيات، سوء الاستخدام، والمجموعات أو البيئات الأكثر احتمالًا لتكون غير مخدومة. قِس جودة المهمة مع المعايرة أو عدم اليقين، الكمون، معدل النقل، تكلفة الموارد، الوصولية، الخصوصية، والأمان. سجّل كل تحويل وعتبة حتى يتمكن مراجع مستقل من إعادة إنتاج النتيجة وتمييز الدليل عن النموذج الأولي الجذاب.

قبل الإطلاق، عيّن سلطة للإصدار، الاستثناءات، التغييرات، التراجع، والتقاعد. استخدم نشرًا متدرجًا، احفظ نسخة احتياطية آمنة، وتحقق من المراقبة عبر فشل مُدخل عمدًا. يجب أن تكشف القياسات التشغيلية عن جودة المدخل، سلوك المخرج، نسخة النموذج أو القاعدة، صحة التبعيات، تجاوزات بشرية، والنتائج المؤكدة دون جمع بيانات حساسة غير ضرورية. عرّف عتبات التنبيه ومالك الاستجابة، ثم راجع الأدلة الواقعية بعد النشر بدلاً من افتراض استمرار الأداء غير المتصل. أعد التقييم كلما تغيرت مصادر البيانات أو المستخدمون أو النماذج أو البائعون أو السياسات أو الأجهزة أو الأهداف. النظام المُحافظ عليه يحتاج أيضًا إلى وثائق استعادة، تعلم من الحوادث، إجراءات حذف واحتفاظ، ونقطة واضحة يجب فيها إيقافه أو استبداله.

الأسئلة المتكررة

هل يقوم الانتشار العكسي بتحديث الأوزان؟

الانتشار العكسي يحسب التدرجات. المحسن يطبق تحديثًا باستخدام تلك التدرجات، معدل التعلم الخاص به، وربما حالة مثل الزخم أو اللحظات المتكيفة.

هل الانتشار العكسي واقعي بيولوجيًا؟

الانتشار العكسي القياسي هو خوارزمية هندسية ولا يُقبل كنموذج تفصيلي للتعلم في الأدمغة البيولوجية. لا ينبغي اعتبار التشبيه العصبي التاريخي مكافئًا بيولوجيًا.

المراجع الأساسية

• PyTorch: آليات Autograd
• PyTorch: أساسيات Autograd
• Rumelhart, Hinton, and Williams: تعلم التمثيلات عبر انتشار الأخطاء