ما هو انتشار العكسي؟

ما هو انتشار العكسي؟

أنظمة التعلم العميق قادرة على تعلم أنماط معقدة للغاية ، وهي تحقق ذلك من خلال ضبط أوزانها. كيف يتم ضبط أوزان الشبكة العصبية العميقة بالضبط؟ يتم تعديلها من خلال عملية تسمى انتشار عكسي. بدون الانتشار العكسي، لن تتمكن الشبكات العصبية العميقة من تنفيذ مهام مثل التعرف على الصور وتفسير اللغة الطبيعية. إن فهم كيفية عمل الانتشار العكسي أمر بالغ الأهمية لفهم الشبكات العصبية العميقة بشكل عام، لذلك دعونا نناقش الانتشار العكسي ونرى كيف يتم استخدام العملية لضبط أوزان الشبكة.

قد يكون من الصعب فهم الانتشار العكسي، وقد تكون الحسابات المستخدمة لتنفيذ الانتشار العكسي معقدة للغاية. ستسعى هذه المقالة إلى منحك فهمًا بديهيًا للانتشار العكسي، باستخدام القليل من الرياضيات المعقدة. ومع ذلك، من الضروري إجراء بعض المناقشات حول الرياضيات وراء الانتشار العكسي.

الهدف من Backpropagation

لنبدأ بتحديد هدف backpropagation. تمثل أوزان الشبكة العصبية العميقة قوة الاتصالات بين وحدات الشبكة العصبية. عندما يتم إنشاء الشبكة العصبية ، يتم عمل افتراضات حول كيفية توصيل الوحدات في طبقة واحدة بالطبقات المرتبطة بها. أثناء انتقال البيانات عبر الشبكة العصبية ، يتم حساب الأوزان ووضع الافتراضات. عندما تصل البيانات إلى الطبقة النهائية من الشبكة ، يتم عمل توقع حول كيفية ارتباط الميزات بالفئات في مجموعة البيانات. الفرق بين القيم المتوقعة والقيم الفعلية هو الخسارة / الخطأ ، وهدف الانتشار العكسي هو تقليل الخسارة. يتم تحقيق ذلك عن طريق ضبط أوزان الشبكة ، مما يجعل الافتراضات أشبه بالعلاقات الحقيقية بين ميزات الإدخال.

تدريب شبكة عصبية عميقة

قبل أن يتم عمل backpropagation على ملف الشبكة العصبية، يجب تنفيذ تصريح التدريب المنتظم / الأمامي للشبكة العصبية. عندما يتم إنشاء شبكة عصبية ، يتم تهيئة مجموعة من الأوزان. سيتم تغيير قيمة الأوزان أثناء تدريب الشبكة. يمكن تصور مرور التدريب الأمامي للشبكة العصبية على أنه ثلاث خطوات منفصلة: تنشيط الخلايا العصبية ، ونقل الخلايا العصبية ، والانتشار الأمامي.

عند تدريب شبكة عصبية عميقة ، نحتاج إلى الاستفادة من وظائف رياضية متعددة. تتكون الخلايا العصبية في الشبكة العصبية العميقة من البيانات الواردة ووظيفة التنشيط ، والتي تحدد القيمة اللازمة لتنشيط العقدة. يتم حساب قيمة تنشيط الخلايا العصبية بعدة مكونات ، كونها مجموع مرجح للمدخلات. تعتمد الأوزان وقيم الإدخال على فهرس العقد المستخدمة لحساب التنشيط. يجب أن يؤخذ رقم آخر في الاعتبار عند حساب قيمة التنشيط ، قيمة التحيز. لا تتقلب قيم الانحياز ، لذلك لا يتم ضربها مع الوزن والمدخلات ، بل تتم إضافتها فقط. كل هذا يعني أنه يمكن استخدام المعادلة التالية لحساب قيمة التنشيط:

التنشيط = المجموع (الوزن * الإدخال) + التحيز

بعد تنشيط الخلية العصبية ، يتم استخدام وظيفة التنشيط لتحديد ما سيكون الناتج الفعلي للخلية العصبية. وظائف التنشيط المختلفة هي الأمثل لمهام التعلم المختلفة ، ولكن وظائف التنشيط شائعة الاستخدام تشمل وظيفة السيني ووظيفة تان ووظيفة ReLU.

بمجرد حساب مخرجات الخلايا العصبية عن طريق تشغيل قيمة التنشيط من خلال وظيفة التنشيط المطلوبة ، يتم إجراء الانتشار الأمامي. الانتشار إلى الأمام هو مجرد أخذ مخرجات طبقة واحدة وجعلها مدخلات الطبقة التالية. ثم يتم استخدام المدخلات الجديدة لحساب وظائف التنشيط الجديدة ، ويتم تمرير ناتج هذه العملية إلى الطبقة التالية. تستمر هذه العملية حتى نهاية الشبكة العصبية.

Backpropagation في الشبكة

تأخذ عملية backpropagation في القرارات النهائية لتمرير تدريب النموذج ، ثم تحدد الأخطاء في هذه القرارات. يتم حساب الأخطاء من خلال مقارنة مخرجات / قرارات الشبكة والمخرجات المتوقعة / المرغوبة للشبكة.

بمجرد حساب الأخطاء في قرارات الشبكة ، يتم إعادة نشر هذه المعلومات عبر الشبكة ويتم تغيير معلمات الشبكة على طول الطريق. تعتمد الطريقة المستخدمة لتحديث أوزان الشبكة في حساب التفاضل والتكامل ، وتحديداً ، تعتمد على قاعدة السلسلة. ومع ذلك ، فإن فهم حساب التفاضل والتكامل ليس ضروريًا لفهم فكرة وراء التكاثر العكسي. فقط اعلم أنه عندما يتم توفير قيمة مخرجات من خلية عصبية ، يتم حساب ميل قيمة المخرجات باستخدام دالة النقل ، مما ينتج عنه ناتج مشتق. عند القيام بالانتشار العكسي ، يتم حساب الخطأ لخلايا عصبية معينة وفقًا لما يلي معادلة:

الخطأ = (المتوقع_الناتج - المخرجات الفعلية) * منحدر قيمة خرج العصبون

عند العمل على الخلايا العصبية في طبقة الإخراج ، يتم استخدام قيمة الفئة كقيمة متوقعة. بعد حساب الخطأ ، يتم استخدام الخطأ كمدخل للخلايا العصبية في الطبقة المخفية ، مما يعني أن الخطأ لهذه الطبقة المخفية هو الأخطاء الموزونة للخلايا العصبية الموجودة داخل طبقة المخرجات. تنتقل حسابات الخطأ للخلف عبر الشبكة على طول شبكة الأوزان.

بعد حساب الأخطاء الخاصة بالشبكة يجب تحديث الأوزان في الشبكة. كما ذكرنا سابقًا، يتضمن حساب الخطأ تحديد ميل قيمة المخرجات. بعد حساب الميل، يمكن استخدام عملية تعرف بالنسب المتدرج لضبط الأوزان في الشبكة. التدرج هو منحدر يمكن قياس زاويته/انحداره. يتم حساب الميل عن طريق رسم "y over" أو "الارتفاع" على "المدى". في حالة الشبكة العصبية ومعدل الخطأ، فإن "y" هو الخطأ المحسوب، بينما "x" هو معلمات الشبكة. معلمات الشبكة لها علاقة بقيم الخطأ المحسوبة، ومع ضبط أوزان الشبكة يزداد الخطأ أو ينقص.

"الانحدار المتدرج" هو عملية تحديث الأوزان بحيث ينخفض ​​معدل الخطأ. يستخدم Backpropagation للتنبؤ بالعلاقة بين معلمات الشبكة العصبية ومعدل الخطأ ، والذي يقوم بإعداد الشبكة لنسب التدرج. تضمن تدريب شبكة ذات نزول متدرج حساب الأوزان من خلال الانتشار الأمامي ، والتكاثر العكسي للخطأ ، ثم تحديث أوزان الشبكة.