ما هي RNNs و LSTMs في التعلم العميق؟

يتم تحفيز العديد من التطورات الأكثر إثارة للإعجاب في معالجة اللغة الطبيعية وروبوتات الدردشة التي تعمل بالذكاء الاصطناعي الشبكات العصبية المتكررة (RNNs) وشبكات الذاكرة طويلة المدى (LSTM). RNNs و LSTMs هي بنيات شبكة عصبية خاصة قادرة على معالجة البيانات المتسلسلة والبيانات التي يكون فيها الترتيب الزمني مهمًا. LSTMs هي إصدارات محسنة من RNNs، قادرة على تفسير تسلسل أطول من البيانات. دعونا نلقي نظرة على كيفية هيكلة RNNs و LSTMS وكيفية تمكينهما من إنشاء أنظمة معالجة لغة طبيعية متطورة.

ما هي شبكات التغذية الأمامية العصبية؟

لذا قبل أن نتحدث عن كيفية عمل الذاكرة طويلة المدى (LSTM) والشبكات العصبية التلافيفية (CNN) ، يجب أن نناقش تنسيق الشبكة العصبية بشكل عام.

تهدف الشبكة العصبية إلى فحص البيانات ومعرفة الأنماط ذات الصلة ، بحيث يمكن تطبيق هذه الأنماط على البيانات الأخرى ويمكن تصنيف البيانات الجديدة. تنقسم الشبكات العصبية إلى ثلاثة أقسام: طبقة إدخال وطبقة مخفية (أو طبقات مخفية متعددة) وطبقة إخراج.

طبقة الإدخال هي التي تأخذ البيانات إلى الشبكة العصبية ، بينما الطبقات المخفية هي التي تتعلم الأنماط في البيانات. ترتبط الطبقات المخفية في مجموعة البيانات بطبقات الإدخال والإخراج من خلال "أوزان" و "تحيزات" وهي مجرد افتراضات لكيفية ارتباط نقاط البيانات ببعضها البعض. يتم تعديل هذه الأوزان أثناء التدريب. أثناء تدريب الشبكة ، تتم مقارنة تخمينات النموذج حول بيانات التدريب (قيم الإخراج) مع ملصقات التدريب الفعلية. أثناء فترة التدريب ، يجب (نأمل) أن تصبح الشبكة أكثر دقة في التنبؤ بالعلاقات بين نقاط البيانات ، حتى تتمكن من تصنيف نقاط البيانات الجديدة بدقة. الشبكات العصبية العميقة هي شبكات تحتوي على طبقات أكثر في الطبقات الوسطى / الأكثر مخفية. كلما زادت الطبقات المخفية والمزيد من الخلايا العصبية / العقد التي يمتلكها النموذج ، كان بإمكان النموذج التعرف بشكل أفضل على الأنماط في البيانات.

غالبًا ما تسمى الشبكات العصبية المنتظمة ذات التغذية الأمامية ، مثل تلك التي وصفتها أعلاه "الشبكات العصبية الكثيفة". يتم دمج هذه الشبكات العصبية الكثيفة مع بنى الشبكات المختلفة التي تتخصص في تفسير أنواع مختلفة من البيانات.

ما هي RNNs (الشبكات العصبية المتكررة)؟

تأخذ الشبكات العصبية المتكررة المبدأ العام للشبكات العصبية ذات التغذية الأمامية وتمكنها من معالجة البيانات المتسلسلة عن طريق إعطاء النموذج ذاكرة داخلية. يأتي الجزء "المتكرر" من اسم RNN من حقيقة حلقة الإدخال والإخراج. بمجرد إنتاج مخرجات الشبكة، يتم نسخ المخرجات وإعادتها إلى الشبكة كمدخل. عند اتخاذ القرار، لا يتم تحليل المدخلات والمخرجات الحالية فحسب، بل يتم أيضًا أخذ المدخلات السابقة في الاعتبار. وبعبارة أخرى، إذا كان الإدخال الأولي للشبكة هو X والإخراج هو H، فسيتم إدخال كل من H وX1 (المدخل التالي في تسلسل البيانات) في الشبكة للجولة التالية من التعلم. وبهذه الطريقة، يتم الحفاظ على سياق البيانات (المدخلات السابقة) أثناء تدريب الشبكة.

نتيجة هذه البنية هي أن شبكات RNN قادرة على معالجة البيانات المتسلسلة. ومع ذلك ، فإن RNNs تعاني من مشكلتين. RNNs تعاني من اختفاء التدرج اللوني وتفجير مشاكل التدرج.

طول التسلسلات التي يمكن أن تفسرها RNN محدودة نوعًا ما ، لا سيما بالمقارنة مع LSTMs.

ما هي LSTMs (شبكات الذاكرة طويلة المدى)؟

يمكن اعتبار شبكات الذاكرة طويلة المدى امتدادات لـ RNNs ، مرة أخرى بتطبيق مفهوم الحفاظ على سياق المدخلات. ومع ذلك ، فقد تم تعديل LSTM بعدة طرق مهمة تسمح لهم بتفسير البيانات السابقة بأساليب متفوقة. تتعامل التعديلات التي تم إجراؤها على LSTM مع مشكلة التدرج المتلاشي وتمكين LSTMs من النظر في تسلسل إدخال أطول بكثير.

تتكون نماذج LSTM من ثلاثة مكونات أو بوابات مختلفة. هناك بوابة الإدخال وبوابة الإخراج وبوابة النسيان. تمامًا مثل RNNs ، تأخذ LSTM المدخلات من الخطوة الزمنية السابقة في الاعتبار عند تعديل ذاكرة النموذج وأوزان الإدخال. تتخذ بوابة الإدخال قرارات بشأن القيم المهمة والتي يجب السماح بها من خلال النموذج. يتم استخدام دالة السيني في بوابة الإدخال ، والتي تحدد القيم التي يجب تمريرها عبر الشبكة المتكررة. يسقط الصفر القيمة ، بينما يحتفظ بها الرقم 1. يتم استخدام دالة TanH هنا أيضًا ، والتي تحدد مدى أهمية قيم الإدخال للنموذج ، والتي تتراوح من -1 إلى 1.

بعد حساب المدخلات الحالية وحالة الذاكرة ، تقرر بوابة الإخراج القيم التي يجب دفعها إلى الخطوة الزمنية التالية. في بوابة الإخراج ، يتم تحليل القيم وتعيين أهمية تتراوح من -1 إلى 1. وهذا ينظم البيانات قبل أن يتم نقلها إلى حساب الخطوة الزمنية التالية. أخيرًا ، تتمثل مهمة بوابة النسيان في إسقاط المعلومات التي يراها النموذج غير ضرورية لاتخاذ قرار بشأن طبيعة قيم الإدخال. تستخدم بوابة النسيان دالة سينية على القيم ، وتخرج أرقامًا بين 0 (انسَ هذا) و 1 (احتفظ بهذا).

تتكون الشبكة العصبية LSTM من كل من طبقات LSTM الخاصة التي يمكنها تفسير بيانات الكلمات المتسلسلة والمتصلة بكثافة مثل تلك الموضحة أعلاه. بمجرد أن تنتقل البيانات عبر طبقات LSTM ، فإنها تنتقل إلى الطبقات المتصلة بكثافة.