ما هي RNNs و LSTMs في التعلم العميق؟

العديد من التقدمات الأكثر إثارة للإعجاب في معالجة اللغة الطبيعية و聊bots الذكية مدفوعة بواسطة الشبكات العصبية المتكررة (RNNs) وشبكات الذاكرة القصيرة الأمد الطويلة (LSTM). RNNs و LSTMs هما هيكلان شبكيان عصبويان خاصان يمكنهما معالجة البيانات التسلسلية، البيانات التي يهم فيها الترتيب الزمني. LSTMs هي في الأساس إصدارات محسنة من RNNs، قادرة على تفسير تسلسلات بيانات أطول. دعونا نلقي نظرة على كيفية بناء RNNs و LSTMs وكيف تمكنان من إنشاء أنظمة معالجة اللغة الطبيعية المتقدمة.

ما هي الشبكات العصبية ذات الاتجاه الأمامي؟

لذلك قبل أن نتحدث عن كيفية عمل الذاكرة القصيرة الأمد الطويلة (LSTM) وشبكات العصبية التلافيفية (CNN)، يجب أن نناقش تنسيق الشبكة العصبية بشكل عام.

الشبكة العصبية旨 في فحص البيانات وتعلم الأنماط ذات الصلة، بحيث يمكن تطبيق هذه الأنماط على بيانات أخرى وتصنيف بيانات جديدة. الشبكات العصبية مقسمة إلى ثلاثة أقسام: طبقة إدخال، طبقة مخفية (أو طبقات مخفية متعددة)، وطبقة إخراج.

الطبقة الإدخالية هي ما يأخذ البيانات إلى الشبكة العصبية، في حين أن الطبقات المخفية هي ما يتعلم الأنماط في البيانات. الطبقات المخفية في مجموعة البيانات متصلة بالطبقات الإدخالية والإخراجية بواسطة “الأوزان” و “الانحيازات” التي هي مجرد افتراضات حول كيفية علاقات النقاط البيانية ببعضها البعض. هذه الأوزان يتم تعديلها خلال التدريب. مع تدريب الشبكة، يتم مقارنة تخمينات الشبكة حول بيانات التدريب (قيم الإخراج) بالتعليمات الفعلية للتدريب. خلال عملية التدريب، يجب أن تصبح الشبكة (على أمل) أكثر دقة في التنبؤ بالعلاقات بين النقاط البيانية، بحيث يمكنها تصنيف نقاط بيانات جديدة بدقة. الشبكات العصبية العميقة هي شبكات لها طبقات أكثر في الوسط / طبقات مخفية أكثر. كلما زادت الطبقات المخفية والخلايا العصبية / العقد التي تمتلكها الشبكة، زادت قدرة الشبكة على التعرف على الأنماط في البيانات.

الشبكات العصبية ذات الاتجاه الأمامي العادية، مثل تلك التي وصفها أعلاه، غالبًا ما يطلق عليها “الشبكات العصبية الكثيفة”. هذه الشبكات الكثيفة متحدة مع هيكلات شبكية مختلفة تختص في تفسير أنواع مختلفة من البيانات.

ما هي RNNs (الشبكات العصبية المتكررة)?

الشبكات العصبية المتكررة تأخذ المبدأ العام للشبكات العصبية ذات الاتجاه الأمامي وتجعلها قادرة على التعامل مع البيانات التسلسلية من خلال منح الشبكة ذاكرة داخلية. الجزء “المتكرر” من اسم RNN يأتي من حقيقة أن الإدخال والإخراج يتكرران. بمجرد أن تنتج الشبكة الإخراج، يتم نسخ الإخراج وإعادته إلى الشبكة كإدخال. عند اتخاذ القرار، لا يتم تحليل الإدخال والإخراج الحاليين فقط، بل يتم考虑 الإدخال السابق أيضًا. لتوضيح ذلك، إذا كان الإدخال الأولي للشبكة هو X والإخراج هو H، يتم إطعام H و X1 (الإدخال التالي في تسلسل البيانات) إلى الشبكة في الجولة التالية من التعلم. بهذه الطريقة، يتم الحفاظ على سياق البيانات (الإدخالات السابقة) أثناء تدريب الشبكة.

النتيجة لهذه الهيكلة هي أن RNNs قادرة على التعامل مع البيانات التسلسلية. ومع ذلك، تعاني RNNs من بعض المشاكل. RNNs تعاني من مشكلة التدرج المتلاشي والتدرج المتفجر.

طول التسلسلات التي يمكن للشبكة العصبية المتكررة تفسيرها محدود نسبيًا، خاصة بالمقارنة مع LSTMs.

ما هي LSTMs (شبكات الذاكرة القصيرة الأمد الطويلة)?

شبكات الذاكرة القصيرة الأمد الطويلة يمكن اعتبارها امتدادات للشبكات العصبية المتكررة، مرة أخرى بتطبيق مفهوم الحفاظ على سياق الإدخالات. ومع ذلك، تم تعديل LSTMs بطرق مهمة تسمح لها بتفسير بيانات الماضي بطريقة أفضل. التعديلات التي أجريت على LSTMs تتعامل مع مشكلة التدرج المتلاشي وتسمح ل LSTMs بالاعتبار تسلسلات إدخال أطول.

نماذج LSTMs تتكون من مكونات أو بوابات ثلاثة مختلفة. هناك بوابة إدخال، بوابة إخراج، وبوابة نسيان. مثل RNNs، LSTMs تأخذ الإدخالات من التimestep السابق في الاعتبار عند تعديل ذاكرة الشبكة وأوزان الإدخال. تقرر بوابة الإدخال أي القيم महत्वपور وينبغي السماح لها بالمرور عبر الشبكة. يتم استخدام دالة السجما في بوابة الإدخال، والتي ت决定 أي القيم يجب تمريرها عبر الشبكة المتكررة. 0 يخفض القيمة، في حين 1 يحافظ عليها. يتم استخدام دالة TanH هنا أيضًا، والتي ت决定 مدى أهمية قيم الإدخال للنموذج، تتراوح من -1 إلى 1.

بعد أن يتم احتساب الإدخالات الحالية و状态 الذاكرة، تقرر بوابة الإخراج أي القيم يجب دفعها إلى التimestep التالي. في بوابة الإخراج، يتم تحليل القيم وتحديد أهميتها تتراوح من -1 إلى 1. هذا ينظم البيانات قبل أن يتم نقلها إلى حساب التimestep التالي. أخيرًا، مهمة بوابة النسيان هي إسقاط المعلومات التي تعتبرها الشبكة غير ضرورية لاتخاذ قرار حول طبيعة قيم الإدخال. تستخدم بوابة النسيان دالة السجما على القيم، مع إخراج أرقام بين 0 (نس هذا) و 1 (احتفظ به).

شبكة LSTMs العصبية تتكون من طبقات LSTMs الخاصة التي يمكنها تفسير بيانات الكلمات التسلسلية وطبقات متصلة كثيفًا مثل تلك الموصوفة أعلاه. بمجرد أن تمر البيانات عبر طبقات LSTMs، تنتقل إلى الطبقات المتصلة كثيفًا.