ما هي الشبكات العصبية المتكررة (RNNs) وذاكرة طويلة وقصيرة المدى (LSTMs) في التعلم العميق؟

الشبكات العصبية المتكررة (RNNs) تعالج السلاسل عن طريق تحديث حالة مخفية مع مرور الوقت. شبكات الذاكرة طويلة وقصيرة المدى (LSTM) هي شبكات RNN ذات بوابات صممت للحفاظ على المعلومات والتحكم فيها بشكل أكثر فاعلية من الوحدة المتكررة الأساسية.

كانت الشبكات العصبية المتكررة وLSTMs في السابق تهيمن على العديد من مهام اللغة، لكن الدردشات الكبيرة الحديثة تعتمد أساسًا على المحوّلات. لا تزال النماذج المتكررة مفيدة للبث، والسلاسل الزمنية، والصوت، والتحكم، والأنظمة ذات الموارد المحدودة حيث تكون الحالة المتزايدة والكمون المنخفض مهمين.

النقاط الرئيسية

• تُعيد الشبكة المتكررة استخدام نفس المعاملات في كل خطوة من السلسلة وتنقل الحالة المخفية إلى الأمام.
• يمكن أن يتسبب التدريب عبر الزمن في تلاشي أو انفجار التدرجات.
• تضيف LSTM حالة خلية وبوابات الإدخال والنسيان والإخراج.
• تتعامل المحوّلات مع العلاقات طويلة المدى والتدريب المتوازي بطريقة مختلفة؛ لا تُعد أي من البنيتين الأفضل لكل حالة نشر.

كيف يعمل RNN أساسي

في الخطوة t، يجمع وحدة متكررة بسيطة الإدخال الحالي xₜ مع الحالة المخفية السابقة hₜ₋₁:

hₜ = activation(Wₓxₜ + Wₕhₜ₋₁ + b)

الحالة المخفية هي ملخص مُتعلم يُستخدم للخطوة التالية، واعتمادًا على المهمة قد تكون مخرجة. يرسم مخطط “مفكك” نسخة واحدة لكل خطوة زمنية، لكن جميع النسخ تشترك في المعاملات. لا يتم نسخ المخرجة ببساطة كإدخال خام جديد؛ بل تمرر المتكررة الحالة المخفية عبر تحويل معرف.

الانتشار العكسي عبر الزمن

يتم تدريب الشبكات المتكررة باستخدام الانتشار العكسي عبر الزمن (BPTT). تُكوّن السلسلة المفككة رسمًا حسابيًا عميقًا، ويحسب الانتشار العكسي كيف يعتمد الخسارة على المعاملات المتكررة المشتركة.

يمكن أن يتسبب الضرب المتكرر في تقليل التدرجات نحو الصفر أو نموها بلا حدود. تمنع التدرجات المتلاشيّة تعلم الاعتمادات الطويلة؛ وتؤدي التدرجات المتفجرة إلى تحديثات غير مستقرة. يخفف تقليم التدرجات من مشكلة التدرجات المتفجرة، بينما تساعد البوابات، والتهيئة، والتطبيع، وفترات التدريب الأقصر.

داخل خلية LSTM

تحافظ LSTM على حالة خلية cₜ بالإضافة إلى الحالة المخفية hₜ. بوابتها هي ضوابط مُتعلمة وتعتمد على البيانات:

• بوابة النسيان تتحكم في مقدار الاحتفاظ بحالة الخلية السابقة.
• بوابة الإدخال تتحكم في مقدار كتابة المعلومات المرشحة.
• بوابة الإخراج تتحكم في مقدار مساهمة معلومات الخلية في الحالة المخفية.

تعمل مخرجات الدالة سيغمويد بين الصفر والواحد كبوابات ناعمة، بينما يزود المرشح المُحول بدالة تانجنت المحتوى الجديد. يساعد المسار الجمعي لحالة الخلية على بقاء التدرجات، لكن LSTMs لا تضمن ذاكرة غير محدودة ولا تُزيل جميع مشاكل التحسين.

وحدات GRU والتكرار الثنائي الاتجاه

تجمع وحدة المتكررة ذات البوابة (GRU) آليات البوابات في خلية متكررة أبسط دون حالة خلية منفصلة على نمط LSTM. يمكن أن تُدرب GRUs أسرع وتؤدي بشكل مماثل في بعض المهام.

تعالج الشبكة المتكررة ذات الاتجاهين سلسلة مكتملة في كلا الاتجاهين وتدمج الحالات. يمكنها استخدام السياق المستقبلي للوسم أو الترميز، لكنها غير مناسبة للبث السببي عندما لا تكون المدخلات المستقبلية متاحة بعد.

نماذج التسلسل إلى التسلسل

تقوم RNNs المشفر-المفكك بترجمة تسلسل إلى آخر. تم تقديم آلية الانتباه لتسمح للمفكك بالاستعانة بحالات المشفر المختلفة بدلاً من الاعتماد على متجه ثابت واحد. أدى هذا الاتجاه إلى بنية المحوّل، التي استبدلت التكرار بكتل تعتمد على الانتباه.

الشبكات المتكررة مقابل المحوّلات

تُعالج المحوّلات مواضع التدريب بشكل متوازي وتُنشئ مسارات انتباه قصيرة بين الرموز البعيدة. تعالج الشبكات المتكررة الحالة تسلسليًا، مما يحد من التوازي لكنه يوفر حالة متكررة بحجم ثابت أثناء البث. قد تحتاج استدلالات المحوّل إلى ذاكرة مؤقتة متزايدة للمفاتيح والقيم، بينما تضغط RNN التاريخ في حالتها المخفية وقد تفقد التفاصيل.

اختر بناءً على طول السلسلة، حجم البيانات، العتاد، الكمون، الذاكرة، وما إذا كانت المهمة غير متصلة أو بثًا. توفر البنى الهجينة ومجالات الحالة مقايضات إضافية.

حالات الاستخدام الحالية

لا تزال الشبكات المتكررة وLSTMs ذات صلة بالتنبؤ، واكتشاف الشذوذ، ومعالجة المستشعرات، ومكونات الكلام، والكتابة اليدوية، والتحكم المدمج، ونمذجة السلاسل ذات الكمون المنخفض. ليست هي الشرح الافتراضي للنماذج اللغوية الكبيرة الحالية أو الدردشات الذكية.

التكرار، البوابات، وذاكرة السلسلة

تعالج الشبكة العصبية المتكررة سلسلةً بدمج الإدخال الحالي مع حالة مخفية تُنقل من الخطوات السابقة. تسمح الأوزان المشتركة بطول سلسلة متغير، ويكشف التفكيك الحساب عبر الزمن للتدريب. يمكن لـ RNNs الأساسية تمثيل الاعتماد الزمني لكن التدرجات التي تُضرب بشكل متكرر عبر سلاسل طويلة تميل إلى التلاشي أو الانفجار. يحد الانتشار العكسي المقتطع الذاكرة والحوسبة، بينما يتحكم تقليم التدرجات في التحديثات المتطرفة. الحالة المخفية هي ملخص مُتعلم، ليست تخزينًا دقيقًا لكل رمز سابق.

تضيف شبكات الذاكرة طويلة وقصيرة المدى حالة خلية وبوابات الإدخال والنسيان والإخراج التي تنظم كتابة المعلومات، احتفاظها، وعرضها. تستخدم وحدات المتكررة ذات البوابة بنية إعادة ضبط وتحديث أبسط. لا يمكن للمتغيرات ذات الاتجاهين استخدام البث السببي دون تأخير لأنها تعتمد على السياق المستقبلي. تضيف النماذج المتكررة المتراصة، المتبقية، والمعززة بالانتباه سعة إضافية. يجب أن تمنع الحشو والأقنعة العناصر الاصطناعية في السلسلة من التأثير على الحالة أو الخسارة، ويجب إعادة ضبط الحالة عند حدود السلسلة الحقيقية لتجنب تسرب المعلومات بين الأمثلة.

التدريب، المقارنة، والخدمة ذات الحالة

لا تزال الشبكات المتكررة وLSTMs مفيدة للبث، والنماذج المدمجة الصغيرة، والسلاسل الزمنية، وأعباء العمل التي تكون فيها الحالة المتسلسلة فعّالة. تُوازِن المحوّلات التدريب وتنمذج التفاعلات طويلة المدى بطريقة مختلفة لكنها قد تتطلب ذاكرة وذاكرة مؤقتة أكبر. قارن البنى من حيث الدقة، والكمون، ومعدل النقل، والذاكرة، والطاقة، والأداء مع تغير طول السلسلة. قيّم التنبؤ باستخدام تقسيمات زمنية متدحرجة، واللغة باستخدام مقاييس واعية للسلسلة، واكتشاف الشذوذ باستخدام مقاييس على مستوى الحدث. افحص الفشل بعد فترات طويلة، وتغيّر الأنظمة، والعينات المفقودة، وحدود السلسلة المفاجئة.

يجب أن يربط النشر ذو الحالة الحالة المخفية بالجلسة الصحيحة، ويُنقِيها، ويُشفّرها إذا كانت حساسة، ويُعيد ضبطها بعد الأخطاء أو تغيّر النموذج. يمكن للأحداث غير المرتبة أو المتكررة أن تُفسد الحالة؛ لذا أدرج الطوابع الزمنية، وأرقام السلسلة، والتماثلية. راقب عمر الحالة، وطول السلسلة، والغياب، وانحراف المخرجات، والكمون. تحتاج الكمّية إلى تحقق حساس للبوابات لأن التغييرات الرقمية الصغيرة قد تتراكم مع الزمن. تتيح ذاكرة RNN السياق، لكنها قد تحتفظ أيضًا بمعلومات خاصة أو قديمة، لذا فإن الاحتفاظ والضوابط للمستخدم يجب أن تكون جزءًا من التصميم.

مثال عملي: LSTM لتسلسلات المستشعرات المتدفقة

تستخدم أداة LSTM لتوقع الحمل قصير الأجل من القياسات الأخيرة، والتقويم، والطقس. تُبنى السلاسل بترتيب زمني صارم؛ تُعاد ضبط الحالة المخفية عند حدود المغذيات، ويُحجب الحشو. تُقارن الأساسيات السطحية الموسمية والمعززة بالتدرج مع LSTM عبر نوافذ متدحرجة. تغطي الاختبارات الفواصل المفقودة، وتأخير الطقس، والعطلات، والانقطاعات، وطول السلاسل التي تتجاوز التدريب المعتاد.

يربط خدمة البث الحالة بمغذي واحد، وترفض التكرارات غير المرتبة، وتُنقِي الحالة بعد فترات طويلة أو تحديثات النموذج. يحل توقع إحصائي آمن محل المخرجات عندما تكون المستشعرات أو الحالة غير صالحة. يتم فحص الاستدلال المُكمم على سلاسل طويلة للتحقق من الانحراف المتراكم. يراقب المراقبة عمر الحالة، والغياب، والكمون، والانحياز، وخطأ الفاصل الزمني. يُعاد تدريب النموذج فقط بعد تغيّر الشبكة وتُظهر النتائج المراجعة أن العلاقات الزمنية المتعلمة لم تعد عامة.

دليل التنفيذ والاستعداد التشغيلي

يتطلب اتخاذ قرار إنتاجي أكثر من عرض ناجح. حدّد المستخدمين المستهدفين، وبيئة التشغيل، والمدخلات، والمخرجات، والاعتمادات، والمالك، وعواقب كل فشل مهم. أنشئ خط أساس قابل لإعادة الإنتاج ومجموعة تقييم مُصدرة قبل الضبط. اختبر الحالات العادية، وظروف الحدود، ومدخلات غير صالحة أو مفقودة، وتحول التوزيع، وتعطل الاعتماد، وسوء الاستخدام، والمجموعات أو البيئات التي قد تكون غير مخدومة بشكل كاف. قس جودة المهمة مع المعايرة أو عدم اليقين، والكمون، ومعدل النقل، وتكلفة الموارد، وإمكانية الوصول، والخصوصية، والأمان. سجّل كل تحويل وعامل حد بحيث يستطيع مراجع مستقل إعادة إنتاج النتيجة والتمييز بين الدليل والنموذج الأولي الجذاب.

قبل الإطلاق، عيّن سلطة للإصدار، والاستثناءات، والتغييرات، والعودة إلى الحالة السابقة، والتقاعد. استخدم نشرًا مرحليًا، واحفظ نسخة احتياطية آمنة، وتحقق من المراقبة عبر فشل مُدخَل عمدًا. يجب أن تكشف القياسات التشغيلية عن جودة المدخلات، وسلوك المخرجات، وإصدار النموذج أو القاعدة، وصحة الاعتماد، وتجاوزات البشر، والنتائج المؤكدة دون جمع بيانات حساسة غير ضرورية. حدّد عتبات التنبيه ومالك الاستجابة، ثم راجع الأدلة الواقعية بعد النشر بدلاً من افتراض استمرارية الأداء غير المتصل. أعد التقييم كلما تغيرت مصادر البيانات، أو المستخدمون، أو النماذج، أو البائعون، أو السياسات، أو العتاد، أو الأهداف. يحتاج النظام المُصان أيضًا إلى توثيق استعادة، وتعلم الحوادث، وإجراءات الحذف والاحتفاظ، ونقطة واضحة يجب عندها تعطيله أو استبداله.

الأسئلة المتكررة

هل LSTM دائمًا أفضل من RNN أساسي؟

لا. تساعد البوابات في حل العديد من مشاكل الاعتمادات الطويلة لكنها تضيف حسابًا ومعاملات. قد تكون RNN أساسية كافية للسلاسل القصيرة والبسيطة، وقد تكون بنية أخرى أفضل للسياق الطويل جدًا.

هل يمكن لـ LSTM معالجة تاريخ غير محدود؟

لا. حالتُه ذات سعة محدودة، وتفرض التدرجات وبيانات التدريب حدودًا، ويمكن أن تُستبدل التفاصيل ذات الصلة. يجب قياس أداء السياق الطويل بدلاً من استنتاجه من اسم البنية.

المراجع الأساسية

• Hochreiter and Schmidhuber: Long Short-Term Memory
• PyTorch: LSTM
• Vaswani et al.: Attention Is All You Need