البرمجة اللغوية العصبية ترتفع مع نماذج المحولات | تحليل شامل لـ T5، وBERT، وGPT

شهدت معالجة اللغات الطبيعية (NLP) بعضًا من أكثر الإنجازات تأثيرًا في السنوات الأخيرة، ويرجع ذلك أساسًا إلى بنية المحولات. ولم تعمل هذه الإنجازات على تعزيز قدرات الآلات على فهم وتوليد اللغة البشرية فحسب، بل أعادت أيضًا تعريف مشهد العديد من التطبيقات، بدءًا من محركات البحث وحتى الذكاء الاصطناعي للمحادثة.

لكي نقدر أهمية المحولات بشكل كامل، يجب علينا أولاً أن ننظر إلى الوراء إلى أسلافها ولبنات البناء التي وضعت الأساس لهذه الهندسة المعمارية الثورية.

تقنيات البرمجة اللغوية العصبية المبكرة: الأسس قبل المحولات

تضمينات الكلمات: من One-Hot إلى Word2Vec

في مناهج البرمجة اللغوية العصبية التقليدية، كان تمثيل الكلمات غالبًا حرفيًا ويفتقر إلى أي شكل من أشكال الفهم الدلالي أو النحوي. يعد التشفير السريع مثالًا رئيسيًا على هذا القيد.

التشفير الساخن هو عملية يتم من خلالها تحويل المتغيرات الفئوية إلى تمثيل متجه ثنائي حيث يكون بت واحد فقط "ساخنًا" (مضبوطًا على 1) بينما تكون جميع البتات الأخرى "باردة" (مضبوطة على 0). في سياق البرمجة اللغوية العصبية، يتم تمثيل كل كلمة في المفردات بواسطة متجهات واحدة ساخنة حيث يكون كل متجه هو حجم المفردات، ويتم تمثيل كل كلمة بواسطة متجه يحتوي على جميع الأصفار وواحد في الفهرس المقابل لتلك الكلمة في قائمة المفردات.

مثال على ترميز One-Hot

لنفترض أن لدينا مفردات صغيرة مكونة من خمس كلمات فقط: ["ملك"، "ملكة"، "رجل"، "امرأة"، "طفل"]. ستبدو متجهات التشفير الساخنة لكل كلمة كما يلي:

• "الملك" -> [1، 0، 0، 0، 0]
• "الملكة" -> [0، 1، 0، 0، 0]
• "رجل" -> [0، 0، 1، 0، 0]
• "امرأة" -> [0، 0، 0، 1، 0]
• "الطفل" -> [0، 0، 0، 0، 1]

التمثيل الرياضي

إذا دلنا $V$ بحجم مفرداتنا و wiâ € < كتمثيل متجه واحد ساخن للكلمة i في المفردات، والتمثيل الرياضي لـ wiâ € < سيكون:

wiâ € <=[0,0,...,1,...,0,0] $\text{حيث يكون الموضع i هو 1 وجميع المواضع الأخرى هي 0.}$

الجانب السلبي الرئيسي للتشفير الساخن هو أنه يعامل كل كلمة ككيان معزول، لا علاقة له بالكلمات الأخرى. وينتج عن ذلك ناقلات متفرقة وعالية الأبعاد لا تلتقط أي معلومات دلالية أو نحوية حول الكلمات.

كان إدخال تضمينات الكلمات، وأبرزها Word2Vec، لحظة محورية في البرمجة اللغوية العصبية. تم تطوير Word2013Vec بواسطة فريق في Google بقيادة توماس ميكولوف في عام 2، وهو يمثل الكلمات في مساحة متجهة كثيفة، ويلتقط علاقات الكلمات النحوية والدلالية بناءً على سياقها داخل مجموعة كبيرة من النص.

على عكس التشفير السريع، ينتج Word2Vec نواقل كثيفة، عادةً بمئات الأبعاد. الكلمات التي تظهر في سياقات مماثلة، مثل "ملك" و"ملكة"، سيكون لها تمثيلات متجهة أقرب إلى بعضها البعض في الفضاء المتجه.

للتوضيح، لنفترض أننا قمنا بتدريب نموذج Word2Vec ونقوم الآن بتمثيل الكلمات في مساحة افتراضية ثلاثية الأبعاد. التضمينات (التي عادة ما تكون أكثر من ثلاثية الأبعاد ولكن تم تقليلها هنا للتبسيط) قد تبدو كما يلي:

• "الملك" -> [0.2، 0.1، 0.9]
• "الملكة" -> [0.21، 0.13، 0.85]
• "رجل" -> [0.4، 0.3، 0.2]
• "امرأة" -> [0.41، 0.33، 0.27]
• "الطفل" -> [0.5، 0.5، 0.1]

على الرغم من أن هذه الأرقام وهمية، إلا أنها توضح كيف أن الكلمات المتشابهة لها نواقل مماثلة.

التمثيل الرياضي

إذا قمنا بتمثيل تضمين Word2Vec للكلمة كـ vwâ € <، ومساحة التضمين لدينا لديها $d$ الأبعاد إذن vwâ € < يمكن تمثيلها على النحو التالي:

vwâ € <=[v1â € <,v2â € <,...,vdâ € <] حيث كل viâ € < هو رقم فاصلة عائمة يمثل سمة من سمات الكلمة في مساحة التضمين.

العلاقات الدلالية

يمكن لـ Word2Vec أيضًا التقاط العلاقات المعقدة، مثل القياسات. على سبيل المثال، العلاقة الشهيرة التي تم التقاطها بواسطة تضمينات Word2Vec هي:

$\text{المتجه ("الملك") - المتجه ("الرجل") + المتجه ("المرأة")}\approx \text{ناقل ("الملكة")}$

يعد هذا ممكنًا لأن Word2Vec يقوم بضبط متجهات الكلمات أثناء التدريب بحيث يتم وضع الكلمات التي تشترك في سياقات مشتركة في المجموعة بشكل قريب في مساحة المتجهات.

يستخدم Word2Vec بنيتين رئيسيتين لإنتاج تمثيل موزع للكلمات: حقيبة الكلمات المستمرة (CBOW) وSkip-Gram. يتنبأ نظام CBOW بالكلمة المستهدفة من كلمات السياق المحيطة بها، بينما يقوم Skip-Gram بالعكس، حيث يتنبأ بكلمات السياق من الكلمة المستهدفة. سمح هذا للآلات بالبدء في فهم استخدام الكلمات ومعناها بطريقة أكثر دقة.

نمذجة التسلسل: RNNs وLSTMs

مع تقدم المجال، تحول التركيز نحو فهم تسلسل النص، وهو أمر بالغ الأهمية لمهام مثل الترجمة الآلية، وتلخيص النص، وتحليل المشاعر. أصبحت الشبكات العصبية المتكررة (RNNs) حجر الزاوية لهذه التطبيقات نظرًا لقدرتها على التعامل مع البيانات المتسلسلة من خلال الحفاظ على شكل من أشكال الذاكرة.

ومع ذلك، لم تكن شبكات RNN خالية من القيود. لقد عانوا من التبعيات طويلة المدى بسبب مشكلة التدرج المتلاشي، حيث تُفقد المعلومات خلال تسلسلات طويلة، مما يجعل من الصعب معرفة الارتباطات بين الأحداث البعيدة.

شبكات الذاكرة الطويلة قصيرة المدى (LSTMs)، تم تقديمها بواسطة سيب هوخريتر ويورغن شميدهوبر في عام 1997، تناول هذه المشكلة ببنية أكثر تعقيدًا. تحتوي LSTMs على بوابات تتحكم في تدفق المعلومات: بوابة الإدخال، وبوابة النسيان، وبوابة الإخراج. تحدد هذه البوابات المعلومات التي يتم تخزينها أو تحديثها أو التخلص منها، مما يسمح للشبكة بالحفاظ على التبعيات طويلة المدى وتحسين الأداء بشكل ملحوظ في مجموعة واسعة من مهام البرمجة اللغوية العصبية.

فيما يلي مقارنة أكثر تعمقًا لنماذج T5 وBERT وGPT عبر أبعاد مختلفة:

1. الترميز والمفردات

• بيرت: يستخدم ترميز WordPiece بحجم مفردات يبلغ حوالي 30,000 رمزًا.
• GPT: يستخدم تشفير زوج البايت (BPE) بحجم كبير من المفردات (على سبيل المثال، GPT-3 لديه حجم مفردات يبلغ 175,000).
• T5: يستخدم ترميز SentencePiece الذي يتعامل مع النص على أنه خام ولا يتطلب كلمات مقسمة مسبقًا.

2. أهداف ما قبل التدريب

• بيرت: نمذجة اللغة المقنعة (MLM) والتنبؤ بالجمل التالية (NSP).
• GPT: نمذجة اللغة السببية (CLM)، حيث يتنبأ كل رمز بالرمز التالي في التسلسل.
• T5: يستخدم هدف تقليل الضوضاء حيث يتم استبدال مساحات النص العشوائية برمز مميز ويتعلم النموذج إعادة بناء النص الأصلي.

3. تمثيل المدخلات

• بيرت: يتم دمج الرمز المميز والقطعة والتضمين الموضعي لتمثيل الإدخال.
• GPT: يتم دمج التضمينات الرمزية والموضعية (لا توجد عمليات تضمين مقطعية لأنها غير مصممة لمهام أزواج الجمل).
• T5: تضمينات الرمز المميز فقط مع الترميزات الموضعية النسبية المضافة أثناء عمليات الانتباه.

4. آلية الانتباه

• بيرت: يستخدم الترميزات الموضعية المطلقة ويسمح لكل رمز مميز بالاهتمام بجميع الرموز المميزة على اليسار واليمين (الانتباه ثنائي الاتجاه).
• GPT: يستخدم أيضًا الترميزات الموضعية المطلقة ولكنه يقيد الانتباه إلى الرموز المميزة السابقة فقط (الانتباه أحادي الاتجاه).
• T5: ينفذ متغيرًا للمحول الذي يستخدم تحيزات الموضع النسبي بدلاً من التضمين الموضعي.

5. العمارة النموذجية

• بيرت: بنية التشفير فقط مع طبقات متعددة من كتل المحولات.
• GPT: بنية وحدة فك التشفير فقط، وهي أيضًا ذات طبقات متعددة ولكنها مصممة للمهام التوليدية.
• T5: بنية التشفير وفك التشفير، حيث يتكون كل من التشفير ووحدة فك التشفير من طبقات المحولات.

6. نهج الضبط الدقيق

• بيرت: يتكيف مع الحالات المخفية النهائية للنموذج المُدرب مسبقًا للمهام النهائية مع طبقات إخراج إضافية حسب الحاجة.
• GPT: يضيف طبقة خطية أعلى المحول ويضبط المهمة النهائية باستخدام نفس هدف نمذجة اللغة السببية.
• T5: يحول جميع المهام إلى تنسيق نص إلى نص، حيث يتم ضبط النموذج بدقة لإنشاء التسلسل المستهدف من تسلسل الإدخال.

7. بيانات التدريب وحجمه

• بيرت: تدرب على BooksCorpus ويكيبيديا الإنجليزية.
• GPT: تم تدريب GPT-2 وGPT-3 على مجموعات بيانات متنوعة مستخرجة من الإنترنت، مع تدريب GPT-3 على مجموعة أكبر تسمى Common Crawl.
• T5: تم التدريب على "Colossal Clean Crawled Corpus"، وهي نسخة كبيرة ونظيفة من Common Crawl.

8. التعامل مع السياق وثنائية الاتجاه

• بيرت: مصممة لفهم السياق في كلا الاتجاهين في وقت واحد.
• GPT: تدرب على فهم السياق في الاتجاه الأمامي (من اليسار إلى اليمين).
• T5: يمكن وضع نموذج للسياق ثنائي الاتجاه في جهاز التشفير وأحادي الاتجاه في جهاز فك التشفير، وهو مناسب لمهام التسلسل إلى التسلسل.

9. القدرة على التكيف مع المهام النهائية

• بيرت: يتطلب طبقات رأس خاصة بالمهمة وضبطًا دقيقًا لكل مهمة في المراحل النهائية.
• GPT: منتج بطبيعته ويمكن مطالبته بأداء المهام بأقل قدر من التغييرات في بنيته.
• T5: يتعامل مع كل مهمة على أنها مشكلة "تحويل نص إلى نص"، مما يجعلها مرنة بطبيعتها وقابلة للتكيف مع المهام الجديدة.

10. قابلية التفسير وقابلية الشرح

• بيرت: توفر الطبيعة ثنائية الاتجاه تضمينات سياقية غنية ولكن قد يكون من الصعب تفسيرها.
• GPT: قد يكون السياق أحادي الاتجاه أكثر وضوحًا في المتابعة ولكنه يفتقر إلى عمق السياق ثنائي الاتجاه.
• T5: يوفر إطار عمل التشفير وفك التشفير فصلًا واضحًا لخطوات المعالجة ولكن يمكن أن يكون التحليل معقدًا نظرًا لطبيعته التوليدية.

تأثير المحولات على البرمجة اللغوية العصبية

لقد أحدثت المحولات ثورة في مجال البرمجة اللغوية العصبية من خلال تمكين النماذج من معالجة تسلسل البيانات بالتوازي، مما أدى إلى زيادة كبيرة في سرعة وكفاءة تدريب الشبكات العصبية الكبيرة. لقد قدموا آلية الاهتمام الذاتي، مما يسمح للنماذج بتقييم أهمية كل جزء من بيانات الإدخال، بغض النظر عن المسافة داخل التسلسل. وأدى ذلك إلى تحسينات غير مسبوقة في مجموعة واسعة من مهام البرمجة اللغوية العصبية، بما في ذلك على سبيل المثال لا الحصر الترجمة والإجابة على الأسئلة وتلخيص النص.

تستمر الأبحاث في توسيع حدود ما يمكن أن تحققه النماذج المعتمدة على المحولات. إن GPT-4 ومعاصريه ليسوا فقط أكبر حجمًا ولكنهم أيضًا أكثر كفاءة وقدرة بسبب التقدم في الهندسة المعمارية وأساليب التدريب. تقنيات مثل التعلم البسيط، حيث تؤدي النماذج المهام مع الحد الأدنى من الأمثلة، وطرق التعلم النقلي الأكثر فعالية، هي في طليعة الأبحاث الحالية.

تتعلم نماذج اللغة مثل تلك المعتمدة على المحولات من البيانات التي يمكن أن تحتوي على تحيزات. ويعمل الباحثون والممارسون بنشاط على تحديد هذه التحيزات وفهمها والتخفيف منها. تتراوح التقنيات من مجموعات بيانات التدريب المنسقة إلى تعديلات ما بعد التدريب التي تهدف إلى العدالة والحياد.