صعود معالجة اللغة الطبيعية مع نماذج الترانسفورمر | تحليل شامل ل T5 و BERT و GPT

شهدت معالجة اللغة الطبيعية بعض الإنجازات الأكثر تأثيرا في السنوات الأخيرة، ويرجع الفضل في ذلك إلى حد كبير إلى معمارية الترانسفورمر. وقد أدت هذه الإنجازات إلى تحسين قدرات الآلات على فهم اللغة البشرية وتوليدها، وأعادت تعريف مشهد العديد من التطبيقات، من محركات البحث إلى الذكاء الاصطناعي المحادثي.

للتعمق في أهمية الترانسفورمر، يجب أن ننظر إلى السابقين والعناصر الأساسية التي وضعت الأسس لهذه المعمارية الثورية.

تقنيات معالجة اللغة الطبيعية المبكرة: الأسس قبل الترانسفورمر

التضمين الكلمة: من التشفير الثنائي إلى Word2Vec

في النهج التقليدية لمعالجة اللغة الطبيعية، كانت تمثيل الكلمات غالباً حرفياً وفتقدها أي شكل من أشكال الفهم الدلالي أو النحوي. التشفير الثنائي هو مثال على هذا القصور.

التشفير الثنائي هو عملية تحويل المتغيرات التصنيفية إلى تمثيل متجه ثنائي حيث يكون فقط بت واحد “ساخن” (محدد إلى 1) بينما البتات الأخرى “باردة” (محددة إلى 0). في سياق معالجة اللغة الطبيعية، يتم تمثيل كل كلمة في القاموس bằng متجهات ثنائية حيث يكون كل متجه بحجم القاموس، وتمثل كل كلمة بمتجه يحتوي على أصفار و 1 في الفهرس الموافق للكلمة في قائمة القاموس.

مثال على التشفير الثنائي

افترض أن لدينا قاموسا صغيرا يحتوي على خمس كلمات فقط: [“king”, “queen”, “man”, “woman”, “child”]. سيكون تمثيل التشفير الثنائي للكلمات على النحو التالي:

• “king” -> [1, 0, 0, 0, 0]
• “queen” -> [0, 1, 0, 0, 0]
• “man” -> [0, 0, 1, 0, 0]
• “woman” -> [0, 0, 0, 1, 0]
• “child” -> [0, 0, 0, 0, 1]

التمثيل الرياضي

إذا أسمينا $V$ بحجم قاموسنا و wi​ بتمثيل المتجه الثنائي للكلمة i في القاموس، فإن التمثيل الرياضي لـ wi​ سيكون:

wi​=[0,0,…,1,…,0,0] $\text{حيث يكون الموضع i هو 1 والباقي 0.}$

الجزء السلبي الرئيسي للتشفير الثنائي هو أنه يعامل كل كلمة على أنها كيان معزول، دون أي علاقة بالكلمات الأخرى. مما يؤدي إلى متجهات متفرقة وأبعاد عالية لا تحمل أي معلومات دلالية أو نحوية حول الكلمات.

كانت إدخال التضمين الكلمة، ولا سيما Word2Vec، لحظة حاسمة في معالجة اللغة الطبيعية. تم تطوير Word2Vec بواسطة فريق في جوجل بقيادة توماس ميكولوف في عام 2013، وتمثل الكلمات في فضاء متجه كثيف، مما يلتقط العلاقات النحوية والدلالية للكلمات بناءً على سياقها داخل مجموعات كبيرة من النص.

على عكس التشفير الثنائي، ينتج Word2Vec متجهات كثيفة، عادةً بأبعاد مئوية. الكلمات التي تظهر في سياقات مشابهة، مثل “king” و “queen”، ستكون تمثيلاتها المتجهية أقرب إلى بعضها البعض في فضاء المتجه.

للتوضيح، لنفترض أننا قمنا بتدريب نموذج Word2Vec وتمثيل الكلمات في فضاء ثلاثي الأبعاد افتراضي (مختزل هنا من أجل البساطة). قد يبدو التضمين على النحو التالي:

• “king” -> [0.2, 0.1, 0.9]
• “queen” -> [0.21, 0.13, 0.85]
• “man” -> [0.4, 0.3, 0.2]
• “woman” -> [0.41, 0.33, 0.27]
• “child” -> [0.5, 0.5, 0.1]

أرقام هذه الأمثلة خيالية، لكنها توضح كيف تكون الكلمات الشبيهة تمثيلات متجهية شبيهة.

التمثيل الرياضي

إذا أسمينا تمثيل Word2Vec للكلمة vw​، وافترضنا أن فضاء التضمين له $d$ أبعاد، فإن vw​ يمكن تمثيله على النحو:

vw​=[v1​,v2​,…,vd​] حيث يكون كل vi​ رقمًا عشريًا يمثل ميزة من ميزات الكلمة في فضاء التضمين.

العلاقات الدلالية

Word2Vec يمكنه حتى التقاط علاقات معقدة، مثل القواس. على سبيل المثال، العلاقة الشهيرة التي يتم التقاطها بواسطة Word2Vec هي:

$\text{متجه(“king”) – متجه(“man”) + متجه(“woman”)}\approx \text{متجه(“queen”)}$

هذا ممكن لأن Word2Vec يعدل متجهات الكلمات أثناء التدريب بحيث تكون الكلمات التي تشترك في سياقات مشتركة في النص موضعة بشكل قريب في فضاء المتجه.

يستخدم Word2Vec اثنين من المعماريات الرئيسية لإنتاج تمثيل موزع للكلمات: Continuous Bag-of-Words (CBOW) و Skip-Gram. CBOW يتنبأ بكلمة الهدف من كلمات السياق المحيطة بها، بينما يفعل Skip-Gram العكس، حيث يتنبأ بكلمات السياق من كلمة الهدف. هذا سمح للأجهزة بالبدء في فهم استخدام الكلمات ومعناها بطريقة أكثر دقة.

النمذجة التسلسلية: الشبكات العصبية المتكررة والذاكرة القصيرة الأمد

随着 تقدم المجال، تحول التركيز نحو فهم تسلسلات النص، وهو أمر حيوي للمهام مثل الترجمة الآلية و تلخيص النص وتحليل المشاعر. أصبحت الشبكات العصبية المتكررة (RNNs) حجر الزاوية لهذه التطبيقات بسبب قدرتها على التعامل مع البيانات التسلسلية من خلال الحفاظ على نوع من الذاكرة.

然而، واجهت RNNs قيودا. كانت تعاني من الاعتماديات البعيدة المدى بسبب مشكلة الانحدار المتلاشي، حيث تفقد المعلومات عبر تسلسلات طويلة، مما يجعل من الصعب تعلم العلاقات بين أحداث بعيدة.

أدخلت شبكات الذاكرة القصيرة الأمد (LSTM) من قبل Sepp Hochreiter و Jürgen Schmidhuber في عام 1997 حلولا لهذه المشكلة بمعمارية أكثر تطورا. تتميز LSTMs بأبواب تحكم تدفق المعلومات: البوابة الداخلة، بوابة النسيان، والبوابة الخارجة. هذه الأبواب تحدد ما المعلومات يتم تخزينها أو تحديثها أو إهمالها، مما يسمح للشبكة بالحفاظ على الاعتماديات البعيدة المدى وتحسين الأداء بشكل كبير على مجموعة واسعة من مهام معالجة اللغة الطبيعية.

معمارية الترانسفورمر

خضعت معالجة اللغة الطبيعية لتغيير جذري مع إدخال نموذج الترانسفورمر في الورقة الهامة “الانتباه هو كل ما تحتاجه” بواسطة Vaswani وآخرون في عام 2017. تختلف معمارية الترانسفورمر عن المعالجة التسلسلية لل RNNs و LSTMs، وتستخدم آلية تسمى “الانتباه الذاتي” لتقييم تأثير أجزاء مختلفة من البيانات الإدخالية.

الفكرة الأساسية للترانسفورمر هي أنه يمكنه معالجة جميع البيانات الإدخالية في وقت واحد، بدلاً من معالجتها تسلسليا. هذا يسمح بمزيد من التموازي، ونتيجة لذلك، زيادة كبيرة في سرعة التدريب. آلية الانتباه الذاتي تمكن النموذج من التركيز على أجزاء مختلفة من النص أثناء معالجته، وهو أمر حيوي لفهم السياق والعلاقات بين الكلمات، بغض النظر عن موقعها في النص.

المُشَفر والمُفَسَّر في الترانسفورمر:

في نموذج الترانسفورمر الأصلي، كما هو موضح في الورقة “الانتباه هو كل ما تحتاجه” بواسطة Vaswani وآخرون، يتم تقسيم المعمارية إلى جزأين رئيسيين: المُشَفر والمُفَسَّر. كلا الجزئين يتكون من طبقات لها نفس الهيكل العام ولكن تخدم أغراضا مختلفة.

المُشَفر:

• الدور: دور المُشَفر هو معالجة البيانات الإدخالية وإنشاء تمثيل يلتقط العلاقات بين العناصر (مثل الكلمات في الجملة). هذه الجزء من الترانسفورمر لا يولد أي محتوى جديد؛ إنه ببساطة يتحول الإدخال إلى حالة يمكن للمُفَسَّر استخدامها.
• الوظيفة: تحتوي كل طبقة من طبقات المُشَفر على آليات انتباه ذاتي وشبكات عصبية متجانسة. آلية الانتباه الذاتي تسمح لكل موضع في المُشَفر بالانتباه إلى جميع المواضع في الطبقة السابقة من المُشَفر—وهو ما يمكنه من التعلم السياق حول كل كلمة.
• التضمين السياقي: مخرج المُشَفر هو سلسلة من المتجهات التي تمثل تسلسل الإدخال في فضاء عالي الأبعاد. هذه المتجهات غالباً ما يشار إليها بالتضمين السياقي لأنها ترمز ليس فقط الكلمات الفردية ولكن أيضا سياقها داخل الجملة.

المُفَسَّر:

• الدور: دور المُفَسَّر هو توليد البيانات الإدخالية بشكل تسلسلي، جزءاً تلو الآخر، بناءً على ما يتلقاه من المُشَفر وما أنتج حتى الآن. تم تصميمه لمهام مثل توليد النص، حيث يكون ترتيب الإنتاج حاسما.
• الوظيفة: تحتوي طبقات المُفَسَّر أيضا على آليات انتباه ذاتي، ولكنها مخفية لمنع المواضع من الانتباه إلى المواضع اللاحقة. هذا يضمن أن التنبؤ لموضع معين يمكن أن يعتمد فقط على الإدخالات المعروفة في المواضع السابقة. بالإضافة إلى ذلك، تحتوي طبقات المُفَسَّر على آلية انتباه ثانية تنتبها إلى مخرج المُشَفر، مما يدمج السياق من الإدخال في عملية التوليد.
• القدرة على التوليد التسلسلي: هذا يشير إلى قدرة المُفَسَّر على توليد تسلسل جزءاً تلو الآخر، مبنياً على ما أنتج حتى الآن. على سبيل المثال، عند توليد نص، يتنبأ المُفَسَّر بالكلمة التالية بناءً على السياق الذي قدمه المُشَفر وتسلسل الكلمات التي أنتجها حتى الآن.

كل من هذه الطبقات الفرعية داخل المُشَفر والمُفَسَّر حاسمة لقدرة النموذج على التعامل مع مهام معالجة اللغة الطبيعية المعقدة. آلية الانتباه المتعدد، على وجه الخصوص، تسمح للنموذج بالتركيز انتقائيا على أجزاء مختلفة من التسلسل، مما يوفر فهما غنيا للسياق.

النماذج الشائعة التي تستخدم الترانسفورمر

بعد نجاح نموذج الترانسفورمر الأولي، حدث انفجار في نماذج جديدة بنيت على معماريته، كل منها يحتوي على ابتكارات وتحسينات خاصة لمهام مختلفة:

BERT (تمثيلات الترانسفورمر ثنائية الاتجاه): تم تقديمه بواسطة جوجل في عام 2018، وثورة في كيفية دمج المعلومات السياقية في تمثيلات اللغة. من خلال التدريب المسبق على корпус كبير من النص مع نموذج لغة مخفي وتنبؤ الجملة التالية، يلتقط BERT سياقات ثنائية الاتجاه غنية ونجح في تحقيق نتائج على مستوى الدولة في مجموعة واسعة من مهام معالجة اللغة الطبيعية.

BERT

T5 (ترانسفورمر النص-لنص): تم تقديمه بواسطة جوجل في عام 2020، يعيد صياغة جميع مهام معالجة اللغة الطبيعية كمسألة نص-لنص، باستخدام تنسيق نصي موحد. هذا النهج يبسط عملية تطبيق النموذج على مجموعة متنوعة من المهام، بما في ذلك الترجمة والتلخيص وإجابة الأسئلة.

هيكل T5

GPT (الترانسفورمر التوليدي المسبق): تم تطويره بواسطة OpenAI، بدأت سلسلة نماذج GPT من GPT-1 ووصلت إلى GPT-4 في عام 2023. يتم تدريب هذه النماذج باستخدام التعلم غير الموجه على كميات هائلة من البيانات النصية وضبط دقيق لمجموعة متنوعة من المهام. قدرتهم على توليد نص متسق وذو صلة سياقيا جعلتهم مؤثرين جدا في التطبيقات الأكاديمية والتجارية للذكاء الاصطناعي.

هيكل GPT

هنا مقارنة أكثر深اسة بين نماذج T5 و BERT و GPT عبر أبعاد مختلفة:

1. التقطيع والقاموس

• BERT: يستخدم تقطيع WordPiece بقاموس يحتوي على حوالي 30,000 رمز.
• GPT: يستخدم التشفير الثنائي للمجموعات مع حجم قاموس كبير (على سبيل المثال، GPT-3 يحتوي على قاموس يضم 175,000 رمز).
• T5: يستخدم تقطيع SentencePiece الذي يعامل النص على أنه نص خام ولا يتطلب كلمات مسبقة القسم.

2. أهداف التدريب المسبق

• BERT: نموذج لغة مخفي وتنبؤ الجملة التالية.
• GPT: نموذج لغة سببي، حيث يتنبأ كل رمز بالرمز التالي في التسلسل.
• T5: يستخدم هدف تشويش حيث يتم استبدال نطاقات نصية عشوائية برمز حارس ويتعلم النموذج إعادة بناء النص الأصلي.

3. تمثيل الإدخال

• BERT: يتم دمج التضمين الرمز، التضمين الجزء، والتضمين الموقع لتمثيل الإدخال.
• GPT: يتم دمج التضمين الرمز والتضمين الموقع (لا تضمين جزء لأنها لا تقوم بمهام أزواج الجمل).
• T5: فقط التضمين الرمز مع إضافات التضمين الموقع النسبي أثناء عمليات الانتباه.

4. آلية الانتباه

• BERT: يستخدم التضمين الموقع المطلق ويتاح لكل رمز الانتباه إلى جميع الرموز إلى اليسار واليمين (انتباه ثنائي الاتجاه).
• GPT: يستخدم أيضا التضمين الموقع المطلق، لكنه يقيّد الانتباه بالرموز السابقة فقط (انتباه أحادي الاتجاه).
• T5: يطبق نسخة من الترانسفورمر التي تستخدم تحيزات موقعية نسبية بدلاً من التضمين الموقع.

5. هيكل النموذج

• BERT: هيكل مشفر فقط مع طبقات متعددة من كتلة الترانسفورمر.
• GPT: هيكل مُفَسَّر فقط، أيضا مع طبقات متعددة ولكن مصممة لمهام توليدية.
• T5: هيكل مشفر-مُفَسَّر، حيث يتكون كل من المشفر والمُفَسَّر من طبقات الترانسفورمر.

6. نهج الضبط الدقيق

• BERT: يعدل الحالات الخفية النهائية للنموذج المسبق لتحقيق مهام لاحقة مع طبقات إخراج إضافية حسب الحاجة.
• GPT: يضيف طبقة خطية فوق الترانسفورمر ويعمل ضبط دقيق على المهمة اللاحقة باستخدام نفس هدف نموذج اللغة السببي.
• T5: يحول جميع المهام إلى تنسيق نص-لنص، حيث يتم ضبط النموذج لتوليد تسلسل الهدف من تسلسل الإدخال.

7. بيانات التدريب والقياس

• BERT: تم تدريبه على BooksCorpus وويكيبيديا الإنجليزية.
• GPT: تم تدريب GPT-2 و GPT-3 على مجموعات بيانات مستخرجة من الإنترنت، مع تدريب GPT-3 على مجموعة أكبر تسمى Common Crawl.
• T5: تم تدريبه على “Corpus Clean Colossal Crawled”، وهو نسخة كبيرة ونظيفة من Common Crawl.

8. التعامل مع السياق والاتجاهين

• BERT: مصمم لفهم السياق في كلا الاتجاهين في نفس الوقت.
• GPT: مدرب على فهم السياق في اتجاه واحد (من اليسار إلى اليمين).
• T5: يمكنه نمذجة السياق ثنائي الاتجاه في المشفر ووحيد الاتجاه في المُفَسَّر، مناسب لمهام التسلسل-للتسلسل.

9. التكيف مع المهام اللاحقة

• BERT: يتطلب طبقات رأس خاصة للمهمة وضبط دقيق لكل مهمة لاحقة.
• GPT: هو توليدي بطبيعته ويمكن تحفيزه على أداء مهام مع تغييرات طفيفة في هيكله.
• T5: يعامل كل مهمة على أنها “نص-لنص”، مما يجعله مرنا وتكيفيا مع مهام جديدة.

10. القابلية للتفسير والتفسير

• BERT: طبيعة الانتباه ثنائي الاتجاه توفر تضمينات سياقية غنية ولكن قد تكون أكثر صعوبة في التفسير.
• GPT: السياق أحادي الاتجاه قد يكون أكثر وضوحا في المتابعة ولكنه يفتقر إلى عمق السياق ثنائي الاتجاه.
• T5: إطار المشفر-المُفَسَّر يوفر فصل واضح للخطوات المعالجية ولكنه قد يكون معقدا في التحليل بسبب طبيعته التوليدية.

تأثير الترانسفورمر على معالجة اللغة الطبيعية

أحدث الترانسفورمر ثورة في مجال معالجة اللغة الطبيعية من خلال تمكين النماذج من معالجة تسلسلات البيانات في متوازي، مما زاد بشكل كبير من سرعة وэффективية تدريب الشبكات العصبية الكبيرة. أدخل آلية الانتباه الذاتي، مما سمح للنماذج بتحديد أهمية كل جزء من البيانات الإدخالية، بغض النظر عن المسافة داخل التسلسل. أدى ذلك إلى تحسينات غير مسبوقة في مجموعة واسعة من مهام معالجة اللغة الطبيعية، بما في ذلك الترجمة وإجابة الأسئلة و تلخيص النص.

لا يزال البحث يوسع حدود ما يمكن أن تحققه نماذج الترانسفورمر. GPT-4 وأقرانه ليسوا فقط أكبر في الحجم ولكن أيضا أكثر كفاءة وقدرة بفضل التطورات في الهيكل وطرق التدريب. تقنيات مثل التعلم القليل، حيث يقوم النموذج بالمهام مع أمثلة قليلة، وطرق نقل التعلم أكثر فعالية، هي في طليعة البحث الحالي.

النماذج اللغوية مثل تلك التي تستند إلى الترانسفورمر تتعلم من البيانات التي يمكن أن تحتوي على تحيزات. الباحثون والممارسون يعملون بنشاط على تحديد وفهم وتخفيف هذه التحيزات. تشمل التقنيات مجموعات بيانات التدريب المحددة إلى التعديلات بعد التدريب التي تهدف إلى العدالة والحيادية.