نماذج ومنصات الذكاء الاصطناعي
تطور معالجة اللغة الطبيعية بفضل نماذج الترانسفورمر: تحليل شامل لـ T5 وBERT وGPT
النقاط الرئيسيةاستبدلت بنية المحول (Transformer) المعالجة التسلسلية للشبكات العصبية المتكررة (RNN)…
عرض المزيد
- استبدلت بنية المحول (Transformer) المعالجة التسلسلية للشبكات العصبية المتكررة (RNN) بالانتباه الذاتي المتوازي، مما مكّن من تدريب أسرع وفهم أعمق للسياق.
- يُحقق تصميم المُشفر ثنائي الاتجاه في نموذج BERT سياقاً غنياً من جانبي الكلمة، مما أحدث ثورة في تمثيل اللغة للمهام المختلفة.
- يعيد نموذج T5 صياغة جميع مهام معالجة اللغة الطبيعية إلى تنسيق موحد من نص إلى نص، مما يبسط تكييف النموذج عبر تطبيقات متنوعة.
شهدت معالجة اللغة الطبيعية بعض الإنجازات الأكثر تأثيرا في السنوات الأخيرة، ويرجع الفضل في ذلك إلى حد كبير إلى معمارية الترانسفورمر. وقد أدت هذه الإنجازات إلى تحسين قدرات الآلات على فهم اللغة البشرية وتوليدها، وأعادت تعريف مشهد العديد من التطبيقات، من محركات البحث إلى الذكاء الاصطناعي المحادثي.
للتعمق في أهمية الترانسفورمر، يجب أن ننظر إلى السابقين والعناصر الأساسية التي وضعت الأسس لهذه المعمارية الثورية.
تقنيات معالجة اللغة الطبيعية المبكرة: الأسس قبل الترانسفورمر
تضمين الكلمات: من الترميز أحادي التنشيط (one-hot) إلى Word2Vec
في النهج التقليدية لمعالجة اللغة الطبيعية، كان تمثيل الكلمات غالبًا حرفيًا ويفتقر إلى أي شكل من أشكال الفهم الدلالي أو النحوي. الترميز أحادي التنشيط (one-hot) هو مثال على هذا القصور.
الترميز أحادي التنشيط (one-hot) هو عملية تحويل المتغيرات التصنيفية إلى تمثيل متجه ثنائي حيث يكون فقط بت واحد “ساخن” (محدد إلى 1) بينما البتات الأخرى “باردة” (محددة إلى 0). في سياق معالجة اللغة الطبيعية، يتم تمثيل كل كلمة في القاموس بمتجهات ثنائية حيث يكون كل متجه بحجم القاموس، وتمثل كل كلمة بمتجه يحتوي على أصفار و 1 في الفهرس الموافق للكلمة في قائمة القاموس.
مثال على الترميز أحادي التنشيط (one-hot)
افترض أن لدينا قاموسا صغيرا يحتوي على خمس كلمات فقط: [“king”, “queen”, “man”, “woman”, “child”]. سيكون تمثيل الترميز أحادي التنشيط (one-hot) للكلمات على النحو التالي:
- “king” -> [1, 0, 0, 0, 0]
- “queen” -> [0, 1, 0, 0, 0]
- “man” -> [0, 0, 1, 0, 0]
- “woman” -> [0, 0, 0, 1, 0]
- “child” -> [0, 0, 0, 0, 1]
التمثيل الرياضي
إذا أسمينا بحجم قاموسنا و بتمثيل المتجه الثنائي للكلمة i في القاموس، فإن التمثيل الرياضي لـ سيكون:
حيث يكون الموضع i هو 1 والباقي 0.
الجزء السلبي الرئيسي للتشفير الثنائي هو أنه يعامل كل كلمة على أنها كيان معزول، دون أي علاقة بالكلمات الأخرى. مما يؤدي إلى متجهات متفرقة وأبعاد عالية لا تحمل أي معلومات دلالية أو نحوية حول الكلمات.
كان إدخال تضمين الكلمات، ولا سيما Word2Vec، لحظة حاسمة في معالجة اللغة الطبيعية. تم تطوير Word2Vec بواسطة فريق في جوجل (GOOGL ) بقيادة توماس ميكولوف في عام 2013، وتمثل الكلمات في فضاء متجه كثيف، مما يلتقط العلاقات النحوية والدلالية للكلمات بناءً على سياقها داخل مجموعات كبيرة من النص.
على عكس الترميز أحادي التنشيط (one-hot)، ينتج Word2Vec متجهات كثيفة، عادةً بمئات الأبعاد. الكلمات التي تظهر في سياقات مشابهة، مثل “king” و “queen”، ستكون تمثيلاتها المتجهية أقرب إلى بعضها البعض في فضاء المتجه.
للتوضيح، لنفترض أننا قمنا بتدريب نموذج Word2Vec وتمثيل الكلمات في فضاء ثلاثي الأبعاد افتراضي (مختزل هنا من أجل البساطة). قد يبدو التضمين على النحو التالي:
- “king” -> [0.2, 0.1, 0.9]
- “queen” -> [0.21, 0.13, 0.85]
- “man” -> [0.4, 0.3, 0.2]
- “woman” -> [0.41, 0.33, 0.27]
- “child” -> [0.5, 0.5, 0.1]
أرقام هذه الأمثلة خيالية، لكنها توضح كيف تكون الكلمات الشبيهة تمثيلات متجهية شبيهة.
التمثيل الرياضي
إذا أسمينا تمثيل Word2Vec للكلمة ، وافترضنا أن فضاء التضمين له أبعاد، فإن يمكن تمثيله على النحو:
العلاقات الدلالية
Word2Vec يمكنه حتى التقاط علاقات معقدة، مثل علاقات التشابه القياسي. على سبيل المثال، العلاقة الشهيرة التي يتم التقاطها بواسطة Word2Vec هي:
متجه(“king”) – متجه(“man”) + متجه(“woman”)≈متجه(“queen”)
هذا ممكن لأن Word2Vec يعدل متجهات الكلمات أثناء التدريب بحيث تكون الكلمات التي تشترك في سياقات مشتركة في النص موضعة بشكل قريب في فضاء المتجه.
يستخدم Word2Vec اثنين من المعماريات الرئيسية لإنتاج تمثيل موزع للكلمات: Continuous Bag-of-Words (CBOW) و Skip-Gram. CBOW يتنبأ بكلمة الهدف من كلمات السياق المحيطة بها، بينما يفعل Skip-Gram العكس، حيث يتنبأ بكلمات السياق من كلمة الهدف. هذا سمح للأجهزة بالبدء في فهم استخدام الكلمات ومعناها بطريقة أكثر دقة.
النمذجة التسلسلية: الشبكات العصبية المتكررة والذاكرة الطويلة قصيرة الأمد
مع تقدم المجال، تحول التركيز نحو فهم تسلسلات النص، وهو أمر حيوي للمهام مثل الترجمة الآلية و تلخيص النص وتحليل المشاعر. أصبحت الشبكات العصبية المتكررة (RNNs) حجر الزاوية لهذه التطبيقات بسبب قدرتها على التعامل مع البيانات التسلسلية من خلال الحفاظ على نوع من الذاكرة.
ومع ذلك، واجهت RNNs قيودا. كانت تعاني من الاعتماديات البعيدة المدى بسبب مشكلة التدرج المتلاشي، حيث تفقد المعلومات عبر تسلسلات طويلة، مما يجعل من الصعب تعلم العلاقات بين أحداث بعيدة.
أدخلت شبكات الذاكرة الطويلة قصيرة الأمد (LSTM) من قبل Sepp Hochreiter و Jürgen Schmidhuber في عام 1997 حلولا لهذه المشكلة بمعمارية أكثر تطورا. تتميز LSTMs بأبواب تحكم تدفق المعلومات: البوابة الداخلة، بوابة النسيان، والبوابة الخارجة. هذه الأبواب تحدد ما المعلومات يتم تخزينها أو تحديثها أو إهمالها، مما يسمح للشبكة بالحفاظ على الاعتماديات البعيدة المدى وتحسين الأداء بشكل كبير على مجموعة واسعة من مهام معالجة اللغة الطبيعية.
معمارية الترانسفورمر
خضعت معالجة اللغة الطبيعية لتغيير جذري مع إدخال نموذج الترانسفورمر في الورقة الهامة “الانتباه هو كل ما تحتاجه” بواسطة Vaswani وآخرون في عام 2017. تختلف معمارية الترانسفورمر عن المعالجة التسلسلية لل RNNs و LSTMs، وتستخدم آلية تسمى “الانتباه الذاتي” لتقييم تأثير أجزاء مختلفة من البيانات الإدخالية.
الفكرة الأساسية للترانسفورمر هي أنه يمكنه معالجة جميع البيانات الإدخالية في وقت واحد، بدلاً من معالجتها تسلسليا. هذا يسمح بمزيد من التموازي، ونتيجة لذلك، زيادة كبيرة في سرعة التدريب. آلية الانتباه الذاتي تمكن النموذج من التركيز على أجزاء مختلفة من النص أثناء معالجته، وهو أمر حيوي لفهم السياق والعلاقات بين الكلمات، بغض النظر عن موقعها في النص.
المُشَفر ووحدة فك الترميز في الترانسفورمر:
في نموذج الترانسفورمر الأصلي، كما هو موضح في الورقة “الانتباه هو كل ما تحتاجه” بواسطة Vaswani وآخرون، يتم تقسيم المعمارية إلى جزأين رئيسيين: المُشَفر ووحدة فك الترميز. كلا الجزئين يتكون من طبقات لها نفس الهيكل العام ولكن تخدم أغراضا مختلفة.
المُشَفر:
- الدور: دور المُشَفر هو معالجة البيانات الإدخالية وإنشاء تمثيل يلتقط العلاقات بين العناصر (مثل الكلمات في الجملة). هذا الجزء من الترانسفورمر لا يولد أي محتوى جديد؛ إنه ببساطة يتحول الإدخال إلى حالة يمكن للمُفَسَّر استخدامها.
- الوظيفة: تحتوي كل طبقة من طبقات المُشَفر على آليات انتباه ذاتي وشبكات عصبية ذات تغذية أمامية. آلية الانتباه الذاتي تسمح لكل موضع في المُشَفر بالانتباه إلى جميع المواضع في الطبقة السابقة من المُشَفر—وهو ما يمكنه من التعلم السياق حول كل كلمة.
- التضمين السياقي: مخرج المُشَفر هو سلسلة من المتجهات التي تمثل تسلسل الإدخال في فضاء عالي الأبعاد. هذه المتجهات غالباً ما يشار إليها بالتضمين السياقي لأنها ترمز ليس فقط الكلمات الفردية ولكن أيضا سياقها داخل الجملة.
وحدة فك الترميز:
- الدور: دور وحدة فك الترميز هو توليد بيانات الخرج بشكل تسلسلي، جزءاً تلو الآخر، بناءً على ما يتلقاه من المُشَفر وما أنتج حتى الآن. تم تصميمه لمهام مثل توليد النص، حيث يكون ترتيب الإنتاج حاسما.
- الوظيفة: تحتوي طبقات وحدة فك الترميز أيضا على آليات انتباه ذاتي، ولكنها مخفية لمنع المواضع من الانتباه إلى المواضع اللاحقة. هذا يضمن أن التنبؤ لموضع معين يمكن أن يعتمد فقط على المخرجات المعروفة في المواضع السابقة. بالإضافة إلى ذلك، تحتوي طبقات وحدة فك الترميز على آلية انتباه ثانية تنتبها إلى مخرج المُشَفر، مما يدمج السياق من الإدخال في عملية التوليد.
- القدرة على التوليد التسلسلي: هذا يشير إلى قدرة وحدة فك الترميز على توليد تسلسل جزءاً تلو الآخر، مبنياً على ما أنتج حتى الآن. على سبيل المثال، عند توليد نص، يتنبأ وحدة فك الترميز بالكلمة التالية بناءً على السياق الذي قدمه المُشَفر وتسلسل الكلمات التي أنتجها حتى الآن.
كل من هذه الطبقات الفرعية داخل المُشَفر ووحدة فك الترميز حاسمة لقدرة النموذج على التعامل مع مهام معالجة اللغة الطبيعية المعقدة. آلية الانتباه متعدد الرؤوس، على وجه الخصوص، تسمح للنموذج بالتركيز انتقائيا على أجزاء مختلفة من التسلسل، مما يوفر فهما غنيا للسياق.
النماذج الشائعة التي تستخدم الترانسفورمر
بعد نجاح نموذج الترانسفورمر الأولي، حدث انفجار في نماذج جديدة بنيت على معماريته، كل منها يحتوي على ابتكارات وتحسينات خاصة لمهام مختلفة:
BERT (تمثيلات المشفر ثنائية الاتجاه من الترانسفورمر): تم تقديمه بواسطة جوجل في عام 2018، وثورة في كيفية دمج المعلومات السياقية في تمثيلات اللغة. من خلال التدريب المسبق على متن كبير من النصوص مع نمذجة لغوية مقنّعة وتنبؤ الجملة التالية، يلتقط BERT سياقات ثنائية الاتجاه غنية ونجح في تحقيق نتائج تضاهي أحدث ما توصل إليه المجال في مجموعة واسعة من مهام معالجة اللغة الطبيعية.
T5 (ترانسفورمر النص-لنص): تم تقديمه بواسطة جوجل في عام 2020، يعيد صياغة جميع مهام معالجة اللغة الطبيعية كمسألة نص-لنص، باستخدام تنسيق نصي موحد. هذا النهج يبسط عملية تطبيق النموذج على مجموعة متنوعة من المهام، بما في ذلك الترجمة والتلخيص وإجابة الأسئلة.
GPT (الترانسفورمر التوليدي المسبق): تم تطويره بواسطة OpenAI، بدأت سلسلة نماذج GPT من GPT-1 ووصلت إلى GPT-4 في عام 2023. يتم تدريب هذه النماذج باستخدام التعلم غير الموجه على كميات هائلة من البيانات النصية وضبط دقيق لمجموعة متنوعة من المهام. قدرتهم على توليد نص متسق وذو صلة سياقيا جعلتهم مؤثرين جدا في التطبيقات الأكاديمية والتجارية للذكاء الاصطناعي.
هنا مقارنة أكثر تعمقًا بين نماذج T5 و BERT و GPT عبر أبعاد مختلفة:
1. التقطيع والقاموس
- BERT: يستخدم تقطيع WordPiece بقاموس يحتوي على حوالي 30,000 رمز.
- GPT: يستخدم ترميز أزواج البايت (BPE) مع حجم قاموس كبير (على سبيل المثال، GPT-3 يحتوي على قاموس يضم 175,000 رمز).
- T5: يستخدم تقطيع SentencePiece الذي يعامل النص على أنه نص خام ولا يتطلب كلمات مسبقة القسم.
2. أهداف التدريب المسبق
- BERT: نمذجة لغوية مقنّعة وتنبؤ الجملة التالية.
- GPT: نموذج لغة سببي، حيث يتنبأ كل رمز بالرمز التالي في التسلسل.
- T5: يستخدم هدف إزالة التشويش حيث يتم استبدال نطاقات نصية عشوائية برمز حارس ويتعلم النموذج إعادة بناء النص الأصلي.
3. تمثيل الإدخال
- BERT: يتم دمج التضمين الرمز، التضمين الجزء، والتضمين الموقع لتمثيل الإدخال.
- GPT: يتم دمج التضمين الرمز والتضمين الموقع (لا تضمين جزء لأنها لا تقوم بمهام أزواج الجمل).
- T5: فقط التضمين الرمز مع إضافات التضمين الموقع النسبي أثناء عمليات الانتباه.
4. آلية الانتباه
- BERT: يستخدم التضمين الموقع المطلق ويتاح لكل رمز الانتباه إلى جميع الرموز إلى اليسار واليمين (انتباه ثنائي الاتجاه).
- GPT: يستخدم أيضا التضمين الموقع المطلق، لكنه يقيّد الانتباه بالرموز السابقة فقط (انتباه أحادي الاتجاه).
- T5: يطبق نسخة من الترانسفورمر التي تستخدم تحيزات موقعية نسبية بدلاً من التضمين الموقع.
5. هيكل النموذج
- BERT: هيكل مشفر فقط مع طبقات متعددة من كتلة الترانسفورمر.
- GPT: هيكل مُفَسَّر فقط، أيضا مع طبقات متعددة ولكن مصممة لمهام توليدية.
- T5: هيكل مشفر-مُفَسَّر، حيث يتكون كل من المشفر ووحدة فك الترميز من طبقات الترانسفورمر.
6. نهج الضبط الدقيق
- BERT: يعدل الحالات الخفية النهائية للنموذج المسبق لتحقيق مهام لاحقة مع طبقات إخراج إضافية حسب الحاجة.
- GPT: يضيف طبقة خطية فوق الترانسفورمر ويعمل ضبط دقيق على المهمة اللاحقة باستخدام نفس هدف نموذج اللغة السببي.
- T5: يحول جميع المهام إلى تنسيق نص-لنص، حيث يتم ضبط النموذج لتوليد تسلسل الهدف من تسلسل الإدخال.
7. بيانات التدريب والقياس
- BERT: تم تدريبه على BooksCorpus وويكيبيديا الإنجليزية.
- GPT: تم تدريب GPT-2 و GPT-3 على مجموعات بيانات مستخرجة من الإنترنت، مع تدريب GPT-3 على مجموعة أكبر تسمى Common Crawl.
- T5: تم تدريبه على “Colossal Clean Crawled Corpus”، وهو نسخة كبيرة ونظيفة من Common Crawl.
8. التعامل مع السياق والاتجاهين
- BERT: مصمم لفهم السياق في كلا الاتجاهين في نفس الوقت.
- GPT: مدرب على فهم السياق في اتجاه واحد (من اليسار إلى اليمين).
- T5: يمكنه نمذجة السياق ثنائي الاتجاه في المشفر ووحيد الاتجاه في وحدة فك الترميز، مناسب لمهام التسلسل-للتسلسل.
9. التكيف مع المهام اللاحقة
- BERT: يتطلب طبقات رأس خاصة للمهمة وضبط دقيق لكل مهمة لاحقة.
- GPT: هو توليدي بطبيعته ويمكن توجيهه عبر المطالبات لأداء مهام مع تغييرات طفيفة في هيكله.
- T5: يعامل كل مهمة على أنها “نص-لنص”، مما يجعله مرنا وتكيفيا مع مهام جديدة.
10. قابلية التأويل وشرح النتائج
- BERT: طبيعة الانتباه ثنائي الاتجاه توفر تضمينات سياقية غنية ولكن قد تكون أكثر صعوبة في التفسير.
- GPT: السياق أحادي الاتجاه قد يكون أكثر وضوحا في المتابعة ولكنه يفتقر إلى عمق السياق ثنائي الاتجاه.
- T5: إطار المشفر-وحدة فك الترميز يوفر فصل واضح للخطوات المعالجية ولكنه قد يكون معقدا في التحليل بسبب طبيعته التوليدية.
تأثير الترانسفورمر على معالجة اللغة الطبيعية
أحدث الترانسفورمر ثورة في مجال معالجة اللغة الطبيعية من خلال تمكين النماذج من معالجة تسلسلات البيانات بالتوازي، مما زاد بشكل كبير من سرعة وفاعلية تدريب الشبكات العصبية الكبيرة. أدخل آلية الانتباه الذاتي، مما سمح للنماذج بتحديد أهمية كل جزء من البيانات الإدخالية، بغض النظر عن المسافة داخل التسلسل. أدى ذلك إلى تحسينات غير مسبوقة في مجموعة واسعة من مهام معالجة اللغة الطبيعية، بما في ذلك الترجمة وإجابة الأسئلة و تلخيص النص.
لا يزال البحث يوسع حدود ما يمكن أن تحققه نماذج الترانسفورمر. GPT-4 وأقرانه ليسوا فقط أكبر في الحجم ولكن أيضا أكثر كفاءة وقدرة بفضل التطورات في الهيكل وطرق التدريب. تقنيات مثل التعلم بأمثلة قليلة، حيث يقوم النموذج بالمهام مع أمثلة قليلة، وطرق نقل التعلم أكثر فعالية، هي في طليعة البحث الحالي.
النماذج اللغوية مثل تلك التي تستند إلى الترانسفورمر تتعلم من البيانات التي يمكن أن تحتوي على تحيزات. الباحثون والممارسون يعملون بنشاط على تحديد وفهم وتخفيف هذه التحيزات. تشمل التقنيات مجموعات بيانات التدريب المحددة إلى التعديلات بعد التدريب التي تهدف إلى العدالة والحيادية.















