نماذج ومنصات الذكاء الاصطناعي
GPT-3: التعلم بأمثلة قليلة للنماذج اللغوية؟

النقاط الرئيسيةتعمل قدرة GPT-3 على التعلم من عدد قليل من الأمثلة على تقليل الحاجة إلى مجموعات بيانات…
عرض المزيد
- تعمل قدرة GPT-3 على التعلم من عدد قليل من الأمثلة على تقليل الحاجة إلى مجموعات بيانات كبيرة ومتخصصة لمهمة معينة، وذلك باستخدام بضعة أمثلة فقط في نافذة السياق الخاصة به.
- يُمكّن حجم النموذج البالغ 175 مليار معلمة من أداء قوي في التعلم الصفري والتعلم من مثال واحد على مجموعة متنوعة من مهام معالجة اللغة الطبيعية دون الحاجة إلى تحديث الأوزان.
- يمنع تدريب GPT-3 على مخاليط بيانات عالية الجودة تمت تصفيتها ظاهرة التجاوز في التخصيص ويحسن من قدرة النموذج على التعميم خارج التوزيعات الضيقة.
في السنوات القليلة الماضية، شهدت صناعة الذكاء الاصطناعي والتعلم الآلي زيادة هائلة في تطوير ونشر أنظمة معالجة اللغة الطبيعية، حيث تمكن الباحثون من تنفيذ ممارسات معالجة اللغة الطبيعية بطرق مرنة ومستقلة عن المهام لنقل التعلم إلى المهام اللاحقة.
في البداية، كانت التمثيلات من طبقة واحدة تستخدم متجهات الكلمات، ثم يتم تغذيتها إلى بنية معمارية محددة للمهمة. بعد ذلك، كانت معمارية الشبكات العصبية المتكررة (RNN) تستخدم تمثيلات متعددة الطبقات والحالة السياقية لتشكيل تمثيلات أفضل. وأخيراً، لدينا نماذج اللغة المعتمدة على نقل التعلم أو النماذج المتكررة المسبقة التي أزالت تماماً الحاجة إلى بنى معمارية محددة للمهمة من خلال تعديل هذه الشبكات.
أثبتت نماذج اللغة المعتمدة على نقل التعلم أنها نقطة تحول كبيرة في صناعة معالجة اللغة الطبيعية، حيث أدت إلى تقدم كبير في المهام الصعبة مثل الإجابة على الأسئلة والفهم القرائي أو كتلة النصوص والاستدلال النصي، وغيرها الكثير.
ومع ذلك، على الرغم من مزاياها، فإن نماذج اللغة المعتمدة على نقل التعلم لها قيود كبيرة، حيث تتطلب تعديلاً محدداً للمهمة أو مجموعة بيانات محددة للمهمة لتحقيق الأداء المطلوب على المهمة. بالإضافة إلى ذلك، تتطلب نماذج اللغة المعتمدة على نقل التعلم من المطورين ضبط النماذج باستخدام مجموعات بيانات تضم مئات الآلاف من الأمثلة المحددة للمهمة.
من الواضح أن إزالة الحاجة إلى مجموعة بيانات محددة للمهمة وضبطها سيكون أمراً مرغوباً للغاية ومفيداً لصناعة معالجة اللغة الطبيعية لعدة أسباب.
مشاكل النماذج النقلية المسبقة الحالية أو النماذج المتكررة
- تقييد العملية وقابلية التطبيق
أولاً وقبل كل شيء، يتطلب الحاجة إلى مجموعة بيانات كبيرة مع بيانات موسومة لكل مهمة تقييد تطبيق وواقعية نماذج اللغة. توجد تطبيقات للنماذج اللغوية في مجموعة واسعة من المهام، بدءاً من إنشاء قصة قصيرة، إلى تصحيح الأخطاء النحوية، إلى إنشاء أمثلة على مفهوم. في بعض الأحيان، يكون من الصعب جمع مجموعة بيانات خاضعة للإشراف مع بيانات موسومة، خاصة عند الحاجة إلى تكرار العملية لكل مهمة فردية.
- استغلال الارتباطات الزائفة في بيانات التدريب
القيود والضيق في توزيع التدريب، مع التعبير عن النموذج، يمكن أن يؤدي إلى زيادة كبيرة في إمكانية استغلال الارتباطات الزائفة في بيانات التدريب. يمكن أن يؤدي استغلال بيانات التدريب إلى مشاكل ضمن منهجية التدريب المسبق ثم الضبط الدقيق بسبب تصميم نماذج اللغة المعتمدة على نقل التعلم لامتصاص كمية كبيرة من المعلومات خلال ما قبل التدريب.
علاوة على ذلك، أشار العمل على النماذج السابقة إلى أن النماذج الكبيرة لا تؤدي دائماً إلى نتائج أفضل خارج التوزيع. كما أشار إلى أن التعميم المُحقق في ظل هذا النموذج يمكن أن يؤدي إلى أداء سيئ، لأن النموذج يتمتع بخصائص محددة لبيانات التدريب ولا يمكنه الأداء الجيد في الحالات التي تتجاوز نطاق بيانات التدريب.
- المقارنة مع التعلم البشري
أخيراً، عند المقارنة مع نماذج اللغة المعتمدة على نقل التعلم، لا يتطلب البشر مجموعة بيانات كبيرة عند تعلم معظم مهام اللغة. في معظم المهام، يكون التوجيه القصير في لغة الشخص الطبيعية أو عرض صغير لمهمة اللغة كافياً لتمكين الإنسان من فهم المهمة اللغوية وأدائها بمستوى معين من التنافس.
قدرة الإنسان على التكيف لها العديد من المزايا العملية، حيث تمكنه من التبديل بين مهارات مختلفة أو دمجها معاً لأداء أفضل أثناء الحوار، وهو ما يخالف قدرات أنظمة معالجة اللغة الحالية.
معالجة المشاكل باستخدام التعلم الفوقي والنموذج GPT-3
من الحلول الممكنة للمشاكل المذكورة أعلاه هو استخدام التعلم الفوقي، وهو مفهوم في التعلم الآلي الحديث يسمح للنموذج بتطوير مجموعة أكبر وأوسع من المهارات والقدرة على التعرف على الأنماط أثناء التدريب، ثم يستخدم هذه القدرات المكتسبة أثناء الاستدلال لتعلم سريع أو التعرف على المهمة المطلوبة.
يتم تنفيذ التعلم الفوقي في بنية النموذج اللغوي من خلال تقنية تسمى “التعلم في السياق” التي تستخدم إدخال النص من نموذج اللغة المسبق لتحديد المهمة. في هذه العملية، يشترط النموذج على توجيه لغة طبيعية، وربما يستخدم بعض العروض، ويتوقع من النموذج إكمال المهمة المتبقية من خلال التنبؤ بالخطوات التالية.
المشكلة الرئيسية مع التعلم الفوقي هي أنه على الرغم من إظهاره إمكانات إيجابية، إلا أنه لا يزال أقل من النهج التعديلي في بنية اللغة الطبيعية، ويتطلب تحسينات إضافية ليكون طريقة عملية لتحقيق مهام اللغة.
بالإضافة إلى التعلم الفوقي، هناك طريقة أخرى تكتسب شعبية وهي زيادة سعة نماذج اللغة المعتمدة على نقل التعلم. في السنوات القليلة الماضية، شهدت نماذج النقل زيادة كبيرة في القدرة، مع نموذج RNSS18 الذي يحتوي على 100 مليون معامل، ونموذج DCLT18 الذي يحتوي على 300 مليون معامل، ونموذج RWC19 الذي يحتوي على 1.5 مليار معامل، ونموذج SSP19 الذي يحتوي على 8 مليارات معامل، ونموذج RSR19 الذي يحتوي على 11 مليار معامل، ونموذج TUR20 الذي يحتوي على 17 مليار معامل.
زيادة سعة النموذج أو زيادة المعاملات أدت تاريخياً إلى تحسينات في توليد النص، وتم الإشارة إلى أن الخسارة اللغوية تتبع قانون القوة السلس كما وظيفة الحجم.
هذا يأتي بنا إلى نموذج GPT-3 الذي يحتوي على أكثر من 175 مليار معامل، وعند إطلاقه، كان نموذج اللغة النقلية ذا أعلى سعة. دعونا نتحدث الآن عن نموذج GPT-3.
مقدمة إلى نموذج GPT-3
GPT-3 نموذج لغوي ذاتي الانحدار يحتوي على أكثر من 175 مليار معامل، تم إطلاقه بواسطة OpenAI في عام 2020. يصنف GPT-3 أيضًا على أنه نموذج لغوي كبير، مثل نموذج GPT-2 السابق، وهو نموذج Transformer عميق يقتصر على مفكك الترميز ويستخدم آليات الانتباه لتوليد النص.
يتم تقييم نموذج GPT-3 على أكثر من أربع وعشرين مجموعة بيانات لمعالجة اللغة الطبيعية ومهام جديدة متعددة. لكل مهمة فردية، يتم تقييم نموذج GPT-3 في ثلاثة ظروف،
- التعلم بأمثلة قليلة أو التعلم في السياق: في التعلم بأمثلة قليلة، يسمح نموذج GPT-3 بأكبر عدد من الأمثلة التي تتسع لها نافذة السياق.
- التعلم بمثال واحد: في التعلم بمثال واحد، يسمح النموذج بعرض واحد فقط.
- التعلم الصفري: في التعلم الصفري، لا توجد عروض، وهناك فقط توجيه لغة طبيعية يتم إطعامه إلى النموذج.

بشكل عام، يصل نموذج GPT-3 إلى أداء مرغوب فيه في إعدادات التعلم الصفري والتعلم بمثال واحد، وفي إعداد التعلم بأمثلة قليلة، يتفوق على نماذج النقل الحالية في معظم الأحيان. بالإضافة إلى ذلك، يؤدي نموذج GPT-3 أداء جيداً في إعدادات التعلم بمثال واحد والتعلم الصفري لمهام اللغة الطبيعية المصممة لاختبار التفكير على الفور أو تتطلب انتباهاً سريعاً مثل استخدام كلمات جديدة بعد جملة أو إعادة ترتيب الكلمات المبعثرة أو أداء عمليات حسابية. وفي إعداد الأمثلة القليلة، يولّد GPT-3 أخبارًا مصطنعة يجد المقيمون البشر أنها تشبه كتابة الإنسان.

نموذج GPT-3: النهج
يستخدم نموذج GPT-3 نهجاً تقليدياً لما قبل التدريب يتكون من نموذج وبيانات وتدريب، ويشبه عملية ما قبل التدريب التي يتبعها نموذج اللغة النقلية RWC-19. يزيد نموذج GPT-3 من حجم النموذج، وحجم مجموعة البيانات، وتنوع مجموعة البيانات، ويزيد من طول فترة التدريب.
كما يستخدم نموذج GPT-3 نهجاً للتعلم في السياق مرة أخرى، والذي يتشابه مع نهج نموذج RWC-19، ولكن يغير بعض الأشياء من خلال استكشاف منهجية مختلفة لتعلم الأنماط داخل سياق مجموعة البيانات.
لذلك، دعونا نبدأ باستكشاف هذه الإعدادات، وتقييم أداء نموذج GPT-3 في إعدادات مختلفة.
التعديل الدقيق
تعديل النموذج الدقيق كان النهج التقليدي في نماذج اللغة المعتمدة على نقل التعلم، ويتضمن تحديث أوزان نموذج مسبق التدريب من خلال تدريبه على مجموعة بيانات خاضعة للإشراف محددة للمهمة المطلوبة، ويتم استخدام مئات الآلاف من الأمثلة المحددة خلال هذه العملية.
يعد نهج التعديل الدقيق مفيداً لأنه يؤدي إلى أداء قوي عبر العديد من المعايير. من ناحية أخرى، فإن الحد الرئيسي لاستخدام نهج التعديل الدقيق هو أنه يتطلب مجموعة بيانات جديدة كبيرة لكل مهمة فردية، ويمكن أن يؤدي إلى استغلال ميزات زائفة في مجموعة بيانات التدريب، ويمكن أن يؤدي إلى مقارنة غير عادلة مع الأداء البشري، وأداء سيئ للتعلم الخارجي.
نطاق نموذج GPT-3 الحالي لا يطبق نهج التعديل الدقيق بسبب أدائه المستقل عن المهمة، على الرغم من أنه يمكن تطبيق التعديل الدقيق على نموذج GPT-3 في المستقبل.
التعلم بأمثلة قليلة
التعلم بأمثلة قليلة هو مصطلح يُستخدم لوصف الإعداد حيث يتم إعطاء نموذج GPT-3 بعض العروض للمهمة أثناء الاستدلال كتوجيه، ولكن لا يتم تحديث أوزان النموذج. في إعداد التعلم بأمثلة قليلة، تحتوي مجموعة البيانات عادة على مثال مع سياق واكتمال مرغوب (على سبيل المثال، جملة فرنسية وترجمتها الإنجليزية).
يمنح إعداد التعلم بأمثلة قليلة نموذج GPT-3 K أمثلة من السياق والاكتمال، ثم يقدم نموذج GPT-3 سياقاً أخيراً، ويتوقع من النموذج تقديم الاكتمال.
الميزة الرئيسية لاستخدام إعداد التعلم بأمثلة قليلة هي أنه يقلل بشكل كبير من الحاجة إلى بيانات محددة للمهمة، ويقلل احتمال تعلم توزيع ضيق من مجموعة بيانات كبيرة ضُبطت بنطاق محدود. ومع ذلك، فإن النتائج في إعداد الأمثلة القليلة تكون أدنى من النماذج المتقدمة المضبوطة للمهمة.
التعلم بمثال واحد
في إعداد التعلم بمثال واحد، يتم تزويد النموذج بعرض واحد فقط، والباقي مشابه لإعداد التعلم بأمثلة قليلة. السبب في أن إعداد التعلم بمثال واحد ذو صلة في نماذج اللغة المعتمدة على نقل التعلم هو أنه من بين الإعدادات الثلاث، يُشبه التعلم بمثال واحد أفضل طريقة يتم بها الاتصال بالمهام البشرية.
التعلم الصفري
في إعداد التعلم الصفري، لا توجد عروض، ويتم تزويد النموذج بتوجيه لغة طبيعية يصف المهمة. يُعد نهج التعلم الصفري هو الذي يقدم أقصى قدر من الراحة، وهو متين، ويتجنب الارتباطات الزائفة، ولكنه أيضًا أكثر الإعدادات تحديًا، إذ قد يصعب حتى على البشر فهم المهمة دون رؤية مثال أولًا.
على الرغم من ذلك، في بعض المهام، يُعد إعداد التعلم الصفري هو الذي يُشبه أكثر كيفية أداء البشر لمهام اللغة الطبيعية.

الرسم البياني أعلاه يقارن إعداد التعلم بأمثلة قليلة، والتعلم بمثال واحد، والتعلم الصفري عند أداء مهمة لغة طبيعية لترجمة جملة إنجليزية إلى الفرنسية.
نموذج GPT-3: بنية النموذج
يستخدم نموذج GPT-3 نفس البنية المستخدمة في نموذج GPT-2، ويتضمن التطبيع المسبق والتهيئة المعدّلة وتحويل النص إلى رموز بطريقة قابلة للعكس كما تم استخدامها في نموذج GPT مع استثناء استخدام استراتيجية بديلة لأنماط انتباه كثيفة بالتناوب مع أنماط انتباه متناثرة ضمن نطاقات محلية في طبقات Transformer، على غرار Sparse Transformer.
من أجل دراسة اعتماد أداء النموذج على حجم النموذج، قام المطورون بتدريب 8 أحجام نموذجية مختلفة تتراوح عبر ثلاث مراتب أسية من 125 مليون إلى أكثر من 175 مليار معامل، وكان آخرها نموذج GPT-3. وتشير الأبحاث السابقة إلى أن خسارة التحقق، عند توافر بيانات تدريب كافية، تتبع تقريبًا قانون قوة سلسًا بوصفها دالة في حجم النموذج. وتتيح الأحجام المختلفة اختبار ذلك على خسارة التحقق والمهام اللاحقة.

الرسم البياني أعلاه يقارن حجم و بنية النماذج الثمانية المستخدمة في بنية نموذج GPT-3. ويشير n(params) إلى إجمالي المعلمات القابلة للتدريب، وn(layers) إلى عدد الطبقات، وd(model) إلى عدد الوحدات في طبقة عنق الزجاجة، وd(head) إلى أبعاد كل رأس انتباه. وتبلغ نافذة السياق 2,048 رمزًا لكل نموذج.
علاوة على ذلك، من أجل تقليل نقل البيانات بين العقد، يتم تقسيم النموذج عبر وحدات المعالجة الرسومية (GPUs) على امتداد بعدي العمق والعرض. واختيرت معلمات المعمارية وفق الكفاءة الحسابية وموازنة الحمل لتوزيع النماذج بدقة على وحدات GPU.
مجموعات التدريب
عادة ما تستخدم نماذج اللغة الكبيرة مجموعات بيانات توسعت بشكل كبير مع التطورات الحديثة، وتنتهي بمجموعة Common Crawl التي تتكون من أكثر من تريليون كلمة. وحجمها كافٍ لتدريب GPT-3 دون المرور بالتسلسل نفسه مرات متعددة، لكن النسخ غير المصفاة أو المصفاة قليلًا أقل جودة من مجموعات البيانات المنتقاة بعناية.
من أجل معالجة مشكلة جودة مجموعة البيانات، قام المطورون بخطوات ثلاثة لتحسين جودة مجموعة البيانات.
- قام المطورون بتنزيل وتصفية نسخة من مجموعة بيانات Common Crawl بناءً على نطاق مشابه لمجموعات المراجع عالية الجودة.
- قام المطورون بتنفيذ إزالة التكرار التقريبي للمستندات على مستوى المستند عبر مجموعة البيانات في محاولة لصون سلامة مجموعة التحقق المتبقية كوسيلة فعالة لقياس فرط التخصيص، ولمنع التكرار.
- قام المطورون بإضافة مجموعات المراجع عالية الجودة إلى بيانات التدريب لتعزيز مجموعة Common Crawl، ولزيادة تنوع مجموعة البيانات.
الرسم البياني التالي يظهر النسبة النهائية أو مزيج من مجموعات البيانات المستخدمة لتدريب نموذج GPT-3. وقد انخفضت بيانات Common Crawl من أكثر من 45 تيرابايت قبل التصفية إلى 570 جيجابايت بعدها، أي نحو 400 مليار رمز بترميز أزواج البايتات. وتُسحب عينات أكثر من البيانات الأعلى جودة بدل التناسب مع الحجم؛ لذلك تُستخدم Books2 وCommon Crawl أقل من مرة كاملة، بينما تستخدم مجموعات أخرى مرارًا، مع قبول فرط تخصيص طفيف مقابل جودة بيانات أعلى.

من المخاوف الكبيرة المتعلقة بنماذج اللغة الكبيرة المسبقة التدريب على كمية كبيرة من بيانات الإنترنت بقدرة على تذكر و تعلم كمية كبيرة من المحتوى هو إمكانية تلوث مهام التقييم اللاحقة من خلال رؤية مجموعات التطوير والاختبار أثناء ما قبل التدريب. ولتقليل ذلك، بحث المطورون عن التداخلات مع مجموعات التطوير والاختبار للمعايير التي درسها GPT-3 وحاولوا إزالتها.

الرسم البياني أعلاه يوضح إجمالي الحسابات أثناء التدريب. واستنادًا إلى قوانين تحجيم نماذج اللغة، تُدرّب نماذج أكبر على رموز أقل من المعتاد. فنسخة GPT-3 ذات نحو 3 مليارات معلمة تكاد تكون عشرة أضعاف RoBERTa-Large ذي 355 مليون معلمة، لكن كليهما احتاج نحو 50 بيتافلوب/ثانية-يوم من الحسابات أثناء التدريب المسبق.
التقييم
بالنسبة إلى التعلم بأمثلة قليلة، يقوم النموذج بتقييم كل مثال في مجموعة بيانات التقييم من خلال سحب K أمثلة بشكل عشوائي من مجموعة بيانات التدريب للمهمة كتوجيه، ويفصلها بسطر أو سطرين جديدين وفق المهمة. وفي StoryCloze وLAMBADA، تُسحب الأمثلة من مجموعة التطوير ثم يُقيّم النموذج على الاختبار لعدم وجود مجموعة تدريب خاضعة للإشراف. أما Winograd فتُسحب أمثلته مباشرة من مجموعته الوحيدة.
يمكن أن يكون K أي قيمة تتراوح من 0 إلى الحد الأقصى المسموح به من نافذة السياق للنموذج، وهو n ext = 2048 لجميع النماذج، وغالبًا ما يتسع ل 10 إلى 100 مثال.
قيم أكبر من K غالباً ما تؤدي إلى نتائج أفضل، ولكن ليس دائماً، لذلك عندما يكون للنموذج مجموعة اختبار منفصلة ومجموعة تطوير، يجرى النموذج بعض قيم K على مجموعة التطوير، وبناءً على النتائج، يجرى أفضل قيمة على مجموعة الاختبار.
علاوة على ذلك، على المهام التي تتطلب اختيار اكتمال صحيح من بين عدة خيارات، يقدم المطورون K أمثلة من الاكتمال والسياق، ثم يقدمون سياق واحد فقط، ويقارنون احتمالات الإكمال وفق النموذج اللغوي. وفي التصنيف الثنائي تُعطى الخيارات أسماء ذات معنى وتعامل المهمة كاختيار متعدد، وأحيانًا تصاغ بطريقة تشبه RSR. وللإكمال الحر، يُستخدم بحث الحزمة بمعلمات RSR نفسها وعرض حزمة 4 وعقوبة 0.6، ثم التقييم بمقياس F1 أو التطابق التام أو BLEU وفق معيار البيانات.
النتائج

الرسم البياني أعلاه يظهر منحنيات التدريب للنماذج الثمانية في بنية نموذج GPT-3، كما هو موضح في الأقسام السابقة. وعلى غرار نموذج KMH، يتبع الأداء قانون تحجيم عند استخدام حسابات التدريب بفعالية، مع انحراف طفيف حين يمتد الاتجاه مرتبتين أسيتين إضافيتين. وقد يبدو انخفاض خسارة الإنتروبيا المتقاطعة نتيجة تعلم تفاصيل زائفة في بيانات التدريب، لكنه يقترن بتحسن ثابت في مجموعة واسعة من مهام NLP.
قبل تقييم النماذج الثمانية على مجموعة واسعة من بيانات التدريب، يتم تجميع مجموعات البيانات في ثمانية فئات تمثل مهام متشابهة.
- التقييم على المهام التقليدية لمعالجة اللغة الطبيعية، والمهام التي تشبه معالجة اللغة الطبيعية مثل مهام Cloze أو إكمال الجملة / الفقرة.
- التقييم على مهام الإجابة على الأسئلة في الكتاب المغلق.
- التقييم على قدرة النموذج على الترجمة بين اللغات (خاصة في إعداد التعلم بمثال واحد والتعلم بأمثلة قليلة).
- التقييم على أداء النموذج في مهام Schema Winograd.
- التقييم على مجموعات بيانات تتضمن استدلال الحس السليم أو الإجابة على الأسئلة.
- التقييم على مهام الفهم القرائي.
- التقييم على مجموعة معايير SuperGLUE.
- استكشاف NLI.
نمذجة اللغة والإكمال ومهام Cloze
في هذا القسم، يتم تقييم أداء نموذج GPT-3 على المهام التقليدية لمعالجة اللغة الطبيعية، وكذلك المهام التي تتطلب التنبؤ بكلمة واحدة من الاهتمام، أو إكمال جملة أو فقرة، أو إكمال قطعة من النص.
نمذجة اللغة
يحسب نموذج GPT-3 مقياس الحيرة (perplexity) في إعداد دون أمثلة في مجموعة بيانات PTB أو Penn Treebank. وتُستبعد مهام ويكيبيديا لأنها ضمن بيانات التدريب، وكذلك معيار المليار كلمة بسبب التداخل الكبير مع التدريب. وتتفادى PTB ذلك لكونها أقدم من الإنترنت الحديث.
النموذج الأكبر في بنية نموذج GPT-3 يصل إلى أفضل نتيجة جديدة على مجموعة بيانات PTB بفارق كبير يصل إلى 15 نقطة، ويتحقق من الارتباك بحدود 20.50.
LAMBADA
يتم استخدام مجموعة بيانات LAMBADA لاختبار قدرة النموذج على تمثيل الاعتماد بعيد المدى في الفقرات والنصوص، إذ يقرأ الفقرة ثم يتنبأ بالكلمة الأخيرة من جملة. وتؤدي زيادة أحجام النماذج إلى عوائد إضافية متناقصة على هذا المعيار.

يصل نموذج GPT-3 إلى دقة 76% على مجموعة بيانات LAMBADA، ويحقق تحسنًا يتجاوز 8% مقارنة بأفضل النماذج السابقة. وتظهر مرونة التعلم بأمثلة قليلة؛ فقد يوزّع النموذج الاحتمال على استمرار الفقرة بدل الكلمة الأخيرة وحدها. وعند تعديل الأمثلة تتجاوز الدقة 86%، أي تحسن يتجاوز 18% عن السابق. وتتحسن نتائج الأمثلة القليلة مع الحجم؛ فهذه الاستراتيجية تخفض دقة أصغر نموذج 20% لكنها ترفع دقة GPT-3 ذي 175 مليار معلمة 10%.
الإجابة على الأسئلة في الكتاب المغلق
يتم استخدام الإجابة على الأسئلة في الكتاب المغلق لقياس قدرة نموذج GPT-3 على الإجابة على الأسئلة بناءً على المعرفة الواقعية الشاملة. ولأن الأسئلة الممكنة كثيرة، تستخدم الأنظمة التقليدية استرجاع النص ذي الصلة ثم نموذجًا يولّد الجواب بناءً عليه وعلى السؤال.

يصل نموذج GPT-3 إلى دقة 64.3% في إعداد التعلم الصفري، و 68% و 71.2% في إعداد التعلم بمثال واحد والتعلم بأمثلة قليلة على مجموعة بيانات TriviaQA. وفي إعداد دون أمثلة يتفوق على T5-11B المضبوط بأكثر من 14%. ويبين الرسم التالي نمو الأداء بسلاسة مع زيادة الحجم واستمرار التعلم من البيانات مع زيادة السعة.

الأفكار النهائية
يمكن القول بأمان أن نموذج GPT-3 كان مرحلة ثورية في صناعة نماذج اللغة الكبيرة، حيث ساعد نموذج GPT-3 في دفع حدود ما يمكن لنموذج اللغة أن يفعله. وقد مهدت تطوراته وتجاوزه للعقبات الطريق إلى GPT-4 الأكثر تقدمًا ودقة.












