3 طرق لجعل الحقائق القديمة حديثة في نماذج اللغة الكبيرة

نماذج اللغة الكبيرة (LLM) مثل GPT3 و ChatGPT و BARD هي كل الحديث اليوم. كل شخص لديه رأي حول كيفية أن تكون هذه الأدوات جيدة أو سيئة للمجتمع وماذا تعني لمستقبل الذكاء الاصطناعي. تلقى جوجل الكثير من الانتقادات لخطأ نموذجها الجديد BARD في سؤال معقد (قليلا). عندما سُئل “ما هي الاكتشافات الجديدة التي يمكنني أن أخبر بها ابني البالغ من العمر 9 سنوات حول تلسكوب جيمس ويب الفضائي؟” – قدم الدردشة ثلاثة إجابات، من بينها إجابتان صحيحتان وإجابة خاطئة. الإجابة الخاطئة هي أن أول صورة لاكتشاف كوكب خارجي تم التقاطها بواسطة JWST، وهو خطأ. لذا، في الأساس، كان النموذج يحتوي على حقيقة خاطئة مخزنة في قاعدة المعارف. من أجل أن تكون نماذج اللغة الكبيرة فعالة، نحن بحاجة إلى طريقة لتحديث هذه الحقائق أو إضافة حقائق جديدة إلى المعرفة.

دعونا ننظر أولاً إلى كيفية تخزين الحقائق داخل نموذج اللغة الكبيرة (LLM). لا تخزن نماذج اللغة الكبيرة المعلومات والحقائق بطريقة تقليدية مثل قواعد البيانات أو الملفات. بدلاً من ذلك، تم تدريبها على كميات هائلة من البيانات النصية وتم تعلم الأنماط والعلاقات في تلك البيانات. هذا يتيح لها توليد استجابات تشبه الإنسان للاستفسارات، لكنها لا تحتوي على موقع تخزين محدد للمعلومات المكتسبة. عند الإجابة على سؤال، يستخدم النموذج التدريب لتحديد استجابة بناءً على المدخلات التي يتلقاها. المعلومات والمعرفة التي يمتلكها نموذج اللغة هي نتيجة للأنماط التي تعلمها في البيانات التي تم تدريبه عليها، وليس نتيجة لتخزينها بشكل صريح في ذاكرة النموذج. بنية الترانسفورمر التي تعتمد عليها معظم نماذج LLM الحديثة لديها ترميز داخلي للحقيقة يستخدم للاستجابة على السؤال المطروح في الاستمارة.

إذا كانت الحقائق داخل الذاكرة الداخلية لنموذج LLM خاطئة أو قديمة، فيجب توفير معلومات جديدة من خلال استمارة. الاستمارة هي النص المرسل إلى LLM مع الاستفسار والدليل الداعم الذي يمكن أن يكون حقائق جديدة أو محدثة. هنا ثلاث طرق لمواجهة هذا.

1. هناك طريقة لتصحيح الحقائق المشفرة في نموذج LLM هي توفير حقائق جديدة ذات صلة بالسياق باستخدام قاعدة معرفة خارجية. قد تكون هذه القاعدة قوائم-API لجلب معلومات ذات صلة أو استعلام على قاعدة بيانات SQL أو No-SQL أو قاعدة بيانات متجه. يمكن استخراج معرفة متقدمة من مخطط معرفي يخزن كيانات البيانات والعلاقات بينها. اعتماداً على المعلومات التي يبحث عنها المستخدم، يمكن استرجاع معلومات السياق ذات الصلة وتقديمها كحقائق إضافية إلى نموذج LLM. قد تكون هذه الحقائق أيضًا معدة لتبدو مثل أمثلة التدريب لتحسين عملية التعلم. على سبيل المثال، يمكنك تمرير أزواج أسئلة وإجابات عديدة لتعلم النموذج كيفية تقديم الإجابات.

2. هناك طريقة أكثر إبداعًا (ومكلفة) لتعزيز نموذج LLM هي التعدين الدقيق باستخدام بيانات التدريب. بدلاً من استعلام قاعدة المعرفة للحصول على حقائق محددة لإضافتها، ننشئ مجموعة بيانات تدريب عن طريق عينة قاعدة المعرفة. باستخدام تقنيات التعلم الإشرافي مثل التعدين الدقيق، يمكننا إنشاء نسخة جديدة من نموذج LLM مدرب على هذه المعرفة الإضافية. هذا العملية غالبًا ما تكون مكلفة ويمكن أن تكلّف بضع آلاف الدولارات لإنشاء نموذج مدرب دقيق في OpenAI. بالطبع، من المتوقع أن ينخفض التكلفة مع مرور الوقت.

3. هناك خيار آخر هو استخدام أساليب مثل التعلم التعزيزي (RL) لتدريب وكيل مع تعليقات بشرية وتعلم سياسة للاستجابة على الأسئلة. هذه الطريقة كانت فعالة للغاية في بناء نماذج ذات بصمة صغيرة تتميز بأداء جيد في مهام محددة. على سبيل المثال، تم إصدار ChatGPT الشهير من قبل OpenAI وتم تدريبه على مزيج من التعلم الإشرافي والتعلم التعزيزي مع تعليقات بشرية.

في الخلاصة، هذا مجال متطور للغاية، حيث يريد كل شركة كبرى الدخول إليه وإظهار تميّزها. سنرى قريباً أدوات LLM الرئيسية في معظم المجالات مثل التجزئة والرعاية الصحية والخدمات المصرفية التي يمكنها الاستجابة بطريقة تشبه الإنسان وفهم دقائق اللغة. يمكن لهذه الأدوات التي تعمل بنماذج LLM وتكاملها مع بيانات الشركات تسهيل الوصول وتوفير البيانات الصحيحة للأشخاص المناسبين في الوقت المناسب.