نماذج اللغة الكبيرة تتذكر مجموعات البيانات المخصصة لاختبارها

إذا كنت تعتمد على الذكاء الاصطناعي لتحديد ما يجب مشاهدته أو قراءته أو شراءه ، فإن البحث الجديد يشير إلى أن بعض الأنظمة قد تعتمد هذه النتائج على الذاكرة بدلاً من المهارة: بدلاً من تعلم تقديم اقتراحات مفيدة ، فإن النماذج غالباً ما تتذكر عناصر من مجموعات البيانات المستخدمة لتقييمها ، مما يؤدي إلى تقييم أداء مبالغ فيه واقتراحات قد تكون عفا عليها الزمن أو غير مناسبة للمستخدم.

في تعلم الآلة ، يتم استخدام تقسيم الاختبار لمعرفة ما إذا كان النموذج المدرب قد تعلم حل مشاكل مشابهة ولكنها ليست متطابقة مع المواد التي تم تدريبه عليها.

لذلك ، إذا تم تدريب نموذج جديد للتعرف على سلالات الكلاب على مجموعة بيانات تضم 100000 صورة للكلاب ، فسيتم تقسيمها عادة إلى 80000 صورة لتدريب النموذج ، و 20000 صورة محجوزة ومستخدمة كمواد لاختبار النموذج النهائي.

من الواضح أن إذا تم تضمين بيانات التدريب للنموذج بشكل غير مقصود في القسم “السري” البالغ 20٪ من تقسيم الاختبار ، فإن النموذج سوف ينجح في هذه الاختبارات ، لأنه يعرف بالفعل الإجابات (لقد رأى 100٪ من بيانات المجال).当然 ، هذا لا يعكس بدقة كيف سيعمل النموذج فيما بعد ، على بيانات جديدة “حية” ، في سياق الإنتاج.

ملحوظات الفيلم

ازدادت مشكلة الغش في الاختبارات مع نمو نماذج الذكاء الاصطناعي. بسبب أنظمة اليوم التي يتم تدريبها على مجموعات بيانات ضخمة ومحتوى مُحَدَّد ، فإن احتمال أن تدخل مجموعات بيانات الاختبار (أي القسم المحجوز البالغ 20٪) إلى مزيج التدريب لم يعد حالة نادرة ، بل هو الوضع الافتراضي – وهو ما يُعرف باسم تلوث البيانات؛ وفي هذا الحجم ، فإن التحديد اليدوي الذي يمكن أن يكتشف هذه الأخطاء هو أمر مستحيل من الناحية اللوجستية.

تم استكشاف هذه الحالة في ورقة جديدة من إيطاليا في Politecnico di Bari ، حيث ركز الباحثون على دور كبير لمجموعة بيانات واحدة لتوصية الأفلام ، MovieLens-1M ، والتي يجادلون بأنها تم تذكرها جزئيًا من قبل عدة نماذج رائدة للذكاء الاصطناعي خلال التدريب.

نظرًا لأن هذه المجموعة البيانات شائعة الاستخدام في اختبار أنظمة التوصية ، فإن وجودها في ذاكرة النماذج يجعل هذه الاختبارات بلا معنى: ما يبدو وكأنه ذكاء قد يكون في الواقع مجرد تذكر ، وما يبدو وكأنه مهارة اقتراح متأمل قد يكون مجرد انعكاس إحصائي يعكس التعرض السابق.

يصرح المؤلفون:

‘تظهر نتائجنا أن نماذج اللغة الكبيرة تتمتع بمعرفة واسعة بمجموعة بيانات MovieLens-1M ، وتغطي العناصر وسمات المستخدم وتاريخ التفاعل. ومن الملاحظ أن سؤالاً بسيطاً يمكن أن يسمح لـ GPT-4o بالاستعادة تقريباً 80٪ من سجلات MovieID: Title.’

‘لا يوجد من النماذج التي تم فحصها خالية من هذه المعرفة ، مما يشير إلى أن بيانات MovieLens-1M من المحتمل أن تكون مدرجة في مجموعاتها التدريبية. لقد لوحظت اتجاهات مماثلة في استرجاع سمات المستخدم وتاريخ التفاعل.’

تم إتاحة خط أنابيب لإعادة إنتاج عملهم على GitHub.

الطريقة

للفهم ما إذا كان النماذج قادرة على التعلم أو مجرد التذكر ، بدأ الباحثون بتعريف ما يعني التذكر في هذا السياق ، وبدأوا بتحديد ما إذا كان النموذج قادرًا على استرجاع قطع محددة من المعلومات من مجموعة بيانات MovieLens-1M ، عند التحفيز بطريقة معينة.

إذا تم عرض رقم تعريف الفيلم على النموذج وتمكن من إنتاج عنوانه ونوعه ، فقد تم اعتباره تذكيرًا بالعنصر؛ إذا تمكن من توليد تفاصيل حول مستخدم (مثل العمر أو المهنة أو رمز البريد) من معرف المستخدم ، فقد تم اعتباره تذكيرًا بالمستخدم؛ وإذا تمكن من إعادة إنتاج تقييم المستخدم التالي من تسلسل معروف من السابقة ، فقد تم اعتباره دليلًا على أن النموذج قد يتذكر بيانات التفاعل المحددة ، بدلاً من تعلم الأنماط العامة.

تم اختبار كل من هذه الأشكال من التذكر باستخدام أسئلة مدروسة بعناية ، مصممة للتحفيز على النموذج دون تقديم معلومات جديدة. كلما كانت الإجابة أكثر دقة ، زادت احتمالية أن النموذج قد واجه هذه البيانات خلال التدريب:

التحفيز من الصفر لبروتوكول التقييم المستخدم في الورقة الجديدة. مصدر: https://arxiv.org/pdf/2505.10212

البيانات والاختبارات

为了 جمع مجموعة بيانات مناسبة ، قام المؤلفون بدراسة أوراق حديثة من两个 من المؤتمرات الرئيسية في هذا المجال ، ACM RecSys 2024 و ACM SIGIR 2024. تم الاستشهاد بمovieLens-1M في أكثر من خمس عشرة من الورقات المقدمة.

يتكون movieLens-1M من ثلاثة ملفات: Movies.dat ، الذي يسرد الأفلام حسب الرقم التعريفي والعنوان والنوع؛ Users.dat ، الذي يربط معرّفات المستخدمين بالحقول البيографية الأساسية؛ و Ratings.dat ، الذي يسجل من قام بتقييم ما، وعندما.

لتحديد ما إذا كان هذا البيانات قد تم تذكرها من قبل نماذج اللغة الكبيرة ، لجأ الباحثون إلى تقنيات التحفيز التي تم تقديمها لأول مرة في الورقة استخراج بيانات التدريب من نماذج اللغة الكبيرة ، وتم تعديلها لاحقًا في العمل اللاحق حقيبة خدع لاستخراج بيانات التدريب من نماذج اللغة.

الطريقة مباشرة: اطرح سؤالاً ي镜映 تنسيق مجموعة البيانات وشاهد ما إذا كان النموذج ي trả lời بشكل صحيح. التحفيز من الصفر ، سلسلة الأفكار ، و التحفيز القليل تم اختباره ، وتم العثور على أن الأخير ، حيث يتم عرض نموذج على بعض الأمثلة ، كان الأكثر فعالية؛ حتى لو كانت هناك طرق أكثر تعقيدًا قد تؤدي إلى استرجاع أعلى ، فقد تم اعتبار هذا كافياً ليكشف عن ما تم تذكره.

التحفيز القليل لاختبار ما إذا كان النموذج يمكن أن يكرر قيم معينة من movieLens-1M عند الاستعلام بسياق معين.

为了 قياس التذكر ، حدد الباحثون ثلاثة أشكال من الاسترجاع: العنصر ، المستخدم ، و التفاعل. هذه الاختبارات تحقق من ما إذا كان النموذج يمكن أن يسترجع عنوان الفيلم من رقم تعريفه ، أو توليد تفاصيل المستخدم من معرف المستخدم ، أو التنبؤ بتقييم المستخدم التالي بناءً على السابقة.

تم اختبار النماذج التالية: GPT-4o؛ GPT-4o mini؛ GPT-3.5 turbo؛ Llama-3.3 70B؛ Llama-3.2 3B؛ Llama-3.2 1B؛ Llama-3.1 405B؛ Llama-3.1 70B؛ و Llama-3.1 8B. تم تشغيل جميعها مع درجة الحرارة معينة على الصفر ، و top_p معين على واحد ، و تم تعطيل كل من الجزء والتكرار.

نسبة إدخالات movieLens-1M المسترجعة من movies.dat و users.dat و ratings.dat ، مع تجميع النماذج حسب الإصدار وترتيبها حسب عدد المعاملات.

تم اختبار كل نموذج لاسترجاع إدخالات دقيقة من الملفات الثلاثة لمجموعة بيانات movieLens-1M: Movies.dat ، Users.dat ، و Ratings.dat.

أظهرت نتائج الاختبارات الأولية ، الموضحة أعلاه ، اختلافات حادة ليس فقط بين عائلات GPT و Llama ، ولكن أيضًا عبر أحجام النماذج. بينما يستطيع GPT-4o و GPT-3.5 turbo استرجاع أجزاء كبيرة من مجموعة البيانات بسهولة ، يستطيع معظم النماذج المفتوحة المصدر استرجاع فقط جزء صغير من نفس المواد ، مما يشير إلى تعرض غير متساوٍ إلى هذا البenchmark في مرحلة ما قبل التدريب.

هذه ليست هامشًا صغيرًا. عبر جميع الملفات الثلاث ، أداء النماذج الأقوى لم يكن فقط أفضل من النماذج الأضعف ، ولكن استرجع أجزاء كاملة من movieLens-1M.

في حالة GPT-4o ، كان التغطية عالية بما يكفي ليشير إلى أن جزءًا كبيرًا من مجموعة البيانات قد تم تذكره بشكل مباشر.

يصرح المؤلفون:

‘تظهر نتائجنا أن نماذج اللغة الكبيرة تتمتع بمعرفة واسعة بمجموعة بيانات movieLens-1M ، وتغطي العناصر وسمات المستخدم وتاريخ التفاعل.

‘من الملاحظ أن سؤالاً بسيطاً يمكن أن يسمح لـ GPT-4o بالاستعادة تقريباً 80٪ من سجلات MovieID: Title. لا يوجد من النماذج التي تم فحصها خالية من هذه المعرفة ، مما يشير إلى أن بيانات movieLens-1M من المحتمل أن تكون مدرجة في مجموعاتها التدريبية. لقد لوحظت اتجاهات مماثلة في استرجاع سمات المستخدم وتاريخ التفاعل.’

ثم قام المؤلفون بتحديد تأثير التذكر على مهام التوصية عن طريق التحفيز كل نموذج ليعمل كنموذج توصية. لتحديد أداءه ، قاموا بمقارنته مع سبعة طرق قياسية: UserKNN؛ ItemKNN؛ BPRMF؛ EASE^R؛ LightGCN؛ MostPop؛ و Random.

تم تقسيم مجموعة بيانات movieLens-1M إلى 80/20 إلى مجموعات تدريب واختبار ، باستخدام استراتيجية Leave-One-Out لتحاكي الاستخدام الحقيقي.

دقة التوصية على أساس الأسس القياسية وأساليب LLM. النماذج لمجموعة حسب العائلة وترتيبها حسب عدد المعاملات، مع قيم بالخط العريض تشير إلى أعلى درجة في كل مجموعة.

هنا ، أدى العديد من نماذج اللغة الكبيرة أداءً أفضل من الأسس التقليدية عبر جميع المقاييس ، مع تحقيق GPT-4o لمARGIN واسع في كل عمود ، وأداء نماذج متوسطة الحجم مثل GPT-3.5 turbo و Llama-3.1 405B بشكل أفضل من أساليب Benchmark مثل BPRMF و LightGCN.

بين نماذج Llama الأصغر ، تباين الأداء بشكل حاد ، ولكن Llama-3.2 3B يبرز ، مع أعلى HR@1 في مجموعته.

يشير المؤلفون إلى أن النتائج تشير إلى أن البيانات المتذكرة يمكن أن تترجم إلى مزايا قابلة للقياس في مهام التوصية ، خاصة بالنسبة لأقوى النماذج.

في ملاحظة إضافية ، يتابع الباحثون:

‘على الرغم من أن أداء التوصية يبدو ممتازًا ، فإن مقارنة الجدول 2 بالجدول 1 تكشف عن نمط مثير للاهتمام. داخل كل مجموعة ، النموذج الذي لديه تذكر أعلى يظهر أداءً أفضل في مهمة التوصية.

‘على سبيل المثال ، يتفوق GPT-4o على GPT-4o mini ، و Llama-3.1 405B يتفوق على Llama-3.1 70B و 8B.

‘تظهر هذه النتائج أن تقييم نماذج اللغة الكبيرة على مجموعات بيانات تسربت في مجموعاتها التدريبية قد يؤدي إلى أداء مبالغ فيه ، مدفوعًا بالتذكر بدلاً من التعميم.’

بخصوص تأثير حجم النموذج على هذه القضية ، لاحظ المؤلفون علاقة واضحة بين الحجم والتذكر وأداء التوصية ، حيث كانت النماذج الأكبر لا تذكر فقط المزيد من مجموعة بيانات movieLens-1M ، ولكن أيضًا أداء أقوى في المهام الجانبية.

على سبيل المثال ، أظهر Llama-3.1 405B معدل تذكر متوسط يبلغ 12.9٪ ، في حين احتفظ Llama-3.1 8B بذكر فقط 5.82٪. هذا الانخفاض بنسبة 55٪ تقريبًا في الذكرار يتوافق مع انخفاض بنسبة 54.23٪ في nDCG و 47.36٪ في HR عبر حدود التقييم.

استمر هذا النمط على مدار – حيث انخفض التذكر ، انخفض الأداء الظاهر:

‘تظهر هذه النتائج أن زيادة حجم النموذج يؤدي إلى تذكر أكبر لمجموعة البيانات ، مما يؤدي إلى تحسين الأداء.

‘نتيجة لذلك ، بينما تظهر النماذج الأكبر أداءً أفضل في التوصية ، فإنها تشكل أيضًا مخاطر تتعلق bằng تسرب البيانات التدريبية.’

أخيرًا ، قام المؤلفون بتحديد ما إذا كان التذكر يعكس انحياز الشعبية الموجود في movieLens-1M. تم تجميع العناصر حسب تكرار التفاعل ، ويظهر الرسم التالي أن النماذج الأكبر تفضل باستمرار المدخلات الأكثر شعبية:

تغطية العنصر حسب النموذج عبر ثلاث فئات من الشعبية: 20٪ الأعلى من الأكثر شعبية؛ 20٪ من المتوسطة الشعبية؛ وأقل 20٪ من التفاعل.

استرجع GPT-4o 89.06٪ من العناصر الأعلى تصنيفًا ، ولكن فقط 63.97٪ من الأقل شعبية. أظهر GPT-4o mini و Llama الأصغر تغطية أقل عبر جميع الحلقات.

يشير المؤلفون إلى أن هذا الاتجاه يشير إلى أن التذكر لا يزيد فقط مع حجم النموذج ، ولكن يزيد أيضًا من انحيازات موجودة مسبقًا في بيانات التدريب.

يتابعون:

‘تظهر نتائجنا انحيازًا واضحًا في نماذج اللغة الكبيرة ، حيث تكون العناصر الأعلى شعبية أكثر سهولة في الاسترجاع من العناصر الأقل شعبية.

‘هذا الاتجاه يسلط الضوء على تأثير توزيع بيانات التدريب ، حيث يتم تمثيل الأفلام الشعبية بشكل زائد ، مما يؤدي إلى تذكرها بشكل غير متناسب من قبل النماذج.’

الخلاصة

المشكلة لم تعد جديدة: مع نمو مجموعات التدريب ، تتناقص فرصة تحضيرها. تدخل movieLens-1M ، ربما مع العديد من الآخرين ، إلى هذه المجموعات الكبيرة دون رقابة ، مجهولة الهوية بين حجم البيانات.

تكرر المشكلة في كل مستوى وتقاوم التutomatization. أي حل يتطلب ليس فقط جهدًا ، ولكن حكمًا بشريًا – الحكم البطيء والخاطئ الذي لا يمكن أن تقدمه الآلات. في هذا الصدد ، لا تقدم الورقة الجديدة طريقًا للأمام.

* مقياس التغطية في هذا السياق هو نسبة مئوية تظهر مقدار ما يمكن لنموذج اللغة استرجاعه من مجموعة البيانات الأصلية عند طرح السؤال الصحيح. إذا تم طرح نموذج بسؤال يحتوي على رقم تعريف الفيلم وresponded بالعنوان والنوع الصحيح ، فذلك يعتبر استرجاعًا ناجحًا. يتم بعد ذلك قسمة عدد الاسترجاعات الناجحة على إجمالي عدد الإدخالات في مجموعة البيانات لتحديد درجة التغطية. على سبيل المثال ، إذا استرجع نموذج المعلومات الصحيحة ل 800 من 1000 عنصر ، فدرجة التغطية ستكون 80٪.

نشر لأول مرة يوم الجمعة ، 16 مايو 2025