البيانات ‘المرتدة’ التي تلوت أداء الذكاء الاصطناعي التوليدي

وجدت دراسة جديدة أن العديد من مجموعات البيانات الشائعة المستخدمة في تدريب نماذج الذكاء الاصطناعي قد تم تلوثها بصور الاختبار أو نسخ مكررة ، مما يسمح للنماذج بالغش من خلال تذكر الإجابات بدلاً من التعلم. إن التسرب شائع ولكن بشكل عام غير محسوس ، ويتسبب في التضخم السري للاختبارات ويعطي ميزة غير عادلة للنماذج المدربة على بيانات على مستوى الويب.

عندما تؤدي اختبار القيادة ، لا يتم إخبارك عادةً مسبقًا بالضبط أي الطرق التي ستستخدمها في الاختبار. إذا فعلت (وكانت لديك نقص في النزاهة) ، قد “تُحسّن” الاختبار من خلال الممارسة المتكررة على ذلك المسار ، بدلاً من تطوير مهارات القيادة الأوسع التي يمكنها التعامل مع أي مسار بشكل معقول.

في تدريب نماذج التعلم الآلي ، هذا هو مقارنة معقولة لتقسيم الاختبار – تقسيم بيانات مجموعة التدريب بين (عادة) 70٪ من البيانات التي ستستخدم لتدريب النموذج ، مع استخدام 30٪ المتبقية كبيانات “في البرية”.

منذ أن لم تتم رؤية بيانات “البرية” من قبل النموذج ، إذا أدى النموذج بشكل جيد على تلك البيانات ، يمكن افتراض أنه فعال ومتأثر ؛ إذا لم يكن كذلك ، قد يكون النموذج قد تجاوز التعلم على مجموعة متوازنة – أو أن البيانات تحتاج إلى مزيد من العناية والتعريف.

على أي حال ، لا تقييم النماذج على بيانات التدريب هو ركن أساسي في طريقة البحث الحالي في الذكاء الاصطناعي.

نفس الشيء مرة أخرى

وفقًا لأبحاث جديدة من اليابان ، لم تتمكن مجال البحث في الرؤية الحاسوبية والذكاء الاصطناعي التوليدي من مطابقة الجهود التي بذلها باحثو LLM لضمان عدم تلوث بيانات الاختبار ببيانات التدريب ؛ في الاختبارات ، وجد الباحثون أن كل مجموعة بيانات رؤية كبيرة التي درستها ، بما في ذلك تلك التي تدعم بعض أكبر أنظمة الذكاء الاصطناعي التوليدي الحالية ، قد سمحت لبيانات الاختبار بالاختراق إلى بيانات التدريب – مما يعني أن المعايير والتقارير الأدائية للنماذج المدربة على هذه الانقسامات لن تكون أكثر دقة من نتيجة اختبار لشخص قام بتهريب ورقة الغش إلى قاعة الاختبار ، ولن تعكس الأداء في العالم الحقيقي على بيانات جديدة حقيقية.

أمثلة على تلوث البيانات التي وجدها الباحثون ، حيث توجد نقاط بيانات مكررة أو شبه مكررة في كل من بيانات التدريب والاختبار. مصدر: https://arxiv.org/pdf/2508.17416

في الصورة أعلاه ، من الورقة الجديدة ، نرى أمثلة على نقاط بيانات مكررة أو شبه مكررة في كل من بيانات التدريب والاختبار لمجموعة متنوعة من النماذج – ما يكفي لإبطال أداء النموذج على تلك البيانات ، وتضخيم نتيجته العامة عبر اللوحة ، مما يسهل مظهرًا لمستوى التعميم قد لا يكون النموذج قد حققه بالفعل.

لجعل الأمور أكثر تعقيدًا ، يبدو أن التلوث يحدث عبر مجموعة متنوعة من السيناريوهات ، بما في ذلك “التدريب المسبق” ، حيث يتم استخدام الأوزان من النماذج الأصلية القديمة لبدء تشغيل نموذج جديد. إذا كان النموذج الأصلي الأقدم يحتوي على بعض نفس البيانات مثل مجموعة البيانات الجديدة التي يتم إعدادها مسبقًا ، فيمكن أن يحدث تلوث متقاطع حتى إذا كان الانقسام 70/30 أو 80/20 نظيفًا.

التأثير التراكمي

من المحتمل جدًا أن يحدث هذا حتى في أحدث مجموعات البيانات: لقد نمت نطاق مجموعات بيانات الرؤية واللغة بشكل كبير خلال السنوات الخمس الماضية ، وشملت ليس فقط أحدث بيانات الصور على الويب ، ولكن أيضًا إعادة حصاد الكثير من نفس البيانات التي سكنت تلك المجموعات التاريخية القديمة.

علاوة على ذلك ، فإن الروتينات الآلية المصممة لفرش وتصفية مليارات الصور للبحث عن المكررات والشبه مكررات تواجه الآن مهمة شاقة لدرجة أن العناية بنفسها – تكلفة الوقت والمال – يجب الآن أن تُعتبر في سياق القيود المالية.

في غضون ذلك ، فإن تكرار الصورة هو نتيجة حتمية لنوع الغش وراء جمع مجموعات كبيرة مثل Common Crawl ، بسبب الممارسة الشائعة لإعادة نشر وإعادة ضغط الصور ، وتطبيق التعديلات مثل القص ، وحتى العكس (لتهرب من الكشف ، عندما قد تكون الصورة قد استخدمت بدون إذن ، على سبيل المثال).

يقول المؤلفون*:

‘التسرب البياني هو مشكلة شائعة ، منتشرة في معظم مجموعات البيانات البصرية. يمكن للتسرب إخفاء قدرة النماذج على التعميم ، وهو أمر محير特别 عند مقارنة نماذج مدربة على مجموعات بيانات مختلفة ، مما يؤدي إلى مقارنات غير عادلة. ‘

‘ننصح مصممي المجموعات بالاعتبار بعناية آثار هذه التقييمات. من أجل تقييم نموذج أكثر نزاهة ، نوصي باستخدام كاشفات المكررات التي تضع في الاعتبار التسرب الصلب واللين. ‘

‘في المثالي ، يجب إزالة الصور المخترقة من مجموعة التدريب ، وإذا لم يكن ذلك ممكنًا ، فيجب على الأقل إزالتها من مجموعة الاختبار.’

توسع الورقة في عدد من الاختبارات التي أجريها الباحثون على مجموعات بيانات ضخمة وشائعة – كل واحدة منها أظهرت مستوى من التلوث.

الورقة الجديدة بعنوان تسرب البيانات في مجموعات البيانات البصرية ، وهي من ثلاثة باحثين في جامعة أوساكا.

الطريقة

يحدد مؤلفو الورقة التسرب في ثلاثة أبعاد: الوضعية، الغطاء، والدرجة.

الوضعية تميز ما إذا كانت فقط الصور متسربة أو كل من الصور والتعليمات معروضة؛ الغطاء تحدد ما إذا كان الت重م يحدث داخل نفس المجموعة أو عبر مجموعات بيانات مختلفة؛ والدرجة تحدد ما إذا كانت المحتوى المكرر هو نفس الشيء بالضبط أو مجرد محتوى قريب.

فيما يتعلق بالتسرب ، هناك سيناريوهان يتم النظر فيهما في العمل: تسرب المجموعة الداخلية (حيث تعيد الصور التقييمية الظهور في جزء التدريب من نفس المجموعة)؛ وتسرب المجموعة المتقاطعة (حيث توجد صور التقييم من مجموعة بيانات واحدة في مجموعة بيانات أخرى تستخدم للتدريب).

فيما يتعلق بالدرجة ، يتم تعريف مستويين: التسرب اللين (حيث لا تكون الصور متطابقة ولكنها تظهر اختلافات طفيفة)؛ والتسرب الصلب (حيث تكون الصور متطابقة بالضبط عبر التدريب والتقييم).

يتم معالجة الكشف عن التسرب من حيث استرجاع الصور ، باستخدام مشفرات الصور لتمثيل كل صورة كـ متجه ميزة. مجموعة الاستعلام هي بيانات التقييم ، في حين أن المجموعة هي مجموعة التدريب.

对于 مجموعات بيانات أصغر ، تمت مقارنة كل متجه استعلام مباشرة مع جميع متجهات التدريب باستخدام التشابه المثلثي.对于 مجموعات بيانات أكبر ، تم بناء فهرس Faiss لتمكين البحث السريع عن K-Nearest Neighbors (KNN).

由于 المشفر يحتاج إلى التقاط معلومات بصرية كافية للكشف عن أوجه الشبه الدقيقة ، ولكنه لا يزال يجب أن يبقى فعالًا في مواجهة حجم كبير من البيانات ، اعتمد المؤلفون على ميزات CLIP المسبقة التي قدمها مصممو المجموعة ، في حالة مجموعة LAION التي تدعم Stable Diffusion ومشاريع لاحقة.

يشير المؤلفون إلى أن السماح لـ CLIP باستخدام فهمه المُستخلص من المجموعة (بدلاً من استجواب الملفات الفعلية بمقياس كبير) قد أسرع العملية بشكل كبير ، ووفر استمرارية أفضل عبر المقارنات.

البيانات والاختبارات

كان مشفر الصور CLIP المستخدم في الاختبارات للعمل الجديد هو CLIP ViT-B/32 الأصلي الذي تم استخدامه في الأصل لفرز LAION. تم استخدام KNN لتحديد ما إذا كانت الصور المتنوعة متعلقة ببعضها البعض تحت AutoFaiss.

تم تجميع المجموعات في ثلاثة أنواع: مجموعات التدريب المسبق – مجموعات كبيرة مجمعة من الويب ، تستخدم لتدريب نماذج عامة؛ مجموعات التدريب – مجموعات أصغر ، غالبًا ما تكون مصحوبة بالتعليمات ، مخصصة لتعديل النماذج مباشرة؛ ومجموعات البenchmarks – تمت تعليمها يدويًا ، وتستخدم حصريًا للتقييم.

شمل التحليل عشرين قسمًا عبر سبع مجموعات بيانات: تم استخدام Microsoft COCO ك مجموعة تدريب وتقييم ، وتم تضمين أقسام التدريب والتحقق والاختبار والغير مصنفة؛ وخدم Flickr30k حصريًا كمعيار؛ ومجموعة Google Conceptual Captions (GCC) تمت معاملتها كمصدر للتدريب المسبق ، مع استخدام جزء التحقق أيضًا للتقييم.

علاوة على ذلك ، تم استخدام ImageNet للتدريب والتقييم ، في حين تم استخدام مجموعة LAION-400M فقط للتدريب المسبق.

ساهم OpenImages v4 في بيانات التدريب والتقييم ، ووفر TextCaps أقسام التدريب والاختبار للتقييم.

أمثلة على تعليمات الصور من مجموعة Open Images من جوجل ، التي تم فحصها في العمل الجديد. مصدر: https://arxiv.org/pdf/1811.00982

为了 تقييم كيفية تحمل الطريقة للكشف عن التسرب عندما يتم تعديل الصور بشكل خفيف من خلال إعادة تحجيم أو قص أو تحويلات مماثلة غير семантиكية ، تم اختبارها على Flickr30k ، وتم اختيار 5000 صورة بشكل عشوائي كاستعلامات ، وتم استخدام المجموعة الكاملة كمجموعة المرجع.

تم تحويل كل صورة استعلام قبل التشفير (أي تم تعريضها لتعديل غير семантиوي مثل إعادة التحجيم أو القص) ، ثم تم مطابقتها مع العنصر الأكثر تشابهًا في المجموعة باستخدام التشابه المثلثي؛ تم حساب المطابقة فقط إذا تم استرجاع الصورة الأصلية كنتيجة أعلى.

تم مقارنة ثلاثة مشفرات: ResNet-152؛ DINOv2 ViT-B/14؛ وCLIP ViT-B/32.

تم استخدام أربعة أنواع من تحويلات الصور غير الсемантиوية: هندسية (الانعكاسات والدورات)؛ قص (إزالة 20 أو 50 أو 100 بكسل من كل حافة)؛ تقطيع البكسل (تأثير الضباب الأوسد ، أو إضافة الضوضاء ، أو تصغير إلى 128 أو 256 بكسل)؛ واللون (الألوان الرمادية ، أو العكس ، أو طبقات حمراء أو خضراء أو زرقاء).

من المواد الإضافية ، أمثلة على التحويلات المطبقة على البيانات – روتينات نموذجية في مرحلة ما قبل المعالجة من تعزيز البيانات.

ثم تم اختبار الكشف عن التسرب في استرجاع الصور:

دقة الكشف عن التسرب على 5000 صورة استعلام من Flickr30k خضعت لتحويلات غير семантиوية مختلفة.

حققت جميع المشفرات الثلاث أداء مثالي على الصور غير المعدلة ، وتم الحفاظ على موثوقية CLIP عبر القص والانعكاسات الأفقية والضوضاء وإعادة التحجيم ، متجاوزة ResNet على التغييرات على مستوى البكسل واللون.

أظهر DINOv2 قوة في تحمل التحويلات اللونية (ربما بسبب تصميمه الموجه ذاتيًا ، كما يعتقد المؤلفون) ، ولكنه كان أضعف بشكل ملحوظ على التحرير الهندسي والقص – كلاهما شائع في مجموعات البيانات المكررة.

由于 LAION已经 تحتوي على ميزات CLIP ، و نظرًا لثباتها المستمر والسرعة ، تم اختيار CLIP كمشفر افتراضي للتحليل الرئيسي.

التسرب الصلب واللين

تم تقييم الأداء عبر عتبارات تشابه مثلثية مختلفة لتمييز الصور المتطابقة والشبه متطابقة (التسرب الصلب واللين).

تم اختيار عتبة 0.98 لتعريف التسرب الصلب ، مما أدى إلى عدم وجود إيجابيات خاطئة واكتشاف مثالي للصور المتطابقة.

对于 التسرب اللين ، تم اختيار عتبة 0.95 ، مما يسمح بتمييز المزيد من الصور الشبه متطابقة مع الحفاظ على معدل إيجابيات خاطئة قريب من الصفر. تم إعطاء الأولوية للدقة على الاستدعاء ، وتم تقدير النتائج ب prudence:

منحنيات_ROC استخدمت لتوجيه اختيار عتبات التسرب الصلب واللين. تظهر درجات AUC العالية في ظروف متغيرة وغير متغيرة أن الصور الشبه متطابقة يمكن تمييزها بثبات من الصور غير المرتبطة ، حتى عند وجود تحويلات دقيقة.

تسرب المجموعة الداخلية

تم حساب تسرب المجموعة الداخلية من خلال تحديد перекрытие الصور بين أقسام التدريب والتقييم داخل نفس المجموعة. فقط المجموعات التي تحتوي على أقسام تقييم وتدريب أو تدريب مسبق كانت مؤهلة ، مما ي缩ص التحليل إلى COCO وGCC وImageNet وOpenImages وTextCaps.

对于 COCO ، تم مقارنة مجموعة الاختبار مع مجموعات التدريب والتحقق والغير مصنفة ، ومجموعة التحقق مع مجموعات التدريب والغير مصنفة.

تم ملاحظة أعلى معدلات تسرب المجموعة الداخلية في مجموعة اختبار ImageNet ومجموعة التحقق ، مع تسرب صلب يصل إلى 1.58٪ وتسرب لين يصل إلى 2٪. تبعتها GCC وCOCO ، مع تسرب لين يصل إلى 3٪ لمجموعة التحقق val2017 لمجموعة COCO ، ومعدلات تسرب في مجموعة الاختبار تتراوح بين 1.35٪ و1.38٪. أظهرت OpenImages تسربًا صلبًا منخفضًا عند 0.05٪ ، ولكن تسربًا لينًا يزيد عن 1.3٪ في كل من مجموعة الاختبار ومجموعة التحقق. أظهرت TextCaps أدنى معدل تسرب إجمالي عند 0.69٪ ، مع عدم وجود تسرب صلب تم اكتشافه:

معدلات تسرب المجموعة الداخلية ، مما يظهر نسبة كل قسم تقييم يتقاطع مع بياناته المرتبطة.

فيما يتعلق بهذه النتائج ، يقول المؤلفون†:

‘تظهر هذه النتائج أن تسرب المجموعة الداخلية يحدث في جميع المجموعات التي تم تحليلها ، إما في شكل صلب أو لين.

‘نظرًا لأن تسرب البيانات يمكن أن يضعف تقييم النموذج ، وأن المجموعات يتم تصميمها خصيصًا لهذا الغرض ، فإن تسرب المجموعة الداخلية هو خطر لا ينبغي أن by design يحدث.

‘ومع ذلك ، لقد وجدنا عدة حالات في جميع المجموعات.’

تسرب المجموعة المتقاطعة

为了 قياس تسرب المجموعة المتقاطعة (حيث يتم تدريب نموذج على مجموعة بيانات واحدة وتقييمه على أخرى) ، تم استخدام أربعة مجموعات بيانات كمصادر لبيانات التدريب: GCC train، ImageNet train، OpenImages train، وLAION.

تم مطابقتها مع بيانات تقييم مستمدة من مجموعة اختبار COCO 2014 ومجموعة التحقق ، وFlickr30k ، وTextCaps ، ومجموعة اختبار OpenImages ومجموعة التحقق ، ومجموعة اختبار ImageNet ومجموعة التحقق.

تم استخراج ميزات CLIP ViT-B/32 لجميع المجموعات باستثناء LAION ، التي توفر ميزات مسبقة. ومع ذلك ، نظرًا لأن هذه الميزات تختلف قليلاً عن تلك التي تم إنشاؤها باستخدام التطبيق الرسمي لـ CLIP ، تم إعادة تحجيم الصور الاستعلامية وفقًا للطريقة المستخدمة في مستودع clip-retrieval لضمان التوافق.

تم إجراء الاسترجاع باستخدام بحث KNN ، على الرغم من أن حجم LAION تطلب تقسيمه إلى كتل من مليون صورة ، مع فهرسة كل منها بشكل منفصل:

تسرب المجموعة المتقاطعة بين مجموعات البenchmarks (الأعمدة) ومجموعات التدريب المسبق (الصفوف). على الجانب الأيسر نرى ‘التسرب الصلب’ (الصور المتطابقة) ، وعلى الجانب الأيمن ‘التسرب اللين’ (الصور الشبه متطابقة).

تم ملاحظة تسرب المجموعة المتقاطعة عبر جميع مجموعات البenchmarks ، مع درجات مختلفة من الشدة. أظهرت LAION أعلى معدلات تسرب صلب (صور متطابقة) ، خاصةً لمجموعتي OpenImages وTextCaps ، كلتاهما تتجاوزان 3٪. ساهمت OpenImages أيضًا في تسرب صلب أقل لمجموعة COCO.

على الرغم من أن التسرب الصلب كان أقل حدة ، فإن ImageNet لا يزال يحتوي على صور متطابقة صلبة من كل مجموعة اختبار تم فحصها؛ وأظهرت GCC أدنى تسرب صلب إجمالي ، دون 1٪.

كان التسرب اللين (الصور الشبه متطابقة) أكثر انتشارًا: أظهرت LAION مرة أخرى أعلى معدلات ، مع ما يصل إلى 7.9٪ من перекрытие لبعض مجموعات البenchmarks؛ وأظهرت OpenImages وTextCaps تأثيرًا أكبر إجماليًا؛ وأظهرت Flickr30k أقل تسرب.

على الرغم من أن هذه الت重م قد تشكل جزءًا صغيرًا فقط من مجموعات التقييم ، يشير المؤلفون إلى أن وجودها يمكن أن يسمح بالتذكر ويتأثر بسريانية الاختبار:

أمثلة على الصور المخترقة. على اليسار ، حالات ‘التسرب الصلب’ ، حيث تكون الصور متطابقة داخل مجموعة (أعلى) أو بين مجموعات (أسفل) ؛ على اليمين ، حالات ‘التسرب اللين’ ، حيث تكون الصور شبه متطابقة.

التأثير على التقييمات التنازلية

تعتبر الورقة بعد ذلك كيف يؤثر تسرب البيانات على التقييمات التنازلية (أي الأداء على المهام القياسية عند اختبار نماذج مسبقة على مجموعات البenchmarks التي تحتوي على بيانات التدريب المكررة).

تم النظر في ثلاث مهام: التصنيف بدون صور؛ التصنيف الخاضع للإشراف؛ و استرجاع الصورة والنص.

对于 كل مهمة ، تم تقييم أداء النموذج على مجموعة تقييم معروفة بمعرفة عينات تسرب موجودة بالفعل في بيانات التدريب المسبق. تم مقارنة النتائج عبر أربعة مجموعات فرعية: مجموعة التقييم الكاملة؛ مجموعة فرعية من عينات التسرب؛ مجموعة فرعية من عينات غير التسرب؛ ومجموعة فرعية مختارة عشوائيًا بحجم مجموعة التسرب (كمرجع).

تم قياس تأثير تسرب البيانات على ثلاث مهام تنازلية باستخدام مجموعات تقييم فرعية معروفة بمعرفتها لعينات تسرب في بيانات التدريب. في التصنيف بدون صور ، حقق نموذج تم تدريبه على LAION دقة أعلى بشكل ملحوظ على الصور المخترقة من مجموعة تقييم ImageNet ، مما يؤكد أن التعرض حتى للصور الشبه متطابقة خلال التدريب يوفر ميزة قابلة للقياس:

دقة التصنيف بدون صور على مجموعة تقييم ImageNet عبر مجموعات فرعية مع وبدون تسرب. العمود الأخير ي报道 المكاسب النسبية لمجموعة كاملة ، والصفوف المhighlight تتوافق مع مجموعات فرعية مخترقة.

对于 التصنيف الخاضع للإشراف ، تسبب التسرب في انخفاض أداء كبير في ImageNet – إلا إذا كان للصورة المخترقة نفس التصنيف في كلا القسمين ، في这种 الحالة حقق النموذج دقة تقريبًا مثالية ، مما يكشف عن تأثير تذكر قوي:

دقة التصنيف الخاضع للإشراف على مجموعة تقييم ImageNet لمجموعات فرعية مع وبدون تسرب. أعمدة المكاسب تظهر التغيير بالنسبة لمجموعة كاملة. مجموعات فرعية مخترقة مhighlight.

في استرجاع الصورة والنص ، تحسنت الأداء مرة أخرى على عينات التسرب ، مع تسرب صلب و لين يؤديان إلى استدعاء أعلى ، ومع عينات مخترقة تؤدي إلى نتائج أكثر ثباتًا عبر التشغيل:

أداء استرجاع الصورة والنص على Flickr30k عبر مجموعات فرعية مع وبدون تسرب ، مع مجموعات فرعية مخترقة مhighlight.

يختم المؤلفون:

‘بشكل عام ، نُظهر أدلة متسقة على أن التسرب يشكل تهديدًا خطيرًا لتقييم النموذج العادل في مجموعات البيانات البصرية ، مما يضعف أحد المبادئ الأساسية للتعلم الآلي: عدم تقييم النماذج على بيانات التدريب.’

الخلاصة

من الجوانب المثيرة للصدمة في الورقة ، على الرغم من أنها ليست جديدة ، هو الحساب المتعلق باستخدام CLIP للحصول على ميزات لجبل كبير من بيانات الصور في LAION ، مما يمثل نطاقًا لا يمكن معالجته بأي طريقة أخرى غير التجميع ، والتعامل مع بيانات التعرف على الكلمات بدلاً من الخصائص الأكثر تفصيلاً التي يمكن فحصها عندما تكون المجموعة أكثر إدارة.

إنه توضيح صارخ لمدى تجاوز تدريب نماذج الرؤية واللغة حدود و قدرات الإشراف البشري ، أو أي نوع من التنقيح اليدوي بخلاف العينات التمثيلية.

* ربما يكون هناك بعض الارتباك ، يتم تعريف مشكلة التكرار في الورقة باسم ‘التسرب’.

† تأكيد المؤلفين.

نشر لأول مرة يوم الثلاثاء ، 26 أغسطس 2025