تقييم الدقة التاريخية لبيانات ImageNet

أضاف بحث جديد من جوجل ريسيرتش و جامعة كاليفورنيا، بيركلي إلى النقد الطويل الأمد حول الاعتماد على مجموعة بيانات ImageNet في قطاع أبحاث الرؤية الحاسوبية، و مشتقاتها. بعد تقييم يدوي شاق، يخلص المؤلفون إلى أن حوالي 50% من الأخطاء المفترضة التي يرتكبها أفضل النماذج على جزء التقييم متعدد العلامات من ImageNet (حيث تحقق النماذج الأفضل أداء دقة top-1 تتجاوز 97%) ليست أخطاء في الواقع.

من البحث:

‘تظهر تحليلاتنا أن ما يقارب نصف الأخطاء المفترضة ليست أخطاء على الإطلاق، ونكشف عن علامات متعددة صالحة جديدة، مما يدل على أننا نقلل كثيراً من تقدير أداء هذه النماذج بدون مراجعة دقيقة.’

‘من ناحية أخرى، وجدنا أن أفضل النماذج لا تزال ترتكب عددًا كبيرًا من الأخطاء (40%) التي هي واضحة الخطأ للمراجعين البشرين.’

تظهر الدراسة مدى تأثير تسمية بيانات غير دقيقة – خاصة تلك التي يتم إجراؤها بواسطة عمال التعهيد الجماعي غير المدربين – على القطاع، من خلال نهجها الشاق لتقييم أزواج الصور والنصوص عبر جزء كبير من تاريخ ImageNet.

في الصف العلوي، أمثلة على شدة الخطأ: في أول مثالين هنا، يخطئ النموذج الجديد ببساطة في العلامة المتوقعة؛ في المثال الثالث، يحدد النموذج الجديد علامة متعددة مفقودة مسبقًا (علامة تتناول تصنيفًا جديدًا للصورة)؛ في الصورة الأخيرة في الصف العلوي، تنبؤ النموذج غامض لأن الصورة هي ذبابة-نحلة وليست ذبابة. ومع ذلك، ينتمي النحل العادي إلى رتبة الحشرات ديبتيرا، وبالتالي فإن هذه الاستثناء ستكون شبه مستحيلة ملاحظتها، حتى للمراجعين الخبراء. في الصف التالي، أربع فئات أخطاء، مع أمثلة. مصدر: https://arxiv.org/pdf/2205.04596.pdf

استخدم الباحثون عددًا صغيرًا من المراجعين المخصصين لمراجعة سجلات الأخطاء التاريخية في مجموعة بيانات ImageNet، ووجدوا أن العديد من أحكام الأخطاء هي في حد ذاتها أخطاء – اكتشاف قد يعدل بعض التقييمات السيئة التي حصلت عليها العديد من المشاريع على معايير ImageNet على مر السنين.

مع ترسخ ImageNet في ثقافة أبحاث الرؤية الحاسوبية، يعتقد الباحثون أن تحسينات الدقة تُعتبر عائدات متضائلة، وأن النماذج الجديدة التي تتجاوز دقة العلامات المحددة، والتي تقترح علامات إضافية جديدة (أي إضافية) قد يتم معاقبتها، في الأساس، لعدم التوافق مع المعايير القائمة.

‘على سبيل المثال،’ يشير المؤلفون. ‘هل يجب أن نعاقب النماذج على التنبؤ بأن خبز بيغل مخبوزاً مسبقاً قد يكون بيغل، كما يفعل أحد النماذج التي نراجعها في هذا العمل؟’

من البحث، نموذج جديد يخالف التنبؤ السابق بأن الكائن في الصورة هو عجينة، ويقترح أن الكائن هو في الواقع خبز بيغل.

من وجهة نظر عامل تعهيد جماعي المكلف بتحديد كائن مثل هذا، فهذه معضلة دلالية وفلسفية يمكن حلها فقط من خلال التسمية المتعددة (كما يحدث في مجموعات لاحقة وتكرارات لاحقة من ImageNet)؛ في هذه الحالة، الكائن هو في الواقع عجيناً وفي الوقت نفسه بيغل في طور التشكّل.

الأخطاء الكبيرة (في الأعلى) والصغيرة (في الأسفل) التي ظهرت عند اختبار نماذج مخصصة في البحث. العلامات الأصلية في ImageNet هي الصور الأولى على اليسار.

الحلان الواضحان هما تخصيص المزيد من الموارد للتسمية (وهو تحدي داخل القيود المالية لمشاريع أبحاث الرؤية الحاسوبية)؛ وتأكيد الباحثين على تحديث مجموعات البيانات وتقييمات العلامات بانتظام (وهو ما، من بين عقبات أخرى، يخاطر بكسر الاتساق التاريخي للمعايير، وتناثر الأوراق البحثية الجديدة بتوضيحات وتحفظات بشأن قابلية المقارنة).

كخطوة لتصحيح الوضع، قام الباحثون بتطوير مجموعة فرعية جديدة من ImageNet تسمى ImageNet-Major (ImageNet-M)، والتي يصفونها بأنها ‘شريحة أخطاء رئيسية من 68 مثالًا – أخطاء واضحة يفترض أن تحقق النماذج فيها الكمال، لكنها بعيدة عن ذلك.’

البحث المقال يحمل عنوان متى يصبح العجين خبز بيغل؟ تحليل الأخطاء المتبقية في ImageNet، ويكتبه أربعة مؤلفين من جوجل ريسيرتش، مع سارة فريدوفيتش-كايل من جامعة كاليفورنيا، بيركلي.

الديون التقنية

تكون النتائج مهمة لأن الأخطاء المتبقية المحددة (أو الخاطئة) في ImageNet، في 16 عامًا منذ إنشائها، يمكن أن تمثل الفرق بين نموذج قابل للنشر ونموذج معرض للخطأ بدرجة كافية بحيث لا يمكن إطلاقه على بيانات حية. كما هو الحال دائمًا، المرحلة الأخيرة حاسمة.

قطاع أبحاث الرؤية الحاسوبية وصنع الصور قد اختار بشكل فعال ImageNet كمعيار لقياس الأداء، لأسباب عديدة – ليس أقلها أن عددًا من رواد الصناعة، في وقت كانت فيه مجموعات البيانات الكبيرة والمحددة جيدًا نادرة أكثر مما هي عليه الآن، أنتجت العديد من مبادرات البحث التي أصبحت اختبار ImageNet بسرعة هو المعيار الوحيد للتاريخ لقياس أداء أطر العمل الجديدة.

الطريقة

بحثًا عن “الأخطاء المتبقية” في ImageNet، استخدم الباحثون نموذج ViT قياسي (قادر على تحقيق دقة 89.5%) مع 3 مليارات معامل، Vit-3B، تم تدريبه مسبقًا على JFT-3B وتم تحسينه على ImageNet-1K.

استخدم الباحثون مجموعة بيانات ImageNet2012_multilabel، وسجلوا الدقة الأولية المتعددة العلامات (MLA) لنموذج Vit-3B بنسبة 96.3%، خلال التي ارتكب النموذج 676 حالة تبدو أخطاء. كانت هذه الأخطاء (وأيضًا الأخطاء التي أنتجها نموذج Greedy Soups) التي سعى المؤلفون لدراستها.

لتقييم الأخطاء المتبقية البالغ عددها 676 خطأ، تجنب الباحثون عمال التعهيد الجماعي، مشيرين إلى أن أخطاء من هذا النوع يمكن أن تكون صعبة على المراجعين العاديين ملاحظتها، ولكن جمعوا فريقًا من خمسة مراجعين خبراء، وقاموا بإنشاء أداة مخصصة لتمكين كل مراجع من رؤية الفئة المتوقعة؛ درجة التنبؤ؛ العلامات المرجعية؛ والصورة نفسها.

واجهة المستخدم التي تم بناؤها للمشروع.

في بعض الحالات، كان من الضروري إجراء مزيد من البحث لحل النزاعات بين الفريق، واستخدمت بحث جوجل الصور كأداة مساعدة.

‘[في] حالة واحدة مثيرة للاهتمام ولكن ليست معزولة، كان هناك تنبؤ سيارة أجرة (بدون مؤشرات واضحة لسيارة أجرة بخلاف اللون الأصفر) موجودًا في الصورة؛ قمنا بتحديد التنبؤ بشكل صحيح كسيارة أجرة وليس سيارة عادية من خلال تحديد جسر معلم في الخلفية لتحديد المدينة، وبحث لاحق على جوجل الصور عن سيارات أجرة في تلك المدينة أنتج صوراً لنفس نموذج سيارة الأجرة وتصميم لوحة الترخيص، مما يؤكد تنبؤ النموذج الصحيح.’

بعد المراجعة الأولية للأخطاء التي وجدت خلال مراحل متعددة من البحث، صاغ المؤلفون أربعة أنواع جديدة من الأخطاء: خطأ دقيق الحبيبة، حيث تكون الفئة المتوقعة مشابهة للعلامة المرجعية؛ دقيق الحبيبة مع فئة خارج القاموس (OOV)، حيث يعرف النموذج كائنًا من فئة صحيحة ولكنها غير موجودة في ImageNet؛ ارتباط زائف، حيث يتم قراءة العلامة المتوقعة خارج سياق الصورة؛ و غير نمطي، حيث يكون الكائن المرجعي مثالًا زائفًا للفئة التي تشبه العلامة المتوقعة.

في بعض الحالات، لم تكن العلامة المرجعية نفسها “صحيحة”:

‘بعد مراجعة الأخطاء الأصلية البالغ عددها 676 خطأ [التي وجدت في ImageNet]، وجدنا أن 298 حالة كانت تنبؤات صحيحة أو غير واضحة، أو حددنا أن العلامة المرجعية الأصلية كانت خاطئة أو مشكلة.’

بعد جولة من التجارب الشاملة والمعقدة عبر مجموعة من مجموعات البيانات والمجموعات الفرعية ومجموعات التحقق، وجد المؤلفون أن النموذجين قيد الدراسة كانا في الواقع صحيحة (من قبل المراجعين البشر) لنصف “الأخطاء” التي ارتكبوها باستخدام التقنيات التقليدية.

يخلص البحث إلى:

‘في هذا البحث، قمنا بتحليل كل خطأ متبق يرتكبه نماذج ViT-3B و Greedy Soups على مجموعة التقييم المتعددة العلامات في ImageNet.

‘بشكل عام، وجدنا أن: 1) عندما يصدر نموذج كبير وعالي الدقة تنبؤاً جديداً لا تصدره النماذج الأخرى، يتبين أنه علامة إضافية صحيحة جديدة في نحو نصف الحالات؛ 2) النماذج الأعلى دقة لا تظهر نمطًا واضحًا في فئات الأخطاء التي تعالجها ودرجات شدتها؛ 3) النماذج الأفضل اليوم تتماشى بشكل كبير أو تتجاوز أداء أفضل خبير بشري على مجموعة التقييم المتعددة العلامات التي يتم تقييمها من قبل البشر؛ 4) بيانات التدريب المشوشة والفئات غير المحددة قد تكون عاملاً يقيد القياس الفعال لتحسينات التصنيف الصوري.’

نشر لأول مرة في 15 مايو 2022.