تقييم الدقة التاريخية لبيانات ImageNet

أضاف بحث جديد من جوجل ريسيرتش و جامعة كاليفورنيا، بيركلي إلى النقد الطويل الأمد حول الاعتماد على مجموعة بيانات ImageNet في قطاع أبحاث الرؤية الحاسوبية، و مشتقاتها. بعد تقييم يدوي شاق، يخلص المؤلفون إلى أن حوالي 50% من الأخطاء المفترضة التي يرتكبها أفضل النماذج على جزء التقييم متعدد العلامات من ImageNet (حيث تحقق النماذج الأفضل أداء أكثر من 97% في الدقة الأولى) ليست أخطاء في الواقع.

من البحث:

‘تظهر تحليلاتنا أن几乎 نصف الأخطاء المفترضة ليست أخطاء على الإطلاق، ونكشف عن علامات متعددة صالحة جديدة، مما يدل على أننا نحصل على تقييمات أداء هذه النماذج بشكل غير دقيق بدون مراجعة دقيقة.’

‘من ناحية أخرى، وجدنا أن أفضل النماذج لا تزال ترتكب عددًا كبيرًا من الأخطاء (40%) التي هي واضحة الخطأ للمراجعين البشرين.’

تظهر الدراسة مدى تأثير تسمية بيانات غير دقيقة – خاصة تلك التي يتم إجراؤها بواسطة العمال في تداول الحشود – على القطاع، من خلال نهجها الشاق للتقييم الثنائي للصورة والنص عبر جزء كبير من تاريخ ImageNet.

في الصف العلوي، أمثلة على شدة الخطأ: في أول مثالين هنا، يخطئ النموذج الجديد ببساطة في العلامة المتوقعة؛ في المثال الثالث، يعرف النموذج الجديد علامة متعددة مفقودة مسبقًا (علامة تتناول تصنيفًا جديدًا للصورة)؛ في الصورة الأخيرة في الصف العلوي، تنبؤ النموذج غامض لأن الصورة هي ذبابة-نحلة وليست ذبابة. ومع ذلك، ينتمي النحل العادي إلى رتبة الحشرات ديبتيرا، وبالتالي فإن هذه الاستثناء ستكون شبه مستحيلة ملاحظتها، حتى للمراجعين الخبراء. في الصف التالي، أربع فئات أخطاء، مع أمثلة. مصدر: https://arxiv.org/pdf/2205.04596.pdf

استخدم الباحثون عددًا صغيرًا من المراجعين المخصصين لمراجعة سجلات الأخطاء التاريخية في مجموعة بيانات ImageNet، ووجدوا أن العديد من أحكام الأخطاء هي في حد ذاتها أخطاء – اكتشاف قد يعدل بعض التقييمات السيئة التي حصلت عليها العديد من المشاريع على معايير ImageNet على مر السنين.

كما يعتقد الباحثون أن تحسينات الدقة تُعتبر عائدات متضائلة، وأن النماذج الجديدة التي تتجاوز دقة العلامات المحددة، والتي تقترح علامات جديدة (أي إضافية) قد يتم معاقبتها، في الأساس، لعدم الانضباط.

‘على سبيل المثال،’ يشير المؤلفون. ‘هل يجب أن نعاقب النماذج على التنبؤ بأن كعكًا مسبوقًا قد يكون كعكًا، كما يفعل أحد النماذج التي نراجعها في هذا العمل؟’

من البحث، نموذج جديد يخالف التنبؤ السابق بأن الكائن في الصورة هو عجينة، ويقترح أن الكائن هو في الواقع كعك.

من وجهة نظر عامل تداول الحشود المكلف بتحديد كائن مثل هذا، هذا هو حيره семантиكي وفلسفي يمكن حلها فقط من خلال التسمية المتعددة (كما يحدث في مجموعات لاحقة وتكرارات لاحقة من ImageNet)؛ في هذه الحالة، الكائن هو في الواقع كلا العجينة والكعك الناشئ.

الأخطاء الكبيرة (في الأعلى) والصغيرة (في الأسفل) التي ظهرت عند اختبار نماذج مخصصة في البحث. العلامات الأصلية في ImageNet هي الصور الأولى على اليسار.

ال حلول الواضحتان هما تخصيص المزيد من الموارد للتسمية (وهو تحدي داخل القيود المالية لمشاريع أبحاث الرؤية الحاسوبية)؛ وتأكيد الباحثين على تحديث مجموعات البيانات وتقييمات العلامات بانتظام (الذي، من بين عقبات أخرى، يخاطر بكسر الاتساق التاريخي للمعايير، وتناثر الأوراق البحثية الجديدة بالتأهيلات والاستثناءات المتعلقة بالتساوي).

كخطوة لتصحيح الوضع، قام الباحثون بتطوير مجموعة فرعية جديدة من ImageNet تسمى ImageNet-Major (ImageNet-M)، والتي يصفونها بأنها ‘شريحة أخطاء رئيسية من 68 مثالًا – أخطاء واضحة يفترض أن تحقق النماذج فيها الكمال، لكنها بعيدة عن ذلك.’

البحث المقال يحمل عنوان متى يصبح العجين كعكًا؟ تحليل الأخطاء المتبقية في ImageNet، ويكتبه أربعة مؤلفين من جوجل ريسيرتش، مع سارة فريدوفيتش-كايل من جامعة كاليفورنيا، بيركلي.

الديون التقنية

تكون النتائج مهمة لأن الأخطاء المتبقية المحددة (أو الخاطئة) في ImageNet، في 16 عامًا منذ إنشائها، يمكن أن تمثل الفرق بين نموذج قابل للنشر ونموذج معرض للخطأ بدرجة كافية بحيث لا يمكن إطلاقه على بيانات حية. كما هو الحال دائمًا، المليون الأخير هو حاسم.

قطاع أبحاث الرؤية الحاسوبية وصنع الصور قد اختار بشكل فعال ImageNet كمعيار لقياس الأداء، لأسباب عديدة – ليس أقلها أن عددًا من رواد الصناعة، في وقت كانت فيه مجموعات البيانات الكبيرة والمحددة جيدًا نادرة أكثر مما هي عليه الآن، أنتجت العديد من مبادرات البحث التي أصبحت اختبار ImageNet بسرعة هو المعيار الوحيد للتاريخ لقياس أداء الإطارات الجديدة.

الطريقة

بحثًا عن “الأخطاء المتبقية” في ImageNet، استخدم الباحثون نموذج ViT قياسي (قادر على تحقيق دقة 89.5%) مع 3 مليارات معامل، Vit-3B، تم تدريبه مسبقًا على JFT-3B وتم تحسينه على ImageNet-1K.

استخدم الباحثون مجموعة بيانات ImageNet2012_multilabel، وسجلوا الدقة الأولية المتعددة العلامات (MLA) ل Vit-3B بنسبة 96.3%، خلال التي ارتكب النموذج 676 خطأ واضح. كانت هذه الأخطاء (وأيضًا الأخطاء التي أنتجها نموذج Greedy Soups) التي سعى المؤلفون لدراستها.

为了 تقييم الأخطاء المتبقية البالغ عددها 676 خطأ، تجنب الباحثون العمال في التداول، مشيرين إلى أن أخطاء من هذا النوع يمكن أن تكون صعبة على المراجعين العاديين ملاحظتها، ولكن جمعوا فريقًا من خمسة مراجعين خبراء، وقاموا بإنشاء أداة مخصصة لتمكين كل مراجع من رؤية العلامة المتوقعة؛ العلامة المتوقعة؛ العلامات الأرضية؛ والصورة نفسها.

واجهة المستخدم التي تم بناؤها للمشروع.

في بعض الحالات، كان من الضروري إجراء مزيد من البحث لحل النزاعات بين الفريق، واستخدمت بحث جوجل الصور كأداة مساعدة.

‘[في] حالة واحدة مثيرة للاهتمام ولكن ليست معزولة، كان هناك تنبؤ سيارة أجرة (بدون مؤشرات واضحة لسيارة أجرة بخلاف اللون الأصفر) موجودًا في الصورة؛ قمنا بتحديد التنبؤ بشكل صحيح كسيارة أجرة وليس سيارة عادية من خلال تحديد جسر معلم في الخلفية لتحديد المدينة، وبحث لاحق على جوجل الصور عن سيارات أجرة في تلك المدينة أ产ت صورًا لنفس نموذج سيارة الأجرة وتصميم لوحة الترخيص، مما يؤكد تنبؤ النموذج الصحيح.’

بعد المراجعة الأولية للأخطاء التي وجدت خلال مراحل متعددة من البحث، صاغ المؤلفون أربعة أنواع جديدة من الأخطاء: خطأ دقيق الحبيبة، حيث تكون الفئة المتوقعة مشابهة للعلامة الأرضية؛ دقيق الحبيبة مع كلمات خارج القاموس (OOV)، حيث يعرف النموذج كائنًا من فئة صحيحة ولكنها غير موجودة في ImageNet؛ ارتباط زائف، حيث يتم قراءة العلامة المتوقعة خارج سياق الصورة؛ و غير نمطي، حيث يكون الكائن الأرضي مثالًا زائفًا للفئة التي تشبه العلامة المتوقعة.

في بعض الحالات، لم تكن العلامة الأرضية herself “صحيحة”:

‘بعد مراجعة الأخطاء الأصلية البالغ عددها 676 خطأ [التي وجدت في ImageNet]، وجدنا أن 298 خطأ كانت صحيحة أو غير واضحة، أو حددنا أن العلامة الأرضية الأصلية كانت خاطئة أو مشكلة.’

بعد جولة من التجارب الشاملة والمعقدة عبر مجموعة من مجموعات البيانات والفرعي وال مجموعات التحقق، وجد المؤلفون أن النماذج قيد الدراسة كانت في الواقع صحيحة (من قبل المراجعين البشر) لنصف “الأخطاء” التي ارتكبوها باستخدام التقنيات التقليدية.

يخلص البحث إلى:

‘في هذا البحث، قمنا بتحليل كل خطأ متبق يرتكبه نماذج ViT-3B و Greedy Soups على مجموعة التقييم المتعددة العلامات في ImageNet.

‘بشكل عام، وجدنا أن: 1) عندما يرتكب نموذج كبير ودقيق خطأ جديد لا يرتكبه نماذج أخرى، يصبح خطأ جديد صحيحًا تقريبًا نصف الوقت؛ 2) النماذج الأعلى دقة لا تظهر نمطًا واضحًا في فئات أخطائنا وشدتها؛ 3) النماذج الأفضل اليوم تتماشى بشكل كبير أو تتجاوز أداء أفضل خبير بشري على مجموعة التقييم المتعددة العلامات التي يتم تقييمها من قبل البشر؛ 4) البيانات التدريبية الصاخبة والفئات غير المحددة قد تكون عاملاً يقيد القياس الفعال لتحسينات التصنيف الصوري.’

نشر لأول مرة في 15 مايو 2022.