استخدام الضغط JPEG لتحسين تدريب الشبكات العصبية

قد اقترح بحث جديد من كندا إطارًا ي Introduced يضمن الضغط JPEG بشكل متعمد في مخطط تدريب الشبكة العصبية ، وتمكنت من الحصول على نتائج أفضل – وأفضل مقاومة للهجمات المعادية.

هذه فكرة متطرفة إلى حد ما ، منذ الحكمة العامة الحالية هي أن أثر JPEG ، الذي يتم تحسينه لمراقبة الإنسان ، وليس للتعلم الآلي ، له تأثير ضار على الشبكات العصبية المدربة على بيانات JPEG.

مثال على الفرق في الوضوح بين الصور JPEG المضغوطة عند قيم خسارة مختلفة (الخسارة الأعلى تسمح بحجم ملف أصغر ، على حساب التميز والتدرج اللوني ، من بين أنواع أخرى من الآثار). مصدر: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

في تقرير عام 2022 من جامعة ميريلاند و Facebook AI ادعى أن الضغط JPEG “يسبب عقوبة أداء كبيرة” في تدريب الشبكات العصبية ، على الرغم من العمل السابق الذي زعم أن الشبكات العصبية معتدلة نسبيًا لآثار الضغط على الصور.

في السنة السابقة ، ظهرت فكرة جديدة في الأدبيات: أن الضغط JPEG يمكن استغلاله لتحسين النتائج في تدريب النماذج.

ومع ذلك ، على الرغم من أن مؤلفي ذلك الورقة تمكنوا من الحصول على نتائج محسنة في تدريب الصور JPEG من مستويات جودة مختلفة ، فإن النموذج الذي提روه كان معقدًا وثقيلًا لدرجة أنه لم يكن عمليًا. بالإضافة إلى ذلك ، ثبت أن استخدام إعدادات الضغط JPEG الافتراضية (الكمية) حائلًا دون فعالية التدريب.

في مشروع لاحق (2023’s JPEG Compliant Compression for DNN Vision) ، تم تجربة نظام يُحصل على نتائج أفضل قليلاً من الصور JPEG المضغوطة باستخدام نظام مجمّد من الشبكة العصبية العميقة (DNN). ومع ذلك ، فإن تجميد أجزاء من النموذج أثناء التدريب يميل إلى تقليل مرونة النموذج ، بالإضافة إلى مقاومته الأوسع للبيانات الجديدة.

JPEG-DL

بدلاً من ذلك ، يقدم العمل الجديد ، بعنوان التعلم العميق الملهم JPEG ، هيكلًا أبسط بكثير ، يمكن حتى فرضه على النماذج الحالية.

يصرح الباحثون ، من جامعة واترلو ، ما يلي:

‘تُظهر النتائج أن JPEG-DL يتفوق بشكل كبير ومستمر على المعيار DL عبر مختلف هياكل الشبكة العصبية ، مع زيادة طفيفة في تعقيد النموذج.

على وجه التحديد ، يحسن JPEG-DL دقة التصنيف بنسبة تصل إلى 20.9٪ في بعض مجموعات بيانات التصنيف الدقيق ، مع إضافة 128 معلمة قابلة للتدريب فقط إلى خط أنابيب DL. بالإضافة إلى ذلك ، تُظهر تفوق JPEG-DL على المعيار DL من خلال متانة الهجمات المعادية المحسنة للنماذج المُستخرجة وخفض حجم الملفات للصور الإدخال.’

يصرح المؤلفون أن مستوى جودة الضغط JPEG الأمثل يمكن أن يساعد الشبكة العصبية على التمييز بين الموضوعات الرئيسية في الصورة. في المثال أدناه ، نرى نتائج البaseline (اليسار) التي تندمج الطائر في الخلفية عند الحصول على الميزات بواسطة الشبكة العصبية. في المقابل ، ينجح JPEG-DL (اليمين) في التمييز والتحديد موضوع الصورة.

اختبارات ضد أساليب البaseline ل JPEG-DL. مصدر: https://arxiv.org/pdf/2410.07081

‘هذا الظاهرة ، ‘ يشرحون ، ‘المسمى “الضغط يساعد” في الورقة [2021] ، يتم تبريره بالحقيقة التي يمكن أن يزيل الضغط الضوضاء والميزات الخلفية المزعجة ، وبالتالي تسليط الضوء على الكائن الرئيسي في الصورة ، مما يساعد الشبكات العصبية على تقديم تنبؤات أفضل.’

الطريقة

يُقدم JPEG-DL كمية قابلة للتفاضل مُquantizer ، الذي يُستبدل بالكمية غير القابلة للتفاضل في عملية الضغط القياسية في JPEG.

هذا يسمح بتحسين الانحدار القائم على التدرج للصور. هذا لا يتمكن من التحقيق في الترميز JPEG التقليدي ، الذي يستخدم مُquantizer موحد مع عملية تقريب تقريبًا.

التمايز في مخطط JPEG-DL يسمح بالتحسين المشترك لоба معلمات نموذج التدريب والكمية JPEG (مستوى الضغط). التحسين المشترك يعني أن كلا النموذج وبيانات التدريب يتم تخصيصها لبعضها البعض في العملية الشاملة ، ولا يلزم تجميد الطبقات.

باختصار ، النظام يُخصص الضغط JPEG للبيانات الخام ليتناسب مع منطق عملية التعميم.

مخطط مفهومي ل JPEG-DL.

قد يفترض المرء أن البيانات الخام ستكون الطعام المثالي للتدريب ؛ بعد كل شيء ، يتم تشغيل الصور بشكل كامل في مساحة لونية كاملة عند تشغيلها في دفعات ؛ فما الفرق الذي يحدثه الشكل الأصلي؟

حسناً ، منذ أن يتم تحسين الضغط JPEG لمراقبة الإنسان ، فيقوم بإلقاء مناطق التفاصيل أو الألوان في طريقة متوافقة مع هذا الهدف. مع صورة لبحيرة تحت سماء زرقاء ، يتم تطبيق مستويات أعلى من الضغط على السماء ، لأنها لا تحتوي على تفاصيل “أساسية”.

من ناحية أخرى ، الشبكة العصبية تفتقر إلى المرشحات الغير عادية التي تتيح لنا التركيز على الموضوعات الرئيسية. بدلاً من ذلك ، من المحتمل أن تعتبر أي أثر تدرج في السماء بيانات صالحة للاستيعاب في مساحتها الكامنة.

على الرغم من أن الإنسان سوف يرفض التدرج في السماء ، في صورة مضغوطة بشدة (اليسار) ، الشبكة العصبية لا تعرف أن هذا المحتوى يجب أن يتم التخلص منه ، وسوف تحتاج إلى صورة ذات جودة أعلى (اليمين). مصدر: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

لذلك ، من غير المحتمل أن يكون مستوى الضغط JPEG واحد مناسب لجميع محتويات مجموعة بيانات التدريب ، trừف أن تمثل مجالًا محددًا للغاية. صور الحشود سوف تحتاج إلى ضغط أقل بكثير من صورة محددة للطائر ، على سبيل المثال.

يشير المؤلفون إلى أن أولئك الذين ليسوا على دراية بالتحديات التي تطرحها الكمية ، ولكنهم على دراية بأساسيات نماذج التحويل ، يمكنهم النظر إلى هذه العمليات على أنها عمليات الانتباه بشكل عام.

البيانات والاختبارات

تم تقييم JPEG-DL ضد هياكل نماذج التحويل و الشبكات العصبية التوليدية (CNNs). الهياكل المستخدمة كانت EfficientFormer-L1؛ ResNet؛ VGG؛ MobileNet؛ و ShuffleNet.

النسخ من ResNet المستخدمة كانت محددة لمجموعة بيانات CIFAR: ResNet32 و ResNet56 و ResNet110. تم اختيار VGG8 و VGG13 للاختبارات القائمة على VGG.

对于 CNN ، تم اشتقاق منهجية التدريب من عمل 2020 تقطير التمثيلات التباينية (CRD). Đối với EfficientFormer-L1 (قائم على نماذج التحويل) ، تم استخدام منهجية التدريب من تثبيت النماذج بأخرى أكبر.

对于 المهام الدقيقة الموجودة في الاختبارات ، تم استخدام أربعة مجموعات بيانات: Stanford Dogs؛ Flowers من جامعة أكسفورد؛ CUB-200-2011 (CalTech Birds)؛ و Pets (‘القطط والكلاب’ ، تعاون بين جامعة أكسفورد وهيدراباد في الهند).

对于 المهام الدقيقة على CNNs ، تم استخدام PreAct ResNet-18 و DenseNet-BC. Đối với EfficientFormer-L1 ، تم استخدام منهجية التدريب المحددة في تثبيت النماذج بأخرى أكبر.

عبر مجموعتي بيانات CIFAR-100 والمهام الدقيقة ، تم التعامل مع تدرجات تحويل الكوزين المتقطع (DCT) في نهج الضغط JPEG باستخدام مُحسّن Adam ، من أجل تعديل معدل التعلم للطبقة JPEG عبر النماذج التي تم اختبارها.

في الاختبارات على ImageNet-1K ، تم استخدام PyTorch ، مع SqueezeNet و ResNet-18 و ResNet-34 كنموذج أساسي.

对于 تقييم تحسين الطبقة JPEG ، تم استخدام الانحدار العشوائي (SGD) بدلاً من Adam ، من أجل أداء أكثر استقرارًا. ومع ذلك ،对于 اختبارات ImageNet-1K ، تم استخدام منهجية من الخطوة الكمية المُتعلمة.

أعلى دقة التصنيف الصحيح للخط الأساسي مقابل JPEG-DL على CIFAR-100 ، مع الانحرافات المعيارية والمتوسطات المعدلة على ثلاث مرات. أدناه ، دقة التصنيف الصحيح على مهام تصنيف الصور الدقيقة المختلفة ، عبر هياكل نموذجية مختلفة ، مرة أخرى ، معدلة من ثلاث مرات.

في تعليق على الجولة الأولى من النتائج الموضحة أعلاه ، يصرح المؤلفون ما يلي:

‘عبر جميع النماذج السبعة التي تم اختبارها ل CIFAR-100 ، يوفر JPEG-DL تحسينات بشكل مستمر ، مع مكاسب تصل إلى 1.53٪ في دقة التصنيف الصحيح. في المهام الدقيقة ، يوفر JPEG-DL زيادة كبيرة في الأداء ، مع تحسينات تصل إلى 20.90٪ عبر جميع مجموعات البيانات باستخدام نموذجين مختلفين.’

النتائج لاختبارات ImageNet-1K موضحة أدناه:

نتائج دقة التصنيف الصحيح على ImageNet عبر إطارات مختلفة.

يصرح الورقة ما يلي:

‘بزيادة طفيفة في التعقيد (إضافة 128 معلمة) ، يحقق JPEG-DL مكسبًا بنسبة 0.31٪ في دقة التصنيف الصحيح ل SqueezeNetV1.1 مقارنة بالخط الأساسي باستخدام عملية كمية واحدة. ‘

‘من خلال زيادة عدد عمليات الكمية إلى خمسة ، نلاحظ تحسينًا إضافيًا بنسبة 0.20٪ ، مما يؤدي إلى مكسب إجمالي بنسبة 0.51٪ على الخط الأساسي.’

كما قام الباحثون باختبار النظام باستخدام بيانات معرضة لمنهجيات الهجوم المعادي الهجوم الخارق السريع (FGSM) و الانحدار المتوقع (PGD).

تم إجراء الهجمات على CIFAR-100 عبر نموذجين:

نتائج الاختبار ل JPEG-DL ، ضد إطارات هجوم معادية قياسية.

يصرح المؤلفون ما يلي:

‘تُحسن نماذج JPEG-DL بشكل كبير من متانة الهجوم المعادي مقارنة بنماذج DNN القياسية ، مع تحسينات تصل إلى 15٪ ل FGSM و 6٪ ل PGD.’

بالإضافة إلى ذلك ، كما هو موضح في المقال السابق ، قام المؤلفون بمقارنة خرائط الميزات المستخرجة باستخدام GradCAM++ – إطار يمكن أن يبرز الميزات المستخرجة بطريقة بصرية.

تجسيد GradCAM++ لتصنيف الصور البaseline و JPEG-DL ، مع الميزات المستخرجة موضحة.

تلاحظ الورقة أن JPEG-DL ينتج نتيجة محسنة ، وأنها في بعض الحالات كانت قادرة حتى على تصنيف صورة فشل الخط الأساسي في تحديدها. فيما يتعلق بالصورة السابقة التي تظهر طائرًا ، يصرح المؤلفون ما يلي:

‘من الواضح أن خرائط الميزات من نموذج JPEG-DL تُظهر تحسنًا كبيرًا في التباين بين المعلومات الأمامية (الطائر) والخلفية مقارنة بخرائط الميزات التي تم إنشاؤها بواسطة نموذج الخط الأساسي.’

‘على وجه التحديد ، يتم حصر الكائن الأمامي في خرائط الميزات ل JPEG-DL داخل حدود محددة جيدًا ، مما يجعله يمكن تمييزه بصريًا عن الخلفية. ‘

‘في المقابل ، تُظهر خرائط الميزات لنموذج الخط الأساسي بنية أكثر اندماجًا ، حيث تحتوي المعلومات الأمامية على طاقة أعلى في الترددات المنخفضة ، مما يؤدي إلى اندماجها بشكل أملس مع الخلفية.’

الاستنتاج

يُقصد استخدام JPEG-DL في الحالات التي تكون فيها البيانات الخام متاحة – ولكن سيكون من المثير رؤية ما إذا كان بعض المبادئ الموجودة في هذا المشروع يمكن تطبيقها على تدريب المجموعات القياسية ، حيث قد يكون المحتوى أقل جودة (كما يحدث غالبًا مع مجموعات البيانات الضخمة المُحسنة من الإنترنت).

كما هو الحال ، فإن ذلك يبقى إلى حد كبير مشكلة تعليق ، على الرغم من أنه تمت معالجته في الاعتراف بالصور القائم على حركة المرور ، وفي أماكن أخرى.

نُشر لأول مرة يوم الخميس ، 10 أكتوبر 2024