حل مشكلة أثر JPEG في مجموعات بيانات الرؤية الحاسوبية

دراسة جديدة من جامعة ميريلاند وشركة فيسبوك للذكاء الاصطناعي وجدت “عقوبة أداء كبيرة” لأنظمة التعلم العميق التي تستخدم صور JPEG مخفضة الجودة بشكل كبير في مجموعات البيانات الخاصة بها، وتقدم بعض الطرق الجديدة للتخفيف من آثار ذلك.

التقرير، الذي يحمل عنوان تحليل وتخفيف عيوب ضغط JPEG في التعلم العميق، يُزعم أنه “أكثر شمولاً بكثير” من الدراسات السابقة حول آثار العيوب في مجموعات بيانات الرؤية الحاسوبية. وتجد الورقة أن “[الضغط الشديد إلى المتوسط] لJPEG يؤدي إلى عقوبة أداء كبيرة على المقاييس القياسية”، وأن الشبكات العصبية قد لا تكون قادرة على تحمل مثل هذه الاضطرابات كما يُشير العمل السابق يُشير.

صورة لكلب من مجموعة بيانات MobileNetV2 لعام 2018. عند جودة 10 (اليسار)، نظام التصنيف يفشل في تحديد السلالة الصحيحة ‘Pembroke Welsh Corgi’، وبدلاً من ذلك يخمّن ‘Norwich terrier’ (النظام يعرف بالفعل أن هذه صورة لكلب، ولكن ليس السلالة)؛ ثانيًا من اليسار، نسخة محسّنة من الصورة مع تصحيح عيوب JPEG تفشل أيضًا في تحديد السلالة الصحيحة؛ ثانيًا من اليمين، تصحيح العيوب المستهدف يعيد التصنيف الصحيح؛ واليمين، الصورة الأصلية، مصنفة بشكل صحيح. مصدر: https://arxiv.org/pdf/2011.08932.pdf

أثر الضغط كبيانات

من المحتمل أن يخلق الضغط الشديد لJPEG حدودًا أو حلقات حول الكتل 8×8 التي يتم تجميعها في شبكة بكسل. بمجرد ظهور هذه العيوب أو الحلقات، من المحتمل أن تُفهم بشكل خاطئ من قبل أنظمة التعلم الآلي على أنها عناصر حقيقية في موضوع الصورة، ما لم يتم تعويضها.

في الأعلى، نظام التعلم الآلي للرؤية الحاسوبية يستخرج صورة تدرجية “نقية” من صورة جيدة الجودة. في الأسفل، عيوب “الكتلة” في حفظ الصورة بجودة أقل تعرقل ميزات الموضوع، وอาจ تُؤدي إلى “تلوث” الميزات المستخرجة من مجموعة الصور، خاصة في الحالات التي تظهر فيها صور عالية و低ة الجودة في مجموعة البيانات، مثل مجموعات البيانات الممسوحة ضوئيًا التي تم تطبيق تنظيف البيانات العامة عليها فقط. مصدر: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

كما هو موضح في الصورة الأولى أعلاه، يمكن أن تؤثر هذه العيوب على مهام تصنيف الصور، مع آثار على خوارزميات التعرف على النص، والتي قد تفشل في تحديد الحروف المتأثرة بالعيوب بشكل صحيح.

في حالة أنظمة تدريب التوليد الصوري (مثل برامج Deepfake أو أنظمة التوليد الصوري القائمة على GAN)، قد تُؤدي كتلة “متمردة” من الصور المنضغطة بشدة إلى خفض جودة الإعادة الإنتاج، أو قد يتم استبدالها وتجاوزها بواسطة ميزات أكثر جودة مستخرجة من صور أفضل في المجموعة. في كلتا الحالتين، البيانات الأفضل مرغوبة – أو على الأقل، البيانات المتسقة.

JPEG – عادة ما يكون “كافياً”

ضغط JPEG هو ترميز قابل للفقدان ولا يمكن العودة منه، يمكن تطبيقه على تنسيقات صورة مختلفة، على الرغم من أنه يتم تطبيقه في الغالب على ملف صورة JFIF. على الرغم من ذلك، تمت تسمية تنسيق JPEG (.jpg) باسم طريقة الضغط المرتبطة به، وليس غلاف JFIF للملفات الصورية.

برزت архитكتур التعلم الآلي بأكملها في السنوات الأخيرة والتي تشمل تخفيف عيوب JPEG كجزء من روتين تحسين/استعادة قائم على الذكاء الاصطناعي، وأصبحت إزالة عيوب الضغط القائمة على الذكاء الاصطناعي الآن جزءًا من العديد من المنتجات التجارية، مثل مجموعة Topaz للصور والفيديو الsuite، وميزات ال神经ية في إصدارات Adobe Photoshop الأخيرة.

منذ أن تم حجز مخطط JPEG الحالي في الاستخدام الشائع في عام 1986 تقريبًا في بداية التسعينيات، لم يعد من الممكن إضافة بيانات وصفية إلى صورة تشير إلى مستوى الجودة (1-100) الذي تم حفظ صورة JPEG به – على الأقل، ليس بدون تعديل أكثر من ثلاثين عامًا من الأنظمة البرمجية الاستهلاكية والمحترفة والأكاديمية التي لم تكن تتوقع مثل هذه البيانات الوصفية.

نتيجة لذلك، من الشائع تخصيص روتينات تدريب التعلم الآلي لمستوى الجودة المقدر أو المعروف لبيانات الصور JPEG، كما فعل الباحثون في الورقة الجديدة (انظر أدناه). في غياب إدخال بيانات وصفية “جودة”، من الضروري إما معرفة تفاصيل كيفية ضغط الصورة (أي ضغط من مصدر خالي من الفقدان)، أو تقدير الجودة من خلال خوارزميات إدراكية أو تصنيف يدوي.

التنازلات الاقتصادية

JPEG ليس الطريقة الوحيدة لضغط الفقدان التي يمكن أن تؤثر على جودة مجموعات بيانات التعلم الآلي؛ يمكن أن تؤدي إعدادات الضغط في ملفات PDF إلى إهمال المعلومات بهذه الطريقة، ويمكن ضبطها على مستويات جودة منخفضة جدًا لحفظ مساحة القرص لغرض الأرشفة المحلية أو الشبكات.

يمكن ملاحظة ذلك من خلال عينة من ملفات PDF عبر archive.org، بعضها تم ضغطه بشدة لدرجة أن يُشكل تحديًا ملحوظًا لأنظمة التعرف على الصور أو النص.

في العديد من الحالات، مثل الكتب المحمية بحقوق التأليف والنشر، يبدو أن هذا الضغط الشديد قد تم تطبيقه كشكل من أشكال إدارة الحقوق الرقمية الرخيصة، بنفس الطريقة التي قد يختار فيها أصحاب حقوق التأليف والنشر خفض دقة مقاطع الفيديو التي يرفعها المستخدمون إلى يوتيوب والتي يمتلكون حقوق التأليف والنشر فيها، تاركين مقاطع الفيديو “الكتلة” كأدوات ترويجية لتشجيع الشراء بدقة كاملة، بدلاً من حذفها.

في العديد من الحالات الأخرى، تكون الدقة أو جودة الصورة منخفضة ببساطة لأن البيانات قديمة جدًا، وتعود إلى عصر كان فيه التخزين المحلي والشبكات أكثر تكلفة، وكان يفضل الصور المثلى والمحسنة من حيث الحجم على الإعادة عالية الجودة.

يُزعم أن JPEG، على الرغم من أنه ليس الحل الأمثل الآن، تم تكريسه كبنية تحتية لا يمكن إزالتها تم دمجها بشكل أساسي مع أسس الإنترنت.

عبء التراث

على الرغم من أن الابتكارات اللاحقة مثل JPEG 2000 وPNG و(.webp) تقدم جودة متفوقة، فإن إعادة عينة قديمة شديدة الشعبية من التعلم الآلي سوف “تؤدي إلى إعادة ضبط” استمرارية وتاريخ التحديات السنوية للرؤية الحاسوبية في المجتمع الأكاديمي – عائق سوف ينطبق أيضًا في حالة إعادة حفظ صور مجموعة بيانات PNG بضبطات جودة أعلى. يمكن اعتبار هذا نوعًا من الديون الفنية.

في حين أن مكتبات المعالجة الصورية القائمة على الخادم مثل ImageMagick تدعم تنسيقات أفضل، بما في ذلك.webp، فإن متطلبات تحويل الصور غالبًا ما تحدث في أنظمة تراثية ليست معدة لأي شيء آخر غير JPG أو PNG (التي توفر ضغطًا بدون فقدان، ولكن على حساب التأخير ومساحة القرص). حتى ووردبريس، نظام إدارة المحتوى الذي يدير تقريبًا 40٪ من جميع المواقع الإلكترونية، أضاف دعمًا لتنسيق.webp من ثلاثة أشهر فقط.

PNG كان دخولًا متأخرًا (يمكن القول إنه متأخر جدًا) في قطاع تنسيق الصورة، نشأ كحل مفتوح المصدر في النصف الثاني من التسعينيات استجابةً لإعلان 1995 من Unisys وCompuServe بأن حقوق التأليف والنشر سوف تكون قابلة للدفع على تنسيق الضغط LZW المستخدم في ملفات GIF، والتي كانت شائعة في ذلك الوقت للاستخدام في الشعارات والعناصر ذات اللون المسطّح، حتى إذا كان احياؤها في أوائل عام 2010 مركزًا على khả năngه في تقديم محتوى متحرك منخفض الحزمة وسريع، بشكلironic، لم تكتسب الصور المتحركة PNG شعبية أو دعمًا واسعًا، وحتى تم حظرها من تويتر في 2019.

على الرغم من عيوبه، فإن ضغط JPEG سريع وفعال من حيث المساحة، ومحكوم جيدًا في جميع الأنظمة – وبالتالي من غير المحتمل أن يختفي تمامًا من مشهد التعلم الآلي في المستقبل القريب.

تحقيق أفضل ما يمكن من الديتنت بين الذكاء الاصطناعي و JPEG

إلى حد ما، قام مجتمع التعلم الآلي بتكيف نفسه مع عيوب ضغط JPEG: في عام 2011، نشرت جمعية الأشعة الأوروبية دراسة حول “إمكانية استخدام الضغط الصوري غير القابل للعكس في التصوير الإشعاعي”، وتقديم إرشادات للخسارة “القابلة للقبول”؛ عندما تم نقل مجموعة بيانات MNIST الأصلية للتعرف على النص (التي تم توفير بيانات الصور الأصلية لها في تنسيق ثنائي جديد) إلى “تنسيق صورة عادي”، تم اختيار JPEG، وليس PNG؛ ودراسة سابقة (2020) من التعاون مع مؤلفي الورقة الجديدة قدمت هيكلًا جديدًا لتهيئة أنظمة التعلم الآلي لعيوب جودة الصور JPEG المختلفة، دون الحاجة إلى تدريب النماذج عند كل إعداد جودة JPEG – ميزة تم استخدامها في العمل الجديد.

في الواقع، البحث في فائدة بيانات JPEG المتغيرة الجودة هو مجال نسبيًا مزدهر في التعلم الآلي. أحد المشاريع غير المرتبطة (2016) من مركز أبحاث التأتمت في جامعة ميريلاند، يركز بالفعل على نطاق DCT (حيث تحدث عيوب JPEG عند إعدادات الجودة المنخفضة) كطريق لاستخراج الميزات العميقة؛ ومشروع آخر من عام 2019 يركز على قراءة بيانات JPEG على مستوى البايت دون الحاجة إلى إزالة الضغط الوقتية لفتح الصور في أي مكان في عملية العمل الآلية؛ ودراسة من فرنسا في عام 2019 تستفيد بشكل فعال من ضغط JPEG لصالح روتينات التعرف على الكائنات.

الاختبار والاستنتاجات

لنعود إلى الدراسة الأخيرة من جامعة ميريلاند وشركة فيسبوك، سعى الباحثون إلى اختبار قابلية JPEG للفهم وفعاليته على صور مخفضة بين 10-90 (أقل من ذلك، تكون الصورة مشوهة بشكل لا يمكن تصوره، وأعلى من ذلك، تكون متساوية مع الضغط الخالي من الفقدان). تم压缩 الصور المستخدمة في الاختبارات مسبقًا عند كل قيمة ضمن نطاق الجودة المستهدف، مما يتطلب ما لا يقل عن ثمانية جلسات تدريب.

تم تدريب النماذج على الانحدار التدرجي العشوائي عبر أربعة طرق: الأساسي، حيث لم يتم إضافة أي تخفيفات إضافية؛ التحسين الخفيف الموجه، حيث يتمتع مجموعة التدريب بميزة الأوزان المسبقة والبيانات المُعنونة (على الرغم من أن الباحثين يعترفون بأن هذا الأمر صعب التكرار في التطبيقات المستهدفة للمستهلكين)؛ تصحيح العيوب، حيث يتم إجراء تعديل/تحسين على الصور المضغوطة قبل التدريب؛ وتصحيح العيوب المستهدف بالمهام، حيث يتم تعديل شبكة تصحيح العيوب على الأخطاء المُرجعة.

تم إجراء التدريب على مجموعة واسعة من مجموعات بيانات الملاءمة، بما في ذلك متغيرات متعددة من ResNet وFastRCNN وMobileNetV2 وMaskRCNN وInceptionV3 من Keras.

نتائج الفقدان العينة بعد تصحيح عيوب المستهدف بالمهام موضحة أدناه (الأقل هو الأفضل).

من غير الممكن الغوص عميقًا في تفاصيل النتائج التي تم الحصول عليها في الدراسة، لأن نتائج الباحثين مقسمة بين هدف تقييم عيوب JPEG وطرق جديدة للتخفيف من هذا؛ وتم تكرار التدريب لكل جودة على العديد من مجموعات البيانات؛ والمهام شملت أهدافًا متعددة مثل الكشف عن الكائنات والتقسيم والتصنيف. بشكل أساسي، تقدم التقرير الجديد نفسه كعمل مرجعي شامل يعالج العديد من القضايا.

على الرغم من ذلك، يخلصPaper بشكل عام إلى أن “ضغط JPEG يؤدي إلى عقوبة كبيرة عبر اللوحة للضغط الشديد إلى المتوسط”. كما يُشير إلى أن استراتيجيات التخفيف غير المُعنونة الجديدة تُحقق نتائج أفضل من النهج المماثلة الأخرى؛ وأن الطريقة الموجهة تتفوق على أقرانها، على الرغم من عدم وجود حق وصول إلى علامات التأطير الأرضية؛ وأن هذه المناهج الجديدة تسمح بإعادة استخدام النماذج، حيث يتم نقل الأوزان المكتسبة بين المهام.

فيما يتعلق بمهام التصنيف، يُشيرPaper بشكل صريح إلى أن “JPEG يُؤثر على جودة التدرج بالإضافة إلى إحداث أخطاء في التموضع”.

يأمل المؤلفون في توسيع الدراسات المستقبلية لتغطية طرق ضغط أخرى مثل JPEG 2000، وWebP، وHEIF، وBPG. كما يُقترح أن طريقةهم يمكن تطبيقها على أبحاث مماثلة في خوارزميات ضغط الفيديو.

منذ أن أثبتت طريقة تصحيح العيوب المستهدفة بالمهام نجاحًا كبيرًا في الدراسة، يُعلن المؤلفون عن نية إطلاق الأوزان المُدرّبة خلال المشروع، مع توقعهم أن “[العديد من التطبيقات] سوف تستفيد من استخدام أوزان TTAC الخاصة بنا بدون تعديل”.

ملاحظة: صورة المصدر للمقالة تأتي من thispersondoesnotexist.com