تقليل حجم الصور عالية الدقة باستخدام التعلم الآلي

أجريت أبحاث جديدة في المملكة المتحدة提出了 طريقة محسنة لتحجيم الصور باستخدام التعلم الآلي، بناءً على القيمة المتصورة للجزء المختلف من محتوى الصورة، بدلاً من تقليل الأبعاد (والجودة والميزات القابلة للاستخراج) لجميع البكسل في الصورة بشكل عشوائي.

كجزء من الاهتمام المتزايد بنظم الضغط التي تعمل بالذكاء الاصطناعي، هذا النهج يمكن أن يلقي في النهاية بصياغة برامج ترميز جديدة للضغط العام للصور، على الرغم من أن العمل يتم تحفيزه من قبل الصور الطبية، حيث يمكن أن يؤدي التقليل العشوائي للصور الطبية عالية الدقة إلى فقدان المعلومات التي يمكن أن تنقذ الأرواح.

معمارية تمثيلية للنظام الجديد. ينتج وحدة التشوه بين الفواصل خريطة تشوه تتوافق مع المناطق ذات الأهمية في الصورة. وكثافة واتجاه النقاط الحمراء تشير إلى هذه المناطق. يتم استخدام الخريطة ليس فقط لتقليل الحجم، ولكن لإعادة بناء المناطق الرئيسية ذات الاهتمام عند إعادة تحجيم محتوى الصورة بشكل غير منتظم في الجانب الآخر من عملية التدريب. مصدر: https://arxiv.org/pdf/2109.11071.pdf

ينطبق النظام التجزئة الدلالية على الصور – كتلاً عريضة، تمثلها كتلاً ملونة في الصورة أعلاه، التي تشمل كيانات معترف بها داخل الصورة، مثل ‘الطريق’، ‘الدراجة’، ‘الورم’، وغيرها. ثم يتم استخدام موضع خرائط التجزئة الدلالية لحساب الأجزاء من الصورة التي لا ينبغي تقليل حجمها بشكل مفرط.

المسمى التعلم لتقليل الحجم لتحليل الصور عالية الدقة، الورقة الجديدة هي تعاون بين الباحثين من مركز الحوسبة الطبية للصور في جامعة كوليدج لندن والباحثين من قسم ذكاء الصحة في مايكروسوفت كامبريدج.

عالم الرؤية الحاسوبية منخفض الدقة (معقولا)

تدريب أنظمة الرؤية الحاسوبية مقيد بشكل كبير بسعة معالجات الرسومات. قد تحتوي مجموعات البيانات على آلاف الصور التي يجب استخراج الميزات منها، ولكن حتى معالجات الرسومات الصناعية تصل إلى 24 غيغابايت من ذاكرة الوصول العشوائي، مع نقص في الإمدادات يؤثر على التوافر والتكلفة.

هذا يعني أن البيانات يجب أن يتم تغذيتها من خلال نواة التنسور المحدودة لمعالج الرسومات في دفعات قابلة للتعامل، مع 8-16 صورة نموذجية للعديد من تدفقات تدريب الرؤية الحاسوبية.

لا توجد حلول واضحة: حتى لو كانت ذاكرة الوصول العشوائي غير محدودة ويمكن لمعمارية المعالج أن تستوعب هذا النوع من الإنتاجية من معالج الرسومات دون تشكيل حظر معماري، فإن أحجام الدفعات الكبيرة جدا سوف تؤدي إلى استخراج الميزات عالية المستوى على حساب التحويلات الأكثر تفصيلا التي قد تكون حاسمة لفائدة الخوارزمية النهائية.

زيادة دقة الصور الإدخالية سوف تعني أنك سوف تحتاج إلى استخدام أحجام دفعات أصغر لتثبيت البيانات في “الفضاء الكامن” لمعالج الرسومات، وهذا بدوره سوف ينتج نموذجا غريبا ومفرط التخصيص.

كما لا يساعد إضافة معالجات رسومات إضافية، على الأقل في معظم المعماريات: في حين أن مجموعات متعددة المعالجات الرسومية يمكن أن تسرع من أوقات التدريب، يمكن أن تromise أيضًا سلامة نتائج التدريب، مثل مصنعين متجاورين يعملان على نفس المنتج، مع خط هاتف فقط للتنسيق بين جهودهم.

الصور المحجزة بذكاء

ما تبقى هو أن أقسام الصورة الأكثر صلة لبيانات الرؤية الحاسوبية يمكن، بالطريقة الجديدة، أن تظل سليمة في عملية التحجيم التلقائية التي تحدث عندما يجب تقليل حجم الصور عالية الدقة لتتناسب مع трубة التعلم الآلي.

هذا هو تحد منفصل لمشكلة النقص في الميزات في مجموعات بيانات الرؤية الحاسوبية، حيث تفقد الجودة في خطوط تقليل الحجم الآلية لأن ترميز الضغط يلقي بمعلومات كثيرة (عادة لا يمكن استعادتها).

بدلاً من ذلك، في هذه الحالة، حتى حفظ إلى صيغة صورة خالية من الفقد (مثل PNG مع ضغط LZW) لا يمكن استعادة المعلومات التي يتم التخلص منها بشكل عام عند تقليل الحجم (على سبيل المثال) مسح التصوير بالرنين المغناطيسي (MRI) من أبعاد قياسية إلى 256×256 أو 512×512 بكسل.

لجعل الأمور أسوأ، اعتماداً على متطلبات الإطار، غالباً ما يتم إضافة حدود سوداء إلى الصور المستطيلة المصدر كمهام معالجة بيانات روتينية، من أجل إنتاج تنسيق مدخلات مربعة حقيقية لمعالجة الشبكات العصبية، مما يقلل من المساحة المتاحة للبيانات المحتملة.

يقترح الباحثون من UCL ومايكروسوفت بدلاً من ذلك جعل عملية تقليل الحجم أكثر ذكاء، باستخدام ما كان دائماً مرحلة عامة في трубة لتحديد المناطق ذات الأهمية، وتنزيل بعض العبء التفسيري من نظام التعلم الآلي الذي سوف تمر الصور من خلاله في النهاية.

الطريقة، كما يزعم الباحثون، تحسن على عرض 2019 (الصورة أدناه) الذي سعى إلى مكاسب مماثلة من خلال التركيز على حدود الكائنات.

من ‘التجزئة الكفية: التعلم لتقليل الحجم بالقرب من الحدود الدلالية’، مارين وآخرون، 2019. مصدر: https://arxiv.org/pdf/1907.07156.pdf

كما يشير العمل الجديد إلى أن هذا النهج يفترض أن تجمعات المناطق ذات الأهمية عند الحدود، في حين أن الأمثلة من التصوير الطبي، مثل المناطق الموصوفة بالسرطان، تعتمد على سياق أعلى، ويمكن أن تظهر كتفاصيل سهلة الإهمال داخل مناطق أوسع في الصورة، بدلاً من عند الحواف.

مقلل الحجم القابل للتعلم

يقترح البحث الجديد مقلل الحجم القابل للتعلم يسمى وحدة التشوه، التي يتم تدريبها بشكل مشترك مع وحدة تجزئة موازية، ويمكن أن تتم إعلامها حول المناطق ذات الأهمية التي تم تحديدها بواسطة التجزئة الدلالية، وتوجيه الأولوية لها أثناء عملية تقليل الحجم.

قام المؤلفون باختبار النظام على عدة مجموعات بيانات شائعة، بما في ذلك Cityscapes و DeepGlobe ومجموعة بيانات علم الأنسجة لسرطان البروستاتا المحلية ‘PCa-Histo’.

ثلاثة نهج: على اليسار، تقليل الحجم الموحد الحالي؛ في الوسط، نهج الحافة المثالية من ورقة 2019؛ على اليمين، معمارية النظام الجديد، المستنيرة من خلال التعرف على الكيانات في طبقة التجزئة الدلالية.

لقد تم محاولة نهج مماثل لمقترح مصنف في 2019، لكن مؤلفي الورقة الحالية يزعمون أن هذه الطريقة لا تحقق بشكل كافٍ المناطق ذات الأهمية، وربما تفقد المناطق الحيوية في سياق التصوير الطبي.

النتائج

وحدة التشوه في النظام الجديد هي شبكة عصبية خفيفة، في حين أن طبقة التجزئة هي معمارية شبكة عصبية عميقة تستخدم HRNetV2-W48. تم استخدام PSP-net كطبقة للتحقق من الصحة لاختبارات CityScapes.

تم اختبار المجموعات المذكورة أعلاه مع الإطار الجديد، باستخدام تقليل الحجم الموحد (الطريقة المعتادة)، ونهج الحافة المثالية من 2019، والنهج الجديد الذي يستفيد من التجزئة الدلالية.

يبلغ المؤلفون عن أن الطريقة الجديدة تظهر ميزة واضحة في تحديد وتمييز الفئات الأكثر أهمية سريريا، مع زيادة في الدقة تتراوح بين 15-20%. كما يلاحظون أن المسافة بين هذه الفئات غالباً ما يتم تعريفها sebagai ‘الحد من الصحة إلى السرطان’.

تحليل التبادل بين الفئات عبر النهج الثلاثة: على اليسار، تقليل الحجم الموحد؛ في الوسط، الحافة المثالية؛ وعلى اليمين، النهج الجديد. تم تقليل حجم CityScapes إلى 64×128 فقط، مع تقليل PCaHisto إلى 80×800، وتقليل DeepGlobe إلى 300 بكسل مربع.

يذكر التقرير أن طريقةهم يمكن أن تتعلم استراتيجية تقليل الحجم، وتحافظ على المعلومات، وتسمح بتحقيق توازن أفضل، وخلصت إلى أن الإطار الجديد يمكن أن يتعلم بشكل فعال حيث ‘يستثمر’ الميزانية المحدودة من البكسل عند تقليل الحجم لتحقيق أعلى عائد عام في دقة التجزئة.

تم استخراج الصورة الرئيسية لمقالة هذه الميزة من thispersondoesnotexist.com. تم تحديثه في 3:35 مساءً بتوقيت جرينيتش +2 لتصحيح خطأ نصي.