تحسين أداء التعلم الآلي من خلال تقليص الصور باستخدام شبكات التعلم العميق

قدمت أبحاث جوجل طريقة جديدة لتحسين كفاءة ودقة تدفقات عمل رؤية الكمبيوتر القائمة على الصور من خلال تحسين طريقة تصغير الصور في مرحلة المعالجة المسبقة.

في الورقة تعلم تصغير الصور لمهام رؤية الكمبيوتر ، يستخدم الباحثان حسين طالبي وبيمان ميلانفر شبكة عصبونية اصطناعية لإنشاء هيكل تصغير صورة هجين جديد ينتج تحسنًا ملحوظًا في نتائج التعرف في أربعة مجموعات بيانات شائعة لرؤية الكمبيوتر.

الإطار المشترك المقترح للاعتراف بالصور وتصغيرها. مصدر: https://arxiv.org/pdf/2103.09950.pdf

تشير الورقة إلى أن أساليب التصغير/التصغير الحالية المستخدمة في خطوط أنابيب التعلم الآلي المتمتة تعود إلى عقود خالية، وتستخدم في كثير من الأحيان فقط أساليب تصغير البكسل الأساسية مثل البilinear وBicubic وNearest Neighbor – أساليب تعامل مع جميع البكسل بشكل غير تمييزي.

على العكس من ذلك، الطريقة المقترحة تعزز بيانات الصورة من خلال شبكة عصبونية اصطناعية وتدمج الإدخال في الصور المصغرة التي ستمر في نهاية المطاف عبر هيكل النموذج.

قيود الصور في تدريب الذكاء الاصطناعي

لتدريب نموذج يتعامل مع الصور، سيتضمن إطار العمل للتعلم الآلي مرحلة معالجة مسبقة حيث يتم تحويل مجموعة متنوعة من الصور ذات الأحجام والألوان والدوائر المختلفة (التي ستمثل مجموعة البيانات التدريبية) بشكل منهجي إلى أبعاد متسقة وتنسيق مستقر.

بشكل عام، سي涉ل هذا بعض التنازلات حول تنسيق PNG ، حيث سيتم تحديد توازن بين وقت المعالجة / الموارد وحجم الملف وجودة الصورة.

في معظم الحالات، تكون الأبعاد النهائية للصورة المعالجة صغيرة جدًا. فيما يلي مثال على دقة 80×80 بكسل التي تمت من خلالها توليد بعض مجموعات بيانات Deepfakes الأولى :

نادرًا ما تتناسب الوجوه (والأجسام الأخرى الممكنة) مع النسبة المطلوبة، لذلك قد يتعين إضافة شريط أسود (أو السماح بفضاء مُهدر) لتحقيق توحيد الصور، مما يقلل من حجم البيانات الصورية الفعلية:

تم استخراج الوجه من منطقة أكبر حتى يتم تقليصه باقتصاد حتى يتضمن منطقة الوجه بالكامل. ومع ذلك، كما هو موضح على اليمين، لن يتم استخدام جزء كبير من المنطقة المتبقية أثناء التدريب، مما يضيف وزنًا أكبر إلى أهمية جودة الصورة المصغرة.

مع تحسين قدرات وحدة معالجة الرسومات في السنوات الأخيرة، مع بطاقات NVIDIA الجديدة المجهزة بكميات متزايدة من ذاكرة الفيديو (VRAM)، بدأت أحجام الصور المتوسطة في الزيادة، على الرغم من أن 224×224 بكسل لا يزال معيارًا شائعًا (على سبيل المثال، هذا هو حجم مجموعة بيانات ResNet-50).

صورة غير مصغرة بحجم 224×244 بكسل.

تحسين الدفعات في ذاكرة الفيديو

السبب في أن الصور يجب أن تكون جميعها بنفس الحجم هو أن انحدار التدرج ، الطريقة التي يتحسن بها النموذج مع مرور الوقت، يتطلب بيانات تدريبية موحدة.

السبب في أن الصور يجب أن تكون صغيرة جدًا هو أنها يجب تحميلها (مفككة تمامًا) في ذاكرة الفيديو أثناء التدريب في دفعات صغيرة، عادة ما بين 6-24 صورة في كل دفعة. القليل جدًا من الصور في كل دفعة، ولا يوجد مواد مجموعة كافية للتعرف جيدًا، بالإضافة إلى تمديد وقت التدريب؛ الكثير، ويمكن أن يفشل النموذج في الحصول على الخصائص والتفاصيل اللازمة (انظر أدناه).

هذه القسم “التحميل الحي” من هيكل التدريب يسمى الفضاء الكامن. هذا هو المكان الذي يتم استخراج الميزات منه بشكل متكرر من نفس البيانات (أي نفس الصور) حتى يصل النموذج إلى حالة حيث لديه جميع المعرفة العامة التي يحتاجها للقيام بالتحويلات على بيانات غير موصلة فيما بعد من نفس النوع.

يستغرق هذا العملية عادةً أيامًا، على الرغم من أنه يمكن أن يستغرق شهرًا أو أكثر من التفكير المستمر والكثيف 24/7 لتحقيق تعرف مفيد. الزيادات في حجم ذاكرة الفيديو مفيدة فقط حتى نقطة معينة، لأن الزيادات الصغيرة في دقة الصورة يمكن أن يكون لها تأثير كبير على سعة المعالجة، وتأثيرات على الدقة التي قد لا تكون دائمًا مواتية.

استخدام سعة ذاكرة الفيديو الأكبر لاستيعاب أحجام دفعات أكبر هو نعمة مختلطة، لأن السرعات التدريبية الأكبر التي يتم الحصول عليها من خلال ذلك قد تتم موازنتها بواسطة نتائج أقل دقة.

لذلك، نظرًا لأن هيكل التدريب مقيد جدًا، فإن أي شيء يمكن أن يؤثر على تحسينه داخل القيود الحالية للخط الأنابيب يُعتبر إنجازًا ملحوظًا.

كيف يساعد التقليل الأفضل

لقد ثبت أن جودة الصورة التي ستتم إضافتها إلى مجموعة بيانات تدريبية لها تأثير إيجابي على نتيجة التدريب، ولا سيما في مهام التعرف على الكائنات. في عام 2018، زعم باحثون من معهد ماكس بلانك للنظم الذكية أن خيار طريقة إعادة العينة يؤثر بشكل ملحوظ على أداء التدريب ونتائجه.

بالإضافة إلى ذلك، أظهر العمل السابق من جوجل (المشارك في تأليفه من قبل مؤلفي الورقة الجديدة) أن دقة التصنيف يمكن تحسينها من خلال الحفاظ على السيطرة على تشوهات الضغط في صور مجموعة البيانات.

هيكل شبكة التعلم العميق المقترح لخوارزمية التقليل.

النموذج المبني على شبكة التعلم العميق في التقليل الجديد يجمع بين التقليل الخطي مع ميزة “اتصال تخطي” يمكنها دمج الإخراج من الشبكة المدربة في الصورة المصغرة.

على عكس هيكل التشفير/فك التشفير النموذجي، يمكن لل提议 الجديد العمل لا فقط كحاجز توجيهي للامتداد إلى أي حجم و/أو نسبة جانبية محددة، ولكن أيضًا كحاجز عكسي لتعزيز الصورة إلى أي حجم و/أو نسبة جانبية محددة. بالإضافة إلى ذلك، يمكن استبدال طريقة العينة “ال标准” بأي طريقة تقليدية مناسبة أخرى، مثل Lanczos.

التفاصيل الترددية العالية

الطريقة الجديدة تنتج صورًا تظهر فيها الميزات الرئيسية (التي سوف يتم التعرف عليها في نهاية المطاف من قبل عملية التدريب) بشكل فعال “مخبأة” في الصورة الأصلية. من الناحية الجمالية، النتائج غير تقليدية:

الطريقة الجديدة المطبقة على أربعة شبكات – Inception V2؛ DenseNet-121؛ ResNet-50؛ و MobileNet-V2. النتائج التي تنتجها طريقة تقليل الصور في جوجل تظهر تجميع البكسل الواضح، مما يتنبأ بالميزات الرئيسية التي سوف يتم التعرف عليها أثناء عملية التدريب.

يشير الباحثون إلى أن هذه التجارب الأولية مُحسنة حصريًا لمهام التعرف على الصور، وأن طريقة التقليل القائمة على شبكة التعلم العميق تمكنت من تحقيق معدلات خطأ محسنة في هذه المهام. يعتزم الباحثون تطبيق هذه الطريقة في المستقبل على أنواع أخرى من تطبيقات رؤية الكمبيوتر القائمة على الصور.