تحرير دقيق للصور باستخدام EditGAN

الشبكات التوليدية المعارضة أو GANs كانت تستمتع بتطبيقات جديدة في صناعة تحرير الصور. لمدة بضعة أشهر ، EditGAN يكتسب شعبية في صناعة AI / ML لأنها طريقة جديدة لتحرير الصور الدقيق والجودة العالية.

سنناقش نموذج EditGAN بالتفصيل ، ونتعرف على سبب كونها قد تثبت أنها علامة فارقة في صناعة تحرير الصور الدقيق.

لنبدأ. ولكن قبل أن نعرف ما هو EditGAN ، من المهم لنا أن نفهم ما هو أهمية EditGAN ، ولماذا هي خطوة مهمة إلى الأمام.

لماذا EditGAN؟

على الرغم من أن الهياكل التقليدية لGAN ساعدت صناعة تحرير الصور القائمة على الذكاء الاصطناعي على التقدم بشكل كبير ، هناك بعض التحديات الكبيرة في بناء هيكل GAN من الصفر.

1. خلال مرحلة التدريب ، يتطلب هيكل GAN كمية كبيرة من البيانات المُ etiquetted مع تعليمات التجزئة الدلالية.
2. يمكنهم تقديم التحكم فقط على مستوى عال.
3. وغالباً ما يقومون فقط بالتأرجح ذهاباً وعودة بين الصور.

يمكن ملاحظة أن الهياكل التقليدية لGAN تحصل على العمل ، ولكنها ليست فعالة للنشر على نطاق واسع. كفاءة الهيكل التقليدية لGAN من الدرجة الثانية هي السبب في تقديم EditGAN بواسطة NVIDIA (NVDA ) في عام 2022.

EditGAN هو مقترح كوسيلة فعالة لتحرير الصور الدقيق والجودة العالية مع القدرة على السماح لمستخدميه بتحرير الصور عن طريق تغيير أقنعة التجزئة المفصلة للغاية للصورة.

النموذج EditGAN مبني على هيكل GAN الذي يแบบ الصور وتجزئتها الدلالية بشكل مشترك ، ويتطلب فقط كمية صغيرة من البيانات المُ etiquetted أو المُشفرة للتدريب.

مطورو EditGAN حاولوا دمج الصورة في فضاء GAN اللاتنحياز لتعديل الصورة بشكل فعال من خلال التحسين الشرطي للرمز اللاتنحياز وفقاً للتعديل على التجزئة.

تحرير التجزئة وتعليمها

نموذج EditGAN يدمج الصورة في فضاء GAN اللاتنحياز باستخدام التحسين والكودر لتنفيذ التجزئة على صورة جديدة ، ويتدرب على فرع التجزئة.

استخدام تحرير التجزئة للعثور على الدلالات في الفضاء اللاتنحياز

الغرض الرئيسي من EditGAN هو الاستفادة من التوزيع المشترك لتجزئات الصور والصور لتحقيق تحرير دقيق.

التنفيذ

تم تقييم إطار EditGAN على صور منتشرة عبر أربع فئات مختلفة: السيارات والطيور والقطط والوجوه.

النتائج

النتائج النوعية

تظهر الصورة أعلاه أداء إطار EditGAN عند تطبيق المتجهات التحريرية المُتعلمة مسبقاً على صور جديدة ، وتحسين الصور باستخدام 30 خطوة من التحسين.

النتائج الكمية

لقياس قدرات تحرير الصور لنموذج EditGAN بشكل كمي ، يستخدم النموذج معيار تحرير الابتسامة الذي تم تقديمه لأول مرة بواسطة MaskGAN.

القيود

بسبب أن EditGAN يعتمد على هيكل GAN ، فإنه يملك نفس القيود مثل أي نموذج GAN آخر: يمكنه العمل فقط مع الصور التي يمكن نمذجها بواسطة GAN.

الخلاصة

أحد الأسباب الرئيسية التي تجعل GAN ليست معيارًا في صناعة تحرير الصور هو محدودية الواقعية.

يهدف EditGAN إلى معالجة المشاكل التي قدمتها الإطارات التقليدية لGAN ، ويتصرف كوسيلة فعالة لتحرير دقيق وعالية الجودة.