تحرير دلالي عالي الدقة للصور باستخدام EditGAN

تجد الشبكات التوليدية التنافسية (GAN) تطبيقات جديدة في تحرير الصور. وخلال الأشهر القليلة الماضية، اكتسب EditGAN شعبية في قطاع الذكاء الاصطناعي وتعلم الآلة لأنه يقدم طريقة جديدة للتحرير الدلالي بدقة وجودة مرتفعتين. يشرح هذا المقال النموذج بالتفصيل ولماذا قد يمثل إنجازًا بارزًا في التحرير الدلالي للصور. وقبل التعرف إلى آليته، نوضح أهميته وأسباب كونه خطوة إلى الأمام.

لماذا EditGAN؟

أسهمت GAN التقليدية في تقدم تحرير الصور بالذكاء الاصطناعي، لكن بناء نظام من الصفر يواجه مشكلات: الحاجة إلى بيانات كثيرة موسومة بأقنعة التجزئة الدلالية، والتحكم العام بدل التحكم الدقيق، والاكتفاء غالبًا بالاستيفاء بين الصور. وتحد الكفاءة المتواضعة من النشر الواسع. يذكر المصدر أن NVIDIA (NVDA ) قدمت EditGAN عام 2022.

يتيح EditGAN تحرير الصور بتغيير أقنعة التجزئة التفصيلية. وتُنمذج بنيته الصور وتجزئتها بصورة مشتركة، فتحتاج إلى أمثلة موسومة قليلة. تُضمّن الصورة في الفضاء الكامن للشبكة، ثم يُحسّن الرمز الكامن بصورة مشروطة وفق تعديل القناع.

لتوزيع تكلفة التحسين على استخدامات متعددة، يتعلم النموذج «متجهات تحرير» في الفضاء الكامن. يمكن تعلم متجهات عديدة وتطبيقها مباشرة وبسرعة على صور أخرى. وتُظهر التجارب إمكان تغيير تفاصيل صغيرة جدًا مع الحفاظ على جودة الصورة.

يصف المقال EditGAN بأنه أول إطار لتحرير الصور قائم على GAN يجمع المزايا التالية:

• دقة تحرير عالية جدًا.
• الاكتفاء ببيانات موسومة قليلة.
• إمكان النشر الفعال في سيناريوهات الوقت الحقيقي.
• تركيب عدة تعديلات في وقت واحد.
• العمل على صور GAN وصور حقيقية مُضمّنة وبعض الصور خارج نطاق بيانات التدريب.

التحرير الدلالي الدقيق باستخدام EditGAN

يُستخدم StyleGAN2، وهو إطار متقدم لتوليف الصور قائم على GAN، مكوّنًا رئيسيًا لتوليد الصور في EditGAN. فهو يحول رموزًا كامنة مأخوذة من توزيع طبيعي متعدد المتغيرات إلى صور واقعية. وهو نموذج توليدي عميق مدرب على توليف الصور بجودة عالية، ويشكّل أساسًا لتعلم بنيتها الدلالية.

تدريب التجزئة والاستدلال

يجمع EditGAN بين مُرمّز والتحسين لتضمين الصور في الفضاء الكامن. يُدرب المُرمّز على صور مولدة وصور حقيقية باستخدام خسارة إعادة البناء L2 على مستوى البكسل وLPIPS. وتُستخدم الرموز الكامنة أيضًا لتنظيم المُرمّز مباشرة عند التعامل مع عينات GAN.

ثم تُضمّن الصور ذات تعليقات التجزئة في الفضاء الكامن، ويُدرب فرع التجزئة في المولّد باستخدام خسارة الإنتروبيا المتقاطعة.

اكتشاف الدلالات في الفضاء الكامن عبر تعديل التجزئة

الهدف هو استغلال التوزيع المشترك للصور والتجزئة من أجل تحرير دقيق. عند تعديل الصورة x، تُضمّن في الفضاء الكامن أو تُستخدم عينة من المولّد. ينتج فرع التجزئة القناع y، وتتشارك الصورة RGB والقناع الرمز الكامن w. يمكن للمستخدم تعديل القناع يدويًا بأدوات الوسم أو الرسم الرقمي.

طرق التحرير أثناء الاستدلال

تمثل المتجهات المتعلمة اتجاهات ذات معنى دلالي، وغالبًا تسمح بالتحكم في السمات بصورة منفصلة. يمكن تضمين صورة جديدة وتطبيق تعديل سابق دون إعادة التحسين كاملًا من البداية، فتتوزع تكلفته الأولية على عدة صور.

لكن فصل السمات ليس مثاليًا. قد يغير المتجه مناطق غير مقصودة في صورة أخرى، ويمكن تقليل هذه الآثار بخطوات تحسين إضافية وقت الاختبار. توجد ثلاثة أوضاع:

• التحرير الفوري بالمتجهات: للتعديلات المحلية المعزولة جيدًا، تُطبق المتجهات السابقة بدرجات مختلفة بسرعة تفاعلية.
• تنقيح ذاتي الإشراف للتحرير بالمتجهات: يبدأ التحرير بمتجه معروف ثم تُضاف خطوات تحسين لإزالة الآثار في المناطق الأخرى.
• التحرير القائم على التحسين: التغييرات الكبيرة أو الخاصة بصورة واحدة تتطلب التحسين من البداية، لأنها لا تنتقل مباشرة بالمتجهات السابقة.

التنفيذ

يُقيّم النموذج على السيارات والطيور والقطط والوجوه. يُدرب فرع التجزئة على 16 و30 و30 و16 زوجًا موسومًا من الصورة والقناع، على الترتيب. عند التحرير بالتحسين وحده أو تعلم المتجهات، تُنفذ 100 خطوة باستخدام Adam.

في القطط والسيارات والوجوه تُستخدم صور حقيقية من مجموعة اختبار DatasetGAN لم تدخل في تدريب GAN، وتُضمّن بالمُرمّز والتحسين. أما الطيور فتُعرض تعديلات على صور مولدة.

النتائج

النتائج النوعية داخل نطاق البيانات

توضح الصورة تطبيق متجهات سابقة على صور جديدة ثم التنقيح بـ30 خطوة. تبقى التعديلات في الفئات المختلفة منفصلة نسبيًا عن السمات الأخرى وتحافظ على الجودة العامة. وبالمقارنة مع الطرق الأخرى، ينفذ EditGAN تغييرات معقدة ودقيقة مع الحفاظ على هوية العنصر وجودة الصورة في الوقت نفسه.

تشمل الأمثلة توسيع حدقة العين وتعديل أذرع عجلات السيارة. يمكن تغيير مناطق لا تتجاوز بضعة بكسلات أو إجراء تغييرات واسعة. وتختلف بعض النتائج عن الصور الموجودة في بيانات تدريب GAN.

النتائج خارج نطاق البيانات

في اختبار MetFaces تُتعلم المتجهات من وجوه حقيقية داخل النطاق، ثم تُضمّن صور البورتريه الخارجية عبر 100 خطوة تحسين، وتُطبق المتجهات مع 30 خطوة تنقيح ذاتي الإشراف.

النتائج الكمية

يُستخدم اختبار تعديل الابتسامة الذي قدمه MaskGAN لتحويل وجوه محايدة إلى مبتسمة، مع قياس ثلاثة جوانب:

• الصحة الدلالية: يحدد مصنف ابتسامة مدرب مسبقًا ما إذا كان الوجه بعد التعديل مبتسمًا.
• الجودة على مستوى التوزيع: تُحسب مسافتا Kernel Inception Distance ‏(KID) وFréchet Inception Distance ‏(FID) بين مجموعة اختبار CelebA و400 صورة معدلة.
• حفظ الهوية: تقيس شبكة ArcFace مدربة مسبقًا مدى بقاء الشخص نفسه بعد التعديل.

يقارن الجدول EditGAN بطرق مرجعية في اختبار الابتسامة. وتشمل الطرق المناقشة:

• MaskGAN: يتلقى صورة غير مبتسمة وقناعها وقناعًا مستهدفًا مبتسمًا، ويحتاج إلى بيانات موسومة أكثر.
• Local Editing: يجمع سمات GAN لإجراء تعديلات محلية ويعتمد على صور مرجعية.
• InterFaceGAN: يبحث أيضًا عن متجهات في الفضاء الكامن، لكنه يستخدم بيانات موسومة كثيرة ومصنفات سمات مساعدة ولا يتيح الدرجة نفسها من الدقة التفصيلية.
• StyleGAN2Distillation: يستخدم نموذج متجهات تحرير لإنشاء بيانات تدريب، ولا يتطلب بالضرورة تضمين الصور الحقيقية بالطريقة نفسها.

القيود

يرث EditGAN قيد GAN الأساسي: لا يعمل إلا على الصور التي يستطيع المولّد تمثيلها. ويصعب ذلك تطبيقه في سيناريوهات متنوعة. تساعد المتجهات على نقل تعديلات دقيقة إلى صور أخرى، لكنها لا تلغي هذا القيد.

الخلاصة

إن محدودية الاستخدام العملي والحاجة إلى بيانات موسومة كثيرة وتفاوت الكفاءة أو الدقة تمنع GAN التقليدية من أن تصبح معيارًا عامًا لتحرير الصور. يحاول EditGAN معالجة ذلك بتحرير دلالي دقيق وعالي الجودة. وتُظهر النتائج المعلنة تفوقه على بعض طرق المقارنة، مما يجعله اتجاهًا واعدًا.