تعزيز دقة تحرير الصور باستخدام الذكاء الاصطناعي

على الرغم من أن نموذج Adobe Firefly Latent Diffusion Model (LDM) يُعتبر واحدًا من أفضل النماذج المتاحة حاليًا، إلا أن مستخدمي برنامج Photoshop الذين جربوا ميزاته التوليدية لاحظوا أن النموذج لا يستطيع تحرير الصور الحالية بسهولة – بل يُستبدل الجزء المحدد من قبل المستخدم بنصوص ومعلومات من الصورة الأصلية.

في الإصدار التجريبي الحالي، يمكن لبرنامج Photoshop على الأقل دمج صورة مرجعية كجزء من الصورة، مما يسمح لمستخدمي برنامج Adobe بالوصول إلى الوظائف التي يتمتع بها مستخدمو Stable Diffusion منذ أكثر من عامين بفضل الإطارات الخارجية مثل Controlnet:

الإصدار التجريبي الحالي من برنامج Adobe Photoshop يسمح باستخدام الصور المرجعية عند توليد محتوى جديد داخل التحديد – على الرغم من أنه لا يزال قائمًا على الحظ في الوقت الحالي.

هذا يُظهر مشكلة مفتوحة في أبحاث 합성 الصور – صعوبة نموذج الاختلاط في تحرير الصور الحالية دون تنفيذ إعادة تخيل كاملة للتحديد المحدد من قبل المستخدم.

على الرغم من أن هذا النموذج يُطيع الأمر المحدد من قبل المستخدم، إلا أنه يُخترع موضوع الصورة الأصلية مرة أخرى دون أخذ الصورة الأصلية في الاعتبار (باستثناء مزج التوليد الجديد مع البيئة).

تحدث هذه المشكلة لأن نماذج الاختلاط تُولد الصور من خلال التخفيض التدريجي للضوضاء، حيث يتم تحديد كل مرحلة من مراحل العملية بواسطة النص المحدد من قبل المستخدم.

عندما يتم تحويل محتوى النص إلى رموز التضمين، ونموذج كبير مثل Stable Diffusion أو Flux يحتوي على مئات الآلاف (أو الملايين) من الرموز المتطابقة المرتبطة بالنص، فإن العملية تتمتع بتوزيع مشروط محسوب لتحقيق هدف معين؛ وكل خطوة يتم اتخاذها هي خطوة نحو هذا “الهدف المشروط”.

هكذا يتم توليد الصور النصية – سيناريو حيث يتمنى المستخدم أن يكون التوليد جيدًا، لأن هناك لا يمكن تحديد ما سيكون التوليد مثلًا.

بدلاً من ذلك، سعى العديد من الأشخاص إلى استخدام القدرة التوليدية القوية لنماذج الاختلاط لتحرير الصور الحالية – ولكن هذا يتطلب توازنًا بين الإخلاص والمرنة.

عندما يتم 투射 الصورة إلى فضاء النموذج بالطرق مثل DDIM inversion، فإن الهدف هو استعادة الصورة الأصلية بأقرب ما يمكن مع السماح بالتعديلات المهمة.

مثل العديد من الإطارات الأخرى المقترحة في السنوات الأخيرة، يجد نموذج Renoise صعوبة في إحداث أي تغيير حقيقي في مظهر الصورة، مع وجود فقط إشارة سطحية إلى ربطة عنق القط في قاعدة حلق القط.

من ناحية أخرى، إذا أُعطيت الأولوية للتعديل، فإن النموذج يخفف قبضته على الصورة الأصلية، مما يسهل إدخال التغييرات – ولكن على حساب الاتساق العام مع الصورة الأصلية:

مهمة ناجحة – ولكنها تحويل وليس تعديل، بالنسبة لمعظم إطارات تحرير الصور المستندة إلى الذكاء الاصطناعي.

منذ أن يواجه هذا التحدي حتى الموارد الكبيرة لشركة Adobe، يمكننا أن نعتبر أن التحدي ملحوظًا، وربما لا يسمح بالحلول السهلة، إن وجدت.

الانقلاب الضيق

لذلك، لفتت الأمثلة في ورقة جديدة نشرت هذا الأسبوع انتباهي، لأن العمل يقدم تحسينًا جيدًا وملحوظًا على الحالة الحالية في هذا المجال، من خلال إمكانية تطبيق تعديلات دقيقة ومحسنة على الصور المشعة في فضاء النموذج – دون أن تكون التعديلات غير مهمة أو تغمر المحتوى الأصلي في الصورة الأصلية:

مع تطبيق الانقلاب الضيق على أساليب الانقلاب الحالية، يتم اعتبار التحديد الأصلي بطريقة أكثر تفصيلًا، وتتماشى التحويلات مع المادة الأصلية بدلاً من كتابتها.

يمكن لمحترفي نموذج الاختلاط التعرف على هذا النوع من النتائج، لأن معظمها يمكن创يته في سير عمل معقد باستخدام أنظمة خارجية مثل Controlnet وIP-Adapter.

في الواقع، الطريقة الجديدة – التي تُسمى الانقلاب الضيق – تستخدم IP-Adapter، إلى جانب نموذج مخصص للوجوه، لتمثيلات الإنسان.

من الورقة الأصلية لنموذج IP-Adapter في عام 2023، أمثلة على صياغة تعديلات مناسبة على المادة الأصلية.

الانجاز الرئيسي للانقلاب الضيق هو تحويل تقنيات معقدة إلى نمط إضافة يمكن تطبيقه على الأنظمة الحالية، بما في ذلك معظم توزيعات نموذج الاختلاط الشهيرة.

بالطبع، هذا يعني أن الانقلاب الضيق (TI) يستخدم، مثل الأنظمة الإضافية التي يعتمد عليها، الصورة الأصلية كعامل شرطي لنسخة المحرر، بدلاً من الاعتماد فقط على النصوص الدقيقة:

مزيد من الأمثلة على قدرة الانقلاب الضيق على تطبيق تعديلات متجانسة على المادة الأصلية.

على الرغم من أن المؤلفين يعترفون بأن نهجهم لا يخلو من التوتر التقليدي والمستمر بين الإخلاص والتعديل في تقنيات تحرير الصور المستندة إلى نموذج الاختلاط، فإنهم يبلغون عن نتائج على مستوى الدولة عندما يتم حقن TI في الأنظمة الحالية، مقارنة بأداء القاعدة:

الورقة الجديدة بعنوان الانقلاب الضيق: الانقلاب المشروط على الصورة للتعديل الفعلي للصورة، ويأتي من خمسة باحثين عبر جامعة تل أبيب وSnap Research.

الطريقة

في البداية، يتم استخدام نموذج اللغة الكبير (LLM) لتوليد مجموعة من النصوص المتنوعة التي يتم من خلالها توليد صورة.

ثم يتم تطبيق الانقلاب DDIM على كل صورة مع ثلاثة شروط نصية: النص المحدد المستخدم لتوليد الصورة؛ نسخة مختصرة من نفس النص؛ والنص الفارغ:

مع العودة إلى الضوضاء المعكوسة من هذه العمليات، يتم إعادة توليد الصور مرة أخرى بنفس الشروط، دون توجيه تصنيفي (CFG):

درجات الانقلاب DDIM عبر معايير مختلفة مع إعدادات النص المتغيرة.

كما نرى من الرسم البياني أعلاه، تتحسن الدرجات عبر المعايير المختلفة مع زيادة طول النص.

المعايير المستخدمة كانت نسبة الإشارة إلى الضوضاء القصوى (PSNR)؛ المسافة الاُوربية (L2)؛ دليل التشابه الهيكلي (SSIM)؛ ومتشابهية الصورة المكتسبة بالتعلم (LPIPS):

متعرف على الصورة

بفعالية، يغير الانقلاب الضيق طريقة تحرير الصور الحقيقية للنموذج الاختلاط من خلال تشغيل عملية الانقلاب على الصورة نفسها بدلاً من الاعتماد فقط على النص:

عادة، عند عكس صورة إلى فضاء نموذج الاختلاط، يتعين تقدير الضوضاء الأولية التي، عند إزالة الضوضاء، تعيد بناء الإدخال.

الأساليب القياسية تستخدم النص المحدد لتوجيه هذه العملية؛ ولكن النص المحدد غير الكامل قد يؤدي إلى أخطاء، مما يؤدي إلى فقدان التفاصيل أو تغيير الهياكل.

الانقلاب الضيق يستخدم بدلاً من ذلك IP Adapter لإدخال المعلومات البصرية إلى النموذج، بحيث يُعاد بناء الصورة بدقة أكبر، مما يُحول الصور الأصلية إلى رموز شرطية، ويُشععها إلى трубة الانقلاب:

هذه المعلمات قابلة للتحرير: زيادة تأثير الصورة الأصلية يجعل الإعادة بناء几乎 مثالية، في حين أن تقليلها يسمح بالتغييرات الإبداعية.

هذا يجعل الانقلاب الضيق مفيدًا لكل من التعديلات الدقيقة، مثل تغيير لون القمصان، أو التعديلات الأكثر أهمية، مثل استبدال الأشياء – دون الآثار الجانبية الشائعة لأنظمة تحرير الصور المستندة إلى الذكاء الاصطناعي، مثل فقدان التفاصيل الدقيقة أو التشوهات غير المتوقعة في محتوى الخلفية.

يصر المؤلفون على أن الانقلاب الضيق يمكن دمجه بسهولة مع أساليب الانقلاب السابقة (مثل Edit Friendly DDPM، ReNoise) من خلال استبدال النواة الاختلاطية الأصلية بنموذج IP Adapter المعدل:

كما يصر المؤلفون على أن الانقلاب الضيق يُحسن باستمرار هذه الأساليب من حيث الإعادة بناء والتعديل:

البيانات والاختبارات

تم تقييم الانقلاب الضيق على قدرته على إعادة بناء الصور الحقيقية وتحريرها.

جميع التجارب استخدمت Stable Diffusion XL مع جدول DDIM؛ وجميع الاختبارات استخدمت 50 خطوة من إزالة الضوضاء مع مقياس توجيه افتراضي يبلغ 7.5:

للتشغيل الشرطي على الصورة، تم استخدام IP-Adapter-plus sdxl vit-h.

للاختبارات القليلة، استخدم الباحثون SDXL-Turbo مع جدول Euler، وأجروا أيضًا تجارب مع FLUX.1-dev، حيث تم تشغيل النموذج على PuLID-Flux، باستخدام RF-Inversion في 28 خطوة:

تم استخدام PuLID فقط في الحالات التي تتميز بوجوه بشرية، لأن هذا هو المجال الذي تم تدريبه عليه – وبالنسبة لنا، فإن اهتمامنا الشديد بتحويل الوجوه البشرية يشير إلى أن الاعتماد فقط على أوزان نموذج الأساس مثل Stable Diffusion قد لا يكون كافياً لمعاييرنا المطلوبة لهذه المهمة المحددة.

تم إجراء اختبارات إعادة بناء للتقويم النوعي والكمي.

في الصورة أدناه، نرى نتائج نوعية لانقلاب DDIM:

نتائج نوعية إضافية لانقلاب DDIM. تحسين الشروط الوصفية يُحسن الانقلاب DDIM، مع تفوق تشغيل الصورة على النص، خاصة على الصور المعقدة.

كما قام المؤلفون بتحويل الانقلاب الضيق إلى وحدة إضافة يمكن تطبيقها على الأنظمة الحالية، ومواجهة الإصدارات المعدلة من أداء القاعدة:

النظم الثلاثة التي تم اختبارها كانت الانقلاب DDIM وRF-Inversion؛ بالإضافة إلى ReNoise، الذي يتقاسم بعض المؤلفين مع الورقة قيد النقاش هنا.

由于 أن نتائج DDIM لا تواجه صعوبة في الحصول على 100% من إعادة البناء، فإن الباحثين ركزوا فقط على القابلية للتعديل:

تم تضمين بعض الصور النوعية للنتائج أدناه، ونسأل القارئ الرجوع إلى المستند الأصلي للحصول على تغطية أفضل ووضوح:

بعض النتائج النوعية المنتشرة في جميع أنحاء الورقة. نسأل القارئ الرجوع إلى المستند الأصلي للحصول على دقة أفضل ووضوح.

يصر المؤلفون على أن الانقلاب الضيق يُحسن باستمرار تقنيات الانقلاب الحالية من خلال تحقيق توازن أفضل بين إعادة البناء والتعديل.

الأساليب القياسية مثل الانقلاب DDIM وReNoise يمكن أن تعيد بناء الصورة جيدًا، ولكنها غالبًا ما تعاني من الحفاظ على التفاصيل الدقيقة عند تطبيق التعديلات.

بالنسبة إلى الانقلاب الضيق، يستخدم تشغيل الصورة لتحقيق نتائج أكثر إخلاصًا، مما يمنع التشوهات غير المرغوب فيها.

يصر المؤلفون على أن حتى عندما تنتج الأساليب التقليدية إعادة بناء تظهر دقيقًا، فإن إدخال التعديلات غالبًا ما يؤدي إلى تشوهات أو عدم الاتساق الهيكلي، وأن الانقلاب الضيق يُقلل من هذه القضايا.

أخيرًا، تم الحصول على نتائج كمية من خلال تقييم الانقلاب الضيق ضد معيار MagicBrush، باستخدام الانقلاب DDIM وLEDITS++، وقياسه بواسطة CLIP Sim:

مقارنات كمية بين الانقلاب الضيق ومعيار MagicBrush.

يصر المؤلفون على ما يلي:

‘في كلا الرسمين البيانيين، يتم ملاحظة التبادل بين الحفاظ على الصورة والامتثال للتعديل المستهدف.

‘يُلاحظ أن الانقلاب الضيق يُحسن السيطرة على هذا التبادل، ويحافظ بشكل أفضل على الصورة الإدخالية مع الحفاظ على الانسجام مع تعديل النص.’

الاستنتاج

على الرغم من أن الانقلاب الضيق لا يُعتبر “كسرًا” في أحد أصعب التحديات في 합성 الصور المستندة إلى نموذج الاختلاط، إلا أنه يُوحّد العديد من الأساليب الإضافية في نهج موحد لتحرير الصور المستندة إلى الذكاء الاصطناعي.

على الرغم من أن التوتر بين التعديل والإخلاص لا يزال قائمًا، إلا أنه يُقلل بشكل ملحوظ، وفقًا للنتائج المقدمة.

نظرًا لأن التحدي المركزي الذي يعالجه هذا العمل قد يثبت في النهاية أنه غير قابل للتغلب عليه إذا تم التعامل معه على شروطها الخاصة (بدلاً من النظر إلى ما وراء هياكل نموذج الاختلاط في الأنظمة المستقبلية)، فإن الانقلاب الضيق يُعتبر تحسينًا تراكميًا مرحبًا به في الحالة الحالية.

نُشر لأول مرة يوم الجمعة، 28 فبراير 2025