استغلال الانتباه البشري يمكن أن يحسن الصور التي تم إنشاؤها بواسطة الذكاء الاصطناعي

اقترحت أبحاث جديدة من الصين طريقة لتحسين جودة الصور التي تم إنشاؤها بواسطة نماذج الانتشار الكامن (LDMs) مثل Stable Diffusion.

تركز الطريقة على تحسين المناطق البارزة في الصورة – المناطق الأكثر احتمالا لجذب الانتباه البشري.

يمكن أن يكون تقسيم الكائنات (التنقيب الدلالي) مساعدة في تحديد جوانب الصورة ، وتنمية خرائط ساليانس tương ứng.

في سلسلة من الأبحاث ، كان كاشف خريطة الساليانس الأكثر شعبية خلال الخمس سنوات الماضية هو مبادرة Gradient-weighted Class Activation Mapping (Grad-CAM) لعام 2016 ، والتي تطورت لاحقًا إلى نظام Grad-CAM++ المُحسّن ، من بين متغيرات وتنقيحات أخرى.

يستخدم Grad-CAM تنشيط التدرج لرمز семантиكي (مثل “كلب” أو “قطة”) لإنتاج خريطة بصرية لمنطقةConcept أو التعليق في الصورة.

أمثلة من ورقة Grad-CAM الأصلية. في العمود الثاني ، يحدد التوجيه العكسي جميع الميزات المساهمة. في العمود الثالث ، يتم رسم الخرائط الدلالية للconceptين “كلب” و “قطة”. Represents العمود الرابع ، اتصال السابقين. Represents العمود الخامس ، خريطة الغطاء (التمويه) التي تتوافق مع الاستدلال ؛ وفي العمود السادس ، يتم تمثيل Grad-CAM لطبقة ResNet-18.

أظهرت الدراسات الإنسانية على النتائج التي تم الحصول عليها بواسطة هذه الطرق وجود対応 بين هذه التمثيلات الرياضية لنقاط الانتباه الرئيسية في الصورة ، والانتباه البشري (عند مسح الصورة).

SGOOL

الورقة الجديدة تدرس ما يمكن أن يroughtه الساليانس إلى أنظمة النص إلى الصورة (و потенциально ، النص إلى الفيديو) مثل Stable Diffusion و Flux.

عند تفسير نص الإشارة ، تستكشف نماذج الانتشار الكامن الفضاء الكامن المُدرب لconceptات بصرية تتوافق مع الكلمات أو العبارات المستخدمة. ثم يتم تمرير هذه النقاط عبر عملية التنظيف ، حيث يتم تطور الضوضاء العشوائية إلى تفسير إبداعي لنص الإشارة.

في هذه النقطة ، ومع ذلك ، يعطي النموذج انتباهًا متساويًا لكل جزء من الصورة. منذ شعبية نماذج الانتشار في عام 2022 ، مع إطلاق OpenAI لمنشئ الصور Dall-E المتاح ، والتصدير المفتوح لإطار Stable Diffusion ، وجد المستخدمون أن “المناطق الأساسية” من الصورة غالبًا ما يتم إهمالها.

نظرًا إلى أن وجه الشخص في صورة نمطية يحتمل أن يحتوي على أهمية قصوى للمشاهد ، وغالبًا ما يشغل أقل من 10-35٪ من إجمالي الصورة ، فإن هذه الطريقة الديمقراطية لتوزيع الانتباه تعمل ضد طبيعة الإدراك البشري وتاريخ الفن والتصوير.

عندما يتم تخصيص نفس القوة الحاسوبية للأزرار على بنطلون الشخص مثل عينيه ، يمكن القول إن تخصيص الموارد غير مثالي.

لذلك ، الطريقة الجديدة التي اقترحها المؤلفون ، والمسمى تحسين الساليانس الموجه للانتشار الكامن (SGOOL) ، يستخدم كاشف ساليانس لزيادة الانتباه إلى المناطق المهملة من الصورة ، وتخصيص موارد أقل للsections التي من المحتمل أن تبقى على هامش انتباه المشاهد.

الطريقة

يتضمن خط أنابيب SGOOL إنشاء الصور ، وخرائط الساليانس ، والتحسين ، مع معالجة الصورة الكلية و الصورة المُحسّنة بالساليانس بشكل مشترك.

مخطط مفاهيمي ل SGOOL.

تم تحسين التضمين الكامن لنماذج الانتشار بشكل مباشر مع التحسين الدقيق ، وإزالة الحاجة إلى تدريب نموذج معين. تم تعديل طريقة النموذج الضبابي غير المباشر (DDIM) لجامعة ستانفورد ، والتي تعرفها المستخدمون من Stable Diffusion ، لدمج المعلومات الثانوية المقدمة بواسطة خرائط الساليانس.

ينص الورقة على ما يلي:

‘نحن نستخدم كاشف ساليانس لتقليد نظام الانتباه البصري البشري وتحديد المناطق البارزة. لتجنب إعادة تدريب نموذج إضافي ، طريقةنا تُحسّن مباشرة التضمين الكامن للانتشار.

‘إضافة إلى ذلك ، يستخدم SGOOL عملية انتشار قابلة للعكس ويعطيها مزايا تنفيذ الذاكرة الثابتة. وبالتالي ، أصبحت طريقةنا طريقة تحسين دقيقة ومتوافرة.

البيانات والاختبارات

لاختبار SGOOL ، استخدم المؤلفون توزيع “فانيليا” من Stable Diffusion V1.4 (مُشار إليه باسم “SD” في نتائج الاختبار) و Stable Diffusion مع توجيه CLIP (مُشار إليه باسم “الأساس” في النتائج).

تم تقييم النظام ضد ثلاث مجموعات بيانات عامة: CommonSyntacticProcesses (CSP) ، DrawBench ، و DailyDallE*.

يحتوي الأخير على 99 سؤالًا متقدمًا من فنان تمت الإشارة إليه في أحد منشورات مدونة OpenAI ، بينما يقدم DrawBench 200 سؤالًا عبر 11 فئة. CSP يتكون من 52 سؤالاً بناءً على ثمانية حالات نحوية متنوعة.

ل SD ، الأساس و SGOOL ، في الاختبارات ، تم استخدام نموذج CLIP على ViT/B-32 لإنشاء التضمينات الصورية والنصية. تم استخدام نفس النص والإشارة العشوائية. كان حجم الإخراج 256×256 ، وتم استخدام الأوزان والإعدادات الافتراضية ل TransalNet.

إضافة إلى مقياس درجة CLIP ، تم استخدام درجة تفضيل الإنسان (HPS) ، بالإضافة إلى دراسة حقيقية مع 100 مشارك.

النتائج الكمية لمقارنة SGOOL بالتكوينات السابقة.

فيما يتعلق بالنتائج الكمية الموضحة في الجدول أعلاه ، تنص الورقة على ما يلي:

‘نموذجنا يتفوق بشكل كبير على SD و Baseline في جميع مجموعات البيانات تحت كل من مقياس CLIP و HPS. النتائج المتوسطة لنموذجنا على مقياس CLIP و HPS هي 3.05 و 0.0029 أعلى من المركز الثاني ، على التوالي.’

قيم المؤلفون أيضًا مخططات صندوق HPS ودرجات CLIP فيما يتعلق بالمناهج السابقة:

مخططات صندوق HPS ودرجات CLIP التي تم الحصول عليها في الاختبارات.

يعلقون:

‘يمكن رؤية أن نموذجنا يتفوق على النماذج الأخرى ، مما يشير إلى أن نموذجنا أكثر قدرة على إنشاء صور تتوافق مع النصوص.

‘ومع ذلك ، في مخطط الصندوق ، لا يسهل رؤية المقارنة من مخطط الصندوق بسبب حجم هذا مقياس التقييم في [0، 1]. لذلك ، سنستمر في رسم المخططات الشريطية tương ứng.’

‘يمكن رؤية أن SGOOL يتفوق على SD و Baseline في جميع مجموعات البيانات تحت كل من مقياس CLIP و HPS. النتائج الكمية تظهر أن نموذجنا يمكن أن يولد صورًا أكثر توافقًا семantically ومفضلة للإنسان.’

يلاحظ الباحثون أن نموذج الأساس يمكن أن يحسن جودة الإخراج ، ولكنه لا يأخذ في الاعتبار المناطق البارزة من الصورة. يزعمون أن SGOOL ، من خلال الوصول إلى تسوية بين التقييم العالمي والتقييم البارز ، يحصل على صور أفضل.

في المقارنات النوعية (الآلية) ، تم تعيين عدد التحسينات إلى 50 ل SGOOL و DOODL.

النتائج النوعية للاختبارات. يرجى الرجوع إلى الورقة الأصلية للحصول على تعريف أفضل.

هنا يلاحظ المؤلفون:

‘في الصف الأول ، مواضيع النص هي “قطة تغني” و “رباعي الحلاقة”. هناك أربعة قطط في الصورة التي تم إنشاؤها بواسطة SD ، ومحتوى الصورة لا يتوافق جيدًا مع النص.

‘القطة يتم تجاهلها في الصورة التي تم إنشاؤها بواسطة Baseline ، وهناك نقص في التفاصيل في تمثيل الوجه والتفاصيل في الصورة. DOODL يحاول إنشاء صورة تتوافق مع النص.

‘ومع ذلك ، поскольку DOODL يُحسّن الصورة الكلية مباشرة ، يتم تحسين الأشخاص في الصورة نحو القطة.’

يلاحظون أيضًا أن SGOOL ، على العكس ، يولد صورًا تتوافق أكثر مع النص الأصلي.

في اختبار الإدراك البشري ، قيم 100 متطوع صورة اختبار لجودة وثباتها Семантиكي (أي مدى ارتباطها بنص الإشارة الأصلي).

نتائج اختبار الإدراك البشري.

كما يشير الورقة إلى أن طريقة المؤلفين مفضلة بشكل ملحوظ أكثر من المناهج السابقة.

الخلاصة

لم يكن lâu بعد أن أصبحت النقاط الضعف المذكورة في هذه الورقة واضحة في التثبيتات المحلية ل Stable Diffusion ، ظهرت طرق مخصصة (مثل After Detailer) لفرض النظام على تخصيص المزيد من الانتباه إلى المناطق التي كانت أكثر أهمية للإنسان.

ومع ذلك ، يتطلب هذا النوع من النهج أن يمر نظام الانتشار أولاً بعمليته العادية لتطبيق الانتباه المتساوي على كل جزء من الصورة ، مع أداء العمل الإضافي كمرحلة إضافية.

يشير دليل SGOOL إلى أن تطبيق علم النفس البشري الأساسي على تحديد الأولويات لقطاعات الصورة يمكن أن يعزز الاستدلال الأولي ، دون خطوات ما بعد المعالجة.

* الورقة توفر نفس الرابط لهذا كما للعمليات السابقة.

نشر لأول مرة يوم الأربعاء ، 16 أكتوبر 2024