تحسين توليد الشاشة الخضراء للاستفادة من الاندماج المستقر

على الرغم من الحماس المجتمعي والاستثماري حول الذكاء الاصطناعي البصري التوليدي، فإن الإخراج من هذه الأنظمة ليس دائمًا جاهزًا للاستخدام في العالم الحقيقي؛ أحد الأمثلة على ذلك هو أن أنظمة الذكاء الاصطناعي التوليدية تميل إلى إخراج صور كاملة (أو سلسلة من الصور، في حالة الفيديو)، بدلاً من العناصر الفردية والمعزولة التي يتم تطلبها عادةً لتطبيقات متنوعة في الوسائط المتعددة، وللممارسين في التأثيرات البصرية.

مثال بسيط على ذلك هو التصاميم القابلة للقطع المصممة للطفو فوق الخلفية المستهدفة التي يختارها المستخدم:

الخلفية الرمادية الفاتحة، ربما تكون أكثر شهرة بين مستخدمي برنامج الفوتوشوب، أصبحت تمثل قناة ألفا، أو قناة الشفافية، حتى في عناصر استهلاكية بسيطة مثل الصور المخزنة.

الشفافية من هذا النوع كانت متاحة لمدة ثلاثة عقود؛ منذ الثورة الرقمية في أوائل التسعينيات، كان بإمكان المستخدمين استخراج العناصر من الفيديو والصور من خلال مجموعة متطورة بشكل متزايد من الأدوات والتقنيات.

على سبيل المثال، تحدي “إسقاط” خلفيات الشاشة الزرقاء والخضراء في مقاطع الفيديو، التي كانت في السابق حكرًا على العمليات الكيميائية المكلفة والطابعات البصرية (بالإضافة إلى القوالب المصنوعة يدوياً)، أصبحت عمل دقائق في أنظمة مثل Adobe’s After Effects وبرامج الفوتوشوب (إلى جانب العديد من البرامج والأنظمة المجانية والملكية).

مرة واحدة يتم عزل العنصر، يسمح قناة ألفا (بمثابة قناع يخفي أي محتوى غير ذي صلة) بمزج أي عنصر في الفيديو بسهولة فوق خلفيات جديدة، أو تركيبه مع عناصر معزولة أخرى.

أمثلة على قنوات ألفا، مع تأثيراتها الموضحة في الصف السفلي. Source: https://helpx.adobe.com/photoshop/using/saving-selections-alpha-channel-masks.html

إسقاط

في رؤية الكمبيوتر، يقع إنشاء قنوات ألفا ضمن نطاق التنقيب الدلالي، مع مشاريع مفتوحة المصدر مثل Segment Anything من Meta، التي توفر طريقة قابلة للتحفيز النصي لتعزل/استخراج الأجسام المستهدفة، من خلال تحسين التعرف على الكائنات الدلالي.

تم استخدام إطار Segment Anything في مجموعة واسعة من تدفقات العمل والاستخراج للتأثيرات البصرية، مثل مشروع Alpha-CLIP.

أمثلة على الاستخراج باستخدام Segment Anything، في إطار Alpha-CLIP: Source: https://arxiv.org/pdf/2312.03818

هناك عديد من الطرق البديلة للتنقيب الدلالي التي يمكن تعديلها لمهمة تعيين قنوات ألفا.

然而، يعتمد التنقيب الدلالي على بيانات مدربة قد لا تحتوي على جميع فئات الكائنات المطلوبة للاستخراج. على الرغم من أن النماذج المدربة على كميات كبيرة من البيانات يمكن أن تمكن من تعرف مجموعة أوسع من الكائنات (بفعالية لتصبح نماذج أساسية أو نماذج العالم)، فإنها محدودة بالفئات التي يتم تدريبها على التعرف عليها بشكل فعال.

نظم التنقيب الدلالي مثل Segment Anything يمكن أن تعاني في تحديد بعض الكائنات، أو أجزاء من الكائنات، كما هو موضح هنا في الإخراج من التحفيزات الغامضة. Source: https://maucher.pages.mi.hdm-stuttgart.de/orbook/deeplearning/SAM.html

في أي حال، فإن التنقيب الدلالي هو عملية بعد الحقيقة مثل إجراء الشاشة الخضراء، ويجب عزل العناصر دون ميزة لون خلفية واحد يمكن التعرف عليه والقضاء عليه بفعالية.

لذلك، فقد حدث للمجتمع المستخدم أن الصور والفيديوهات يمكن أن تُنشأ التي تحتوي فعلاً على خلفيات شاشة خضراء التي يمكن إزالتها على الفور عبر طرق تقليدية.

لسوء الحظ، فإن نماذج الانتشار الكامن الشهيرة مثل الانتشار المستقر غالباً ما تواجه بعض الصعوبات في تقديم شاشة خضراء حية حقاً. هذا لأن بيانات التدريب للنماذج لا تحتوي عادةً على العديد من الأمثلة على هذا السيناريو المتخصص.

في الأعلى، نرى أن الانتشار المستقر قد أ gave الأولوية لصحة الصورة على حاجة إنشاء لون أخضر واحد، مما ي复ي مشاكل العالم الحقيقي التي تحدث في سيناريوهات الشاشة الخضراء التقليدية. في الأسفل، نرى أن مفهوم “الأخضر” قد ألوث الصورة الأمامية. Source: https://stablediffusionweb.com/

على الرغم من الطرق المتقدمة المستخدمة، فإن فستان المرأة وربطة الرجل (في الصور السفلية الموجودة أعلاه) سيتم إسقاطهما مع الخلفية الخضراء – مشكلة تعود إلى أيام إزالة صبغة الإمولسيون الكيميائية في السبعينيات والثمانينيات.

كما هو الحال دائمًا، يمكن التغلب على عيوب النموذج من خلال رمي بيانات محددة في المشكلة، وتكريس موارد تدريب كبيرة. أنظمة مثل LayerDiffuse من ستانفورد، التي تم تقديمها في عام 2024، تُنشئ نموذجًا محددًا قادرة على إنشاء صور مع قنوات ألفا:

مشروع LayerDiffuse من ستانفورد تم تدريبه على مليون صورة مناسبة قادرة على إعطاء النموذج القدرة على الشفافية. Source: https://arxiv.org/pdf/2402.17113

لسوء الحظ، بالإضافة إلى الموارد الكبيرة للتكليف والتدريب المطلوبة لهذه النهج، فإن مجموعة البيانات المستخدمة لـ LayerDiffuse ليست متاحة للجمهور، مما يقيّد استخدام النماذج المدربة عليها. حتى لو لم تكن هذه العوائق موجودة، فإن هذا النهج صعب التخصيص أو التطوير لاستخدامات محددة.

قبل ذلك بقليل في عام 2024، تعاونت أبحاث Adobe مع جامعة Stonybrook لإنتاج MAGICK، وهو نهج استخراج ذكاء اصطناعي مدرب على صور انتشار مخصصة.

من الورقة البحثية لعام 2024، مثال على استخراج قناة ألفا دقيق في MAGICK. Source: https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

تم استخدام 150,000 كائن منفصلة ومُنشأة بواسطة الذكاء الاصطناعي لتدريب MAGICK، حتى يتمكن النظام من تطوير فهم直ي للاستخراج:

عينات من مجموعة بيانات MAGICK.

هذه المجموعة من البيانات، كما هو مذكور في الورقة الأصلية، كانت صعبة للغاية في إنشائها بسبب السبب المذكور أعلاه – أن أساليب الانتشار تجد صعوبة في إنشاء مساحات متجانسة من الألوان. لذلك، كان من الضروري اختيار القنوات المُنشأة يدوياً.

هذا الحاجز اللوجستي يؤدي مرة أخرى إلى نظام لا يمكن تخصيصه أو تعديله بسهولة، بل يجب استخدامه في نطاق القدرات الأولية التي تم تدريبه عليها.

TKG-DM – استخراج كروما “أصلي” لنموذج الانتشار الكامن

تعاون جديد بين الباحثين الألمان واليابانيين قد اقترح بديلاً لهذه الطرق المدربة، قادر – كما ذكر في الورقة – على الحصول على نتائج أفضل من الطرق المذكورة أعلاه، دون الحاجة إلى تدريب على مجموعات بيانات مخصصة.

TKG-DM يغير الضوضاء العشوائية التي تُغذي صورة توليدية حتى تكون قادرة على إنتاج خلفية صلبة وقابلة للتشفير – بأي لون. Source: https://arxiv.org/pdf/2411.15580

يناهج النهج الجديد المشكلة على مستوى التوليد، من خلال تحسين الضوضاء العشوائية التي تُغذي صورة توليدية في نموذج انتشار كامن (LDM) مثل الانتشار المستقر.

يستند النهج على تحقيق سابق في مخطط الألوان لتوزيع الانتشار المستقر، وقادر على إنتاج خلفية بأي لون، مع انخفاض (أو عدم وجود) تشابك لون الخلفية في المحتوى الأمامي، مقارنة بالطرق الأخرى.

الضوضاء الأولية مشروطة بتحويل متوسط القناة الذي يمكن أن يؤثر على جوانب عملية إزالة الضوضاء، دون تشابك إشارة اللون في المحتوى الأمامي.

تنص الورقة على ما يلي:

‘تظهر تجاربنا الشاملة أن TKG-DM يحسن من درجات FID وmask-FID بنسبة 33.7٪ و 35.9٪، على التوالي.

‘بالتالي، نموذجنا الخالي من التدريب يتنافس مع النماذج المحددة، ويوفر حلًا فعالًا ومرنًا لمختلف مهام إنشاء المحتوى البصري التي تتطلب التحكم الدقيق في الخلفية والأمامية. ‘

الورقة الجديدة بعنوان TKG-DM: نموذج انتشار خالي من التدريب لإنشاء محتوى كروما، وتأتي من سبعة باحثين عبر جامعة هوسي في طوكيو وRPTU Kaiserslautern-Landau & DFKI GmbH، في كايسرسلاوترن.

الطريقة

يوسع النهج الجديد هيكل الانتشار المستقر من خلال تحديد الضوضاء العشوائية الأولية عبر تحويل متوسط القناة(CMS)، الذي ينتج أنماط ضوضاء مصممة لتشجيع الفصل المطلوب بين الخلفية والأمامية في النتيجة المُنشأة.

مخطط للعملية المقترحة.

يعدل CMS متوسط كل قناة لونية مع الحفاظ على تطور عملية إزالة الضوضاء.

يوضح المؤلفون:

‘لإنشاء الكائن الأمامي على خلفية كروما، نقوم بتطبيق استراتيجية اختيار ضوضاء أولية تجمع بين الضوضاء الأولية وضوضاء اللون الأولية باستخدام قناع غاوسي ثنائي الأبعاد.

‘يخلق هذا القناع انتقال تدريجيًا من خلال الحفاظ على الضوضاء الأصلية في منطقة الكائن الأمامي وتطبيق ضوضاء اللون المعدلة على منطقة الخلفية.’

القناة اللونية المطلوبة للون كروما الخلفية يتم إنشاؤها باستخدام تحفيز نصي فارغ، بينما يتم إنشاء المحتوى الأمامي الفعلي بشكل семанти من تعليمات النص للمستخدم.

يتم استخدام الانتباه الذاتي والانتباه المتقاطع لفصل الجوانب الثلاثة للصورة (خلفية كروما والمحتوى الأمامي). يساعد الانتباه الذاتي في الاتساق الداخلي للكائن الأمامي، بينما يحافظ الانتباه المتقاطع على الإخلاص لتحفيز النص. تشير الورقة إلى أن الخلفية عادة ما تكون أقل تفصيلاً وأهمية في التوليد، وبالتالي فإن تأثيرها الأضعف يسهل التغلب عليه واستبداله بقطعة لون نقية.

تجسيد لتأثير الانتباه الذاتي والانتباه المتقاطع في عملية توليد كروما.

البيانات والاختبارات

تم اختبار TKG-DM باستخدام الانتشار المستقر V1.5 وStable Diffusion SDXL. تم إنشاء الصور عند 512x512px و1024x1024px، على التوالي.

تم إنشاء الصور باستخدام جدول DDIM الأصلي في الانتشار المستقر، عند مقياس توجيه 7.5، مع 50 خطوة إزالة الضوضاء. كان لون الخلفية المستهدف هو الأخضر، وهو الآن الطريقة السائدة لإسقاط الخلفية.

تم مقارنة النهج الجديد مع DeepFloyd، تحت الإعدادات المستخدمة لـ MAGICK؛ إلى نموذج الانتشار الكامن منخفض الرتبة المحدد GreenBack LoRA؛ وأيضًا إلى LayerDiffuse المذكورة أعلاه.

للبحث، تم استخدام 3000 صورة من مجموعة بيانات MAGICK.

أمثلة من مجموعة بيانات MAGICK، التي تم من خلالها اختيار 3000 صورة للاختبارات بالنسبة لنظام جديد. Source: https://ryanndagreat.github.io/MAGICK/Explorer/magick_rgba_explorer.html

للمقاييس، استخدم المؤلفون مسافة FID لتقييم جودة الخلفية. كما طوّروا مقياسًا محددًا للمشروع يسمى m-FID، والذي يستخدم نظام BiRefNet لتقييم جودة القناع الناتج.

مقارنات بصرية لنظام BiRefNet مقابل الطرق السابقة. Source: https://arxiv.org/pdf/2401.03407

لاختبار الانسجام الدلالي مع التحفيزات المدخلة، تم استخدام أساليب CLIP-Sentence (CLIP-S) وCLIP-Image (CLIP-I). تقيم CLIP-S إخلاص التحفيز، وCLIP-I الشبه بصرية مع الصورة الأساسية.

المجموعة الأولى من النتائج النوعية للنهج الجديد، هذه المرة لانتشار مستقر V1.5.

يؤكد المؤلفون أن النتائج (الموضحة أعلاه وأسفل، SD1.5 وSDXL، على التوالي) تظهر أن TKG-DM يحصل على نتائج أفضل دون هندسة التحفيز أو الحاجة إلى تدريب أو تحسين النموذج.

نتائج SDXL النوعية.

يلاحظون أن مع تحفيز لتحفيز خلفية خضراء في النتائج المُنشأة، يجد الانتشار المستقر 1.5 صعوبة في توليد خلفية نظيفة، بينما يُنتج SDXL (الذي يؤدي بشكل أفضل قليلاً) درجات خضراء غير مستقرة معرضة للتداخل مع الفصل في عملية كروما.

هم يلاحظون أيضًا أن بينما يُنتج LayerDiffuse خلفيات منفصلة جيدًا، فإنه يفقد أحيانًا التفاصيل، مثل الأرقام أو الحروف الدقيقة، ويعزون ذلك إلى قيود في مجموعة البيانات. يضيفون أن إنشاء القناع يفشل أحيانًا، مما يؤدي إلى صور “غير مقطوعة”.

بالنسبة للاختبارات الكمية، على الرغم من أن LayerDiffuse يبدو أنه يمتلك ميزة في SDXL من حيث درجات FID، يشدد المؤلفون على أن هذا نتيجة لمجموعة بيانات مخصصة تعتبر ببساطة منتج “مخبز” وغير مرن. كما يؤكدون أن أي كائنات أو فئات غير مدرجة في تلك المجموعة، أو التي يتم تغطيتها بشكل غير كافٍ، قد لا تعمل بشكل جيد، في حين أن المزيد من التحسين لاستيعاب فئات جديدة يطرح على المستخدم عبء اختيار البيانات وعمليات التدريب.

النتائج الكمية للمقارنات.

تنص الورقة على ما يلي:

‘درجات FID وماسك FID وCLIP-I العالية لDeepFloyd تعكس تشابهها مع الصورة الأساسية بناءً على مخرجات DeepFloyd. ومع ذلك، فإن هذا التشابه يعطيها ميزة متأصلة، مما يجعلها غير مناسبة كمعيار عادل لجودة الصورة. ودرجة CLIP-S الأقل تشير إلى انسجام أضعف مع النص.

بشكل عام، هذه النتائج تؤكد قدرة نموذجنا على توليد خلفيات أمامية عالية الجودة ومطابقة للنص بدون تحسين، مما يوفر حلًا فعالًا لإنشاء محتوى كروما.’

أخيرًا، أجرى الباحثون دراسة مستخدمين لتقييم انسجام التحفيز عبر مختلف الطرق. تم طلب من 100 مشارك تقييم 30 زوجًا من الصور من كل طريقة، مع كائنات مستخرجة باستخدام BiRefNet وتنقيحات يدوية عبر جميع الأمثلة. تم تفضيل نهج الباحثين الخالي من التدريب في هذه الدراسة.

نتائج الدراسة المستخدمة.

TKG-DM متوافق مع نظام ControlNet الشهير第三ة الحزب للاستقرار المستقر، ويؤكد المؤلفون على أنهم يحصلون على نتائج أفضل من قدرة ControlNet الأصلية على تحقيق هذا النوع من الفصل.

الاستنتاج

ربما يكون أكثر ما يلفت الانتباه في هذه الورقة الجديدة هو مدى تشابك نماذج الانتشار الكامن، على عكس الاعتقاد الشائع بأنها يمكن أن تفصل بسهولة جوانب الصور والفيديوهات عند توليد محتوى جديد.

كما يؤكد الدراسة على مدى اعتمادية المجتمع البحثي والهواة على التحسين كحل بعد الحقيقة لعيوب النموذج – حل يعالج دائمًا فئات وتصنيفات معينة من الكائنات. في مثل هذه الحالة، سيعمل نموذج محدد جيدًا على عدد محدود من الفئات، أو يعمل بطريقة مقبولة على عدد أكبر من الفئات والكائنات، وفقًا لمزيد من البيانات في مجموعات التدريب.

لذلك، من المفرح رؤية على الأقل حلًا واحدًا لا يعتمد على مثل هذه الحلول المرهقة والمشكوك فيها.

* أثناء تصوير فيلم سوبرمان عام 1978، كان على الممثل كريستوفر ريفي ارتداء بدلة سوبرمان الزرقاء الفاتحة للصور التي تستخدم عملية الشاشة الزرقاء، لتجنب محو البدلة الزرقاء الأيقونية. تم استعادة لون البدلة الأزرق لاحقًا من خلال التدرج اللوني.