ثلاث تحديات أمام Stable Diffusion

قد يكون إصدار نموذج合成 الصور بالانتشار اللاتنتي لشركة stability.ai قبل أسبوعين أحد أكثر الإفصاحات التكنولوجية أهمية منذ DeCSS في 1999؛ إنه بالتأكيد أكبر حدث في صور الأيجاد بواسطة الذكاء الاصطناعي منذ كود deepfakes في 2017 تم نسخة إلى GitHub وتم فرعه إلى ما سوف يصبح DeepFaceLab و FaceSwap ، وكذلك برنامج deepfake في الوقت الفعلي DeepFaceLive.

بمجرد ذلك ، تم تجاوز إزالة قيود المحتوى في واجهة برمجة تطبيقات合성 الصور DALL-E 2 ، حيث تم الكشف عن أن مرشح NSFW في Stable Diffusion يمكن تعطيله عن طريق تغيير سطر واحد من الكود.

في هذه الأثناء ، promptcraft – الفن المهني الجديد ل “الهمس لذكاء الاصطناعي” ، والذي قد يصبح أقصر خيار وظيفي منذ “فيلوفاكس بايندر” – أصبح بالفعل تجاريًا ، في حين أن التمونيز المبكر لاستقرار انتشار يتم في مستوى باتريون ، مع اليقين من عروض أكثر تطورًا في المستقبل ، لأولئك الذين لا يرغبون في التنقل عبر تثبيتات كونديا للكود المصدري ، أو المرشحات NSFW القسرية للتطبيقات القائمة على الويب.

مع ذلك ، دعونا نلقي نظرة على ثلاثة من التحديات الأكثر إثارة للاهتمام والتي قد تواجهها المجتمع سريع التكوين وسريع النمو لاستقرار انتشار ، وأملًا في التغلب عليها.

1: تحسين أنابيب التILING

مع تقديم موارد الأجهزة المحدودة والحدود الصلبة على دقة الصور المُدرجة ، من المحتمل أن يجد المطورون حلاً لتحسين جودة و دقة مخرجات استقرار انتشار.

كما هو الحال دائمًا مع مبادرات الرؤية الحاسوبية و合성 الصور ، تم تدريب استقرار انتشار على صور比例 مربع ، في هذه الحالة تم إعادة أخذ العينة إلى 512×512 ، بحيث يمكن للصور الأصلية أن تُ 정규 وتُدرج في قيود وحدات المعالجة الرسومية التي دربت النموذج.

لذلك “يفكر” استقرار انتشار (إذا كان يفكر على الإطلاق) بالشروط 512×512 ، و بالتأكيد بالشروط المربعة.

يبلغ العديد من المستخدمين الذين يبحثون حاليًا عن حدود النظام أن استقرار انتشار ينتج نتائج أكثر موثوقية وأقل تشويشًا عند هذا النسبة المحدودة (انظر “معالجة التطرف” أدناه).

على الرغم من أن التطبيقات المختلفة تتميز بتمكين التكبير من خلال RealESRGAN (ويمكنها إصلاح الوجوه المُدرجة بشكل سيئ من خلال GFPGAN) ، فإن العديد من المستخدمين حاليًا يطورون أساليب لتقسيم الصور إلى أقسام 512x512px و خياطتها معًا لتشكيل أعمال مركبة أكبر.

على سبيل المثال ، تم إنشاء هذا العرض 1024×576 ، وهو دقة عادة ما تكون مستحيلة في عرض استقرار انتشار واحد ، عن طريق نسخ ولصق ملف attention.py من فرع DoggettX من استقرار انتشار (الذي ينفذ تكبير التILING) إلى فرع آخر.

نوع العرض المجرد المُدرج أعلاه يحتوي على العديد من “الممالك الصغيرة” من التفاصيل التي تتناسب مع هذا النهج الذاتي لتكبير الصور ، ولكنها قد تتطلب حلول برمجية أكثر تحديًا من أجل إنتاج تكبير غير متكرر ومتكامل لا يبدو أنه تم تجميعه من العديد من الأجزاء.

على سبيل المثال ، في حالة الوجوه ، حيث نحن متأثرين بشكل غير عادي بالتشوهات أو “العيوب المزعجة”. لذلك قد تحتاج الوجوه في النهاية إلى حل مخصص.

استقرار انتشار لا يمتلك حاليًا آلية لتركيز الانتباه على الوجه أثناء العرض بنفس الطريقة التي يُفضل بها البشر المعلومات القحفية.

على الرغم من أن بعض المطورين في مجتمعات Discord يفكرون في طرق لتنفيذ هذا النوع من “الانتباه المحسن” ، إلا أنه حاليًا من السهل بشكل أكبر تعزيز الوجه يدويًا (وأخيرًا تلقائيًا) بعد حدوث العرض الأولي.

الوجه البشري يحتوي على منطق семантиكداخلي كامل لن يتم العثور عليه في “بلاط” من زاوية أسفل (على سبيل المثال) مبنى ، وبالتالي من الممكن “التكبير” بشكل فعال و إعادة العرض لوجه “مبهم” في مخرجات استقرار انتشار.

في غياب حل Textual Inversion المخصص (انظر أدناه) ، هذا سوف يعمل فقط للصور الشهيرة حيث الشخص المعني موجود بالفعل في أجزاء بيانات LAION التي درب استقرار انتشار.

لذلك سوف يعمل على أشخاص مثل توم كروز وبراد بيت و جينيفر لورانس و مجموعة محدودة من الشخصيات الإعلامية الحقيقية الموجودة في أعداد كبيرة من الصور في البيانات المصدر.

عندما يكون البيانات متاحة ، يمكن لحلول التكبير القائمة على التILING في استقرار انتشار أن تذهب أبعد من التركيز على الوجه: يمكنها إمكانية تمكين وجوه أكثر دقة ومفصلة عن طريق كسر الميزات القحفية وتركيز جميع الموارد المحلية المتاحة على الميزات الهامة بشكل فردي قبل إعادة التجميع – عملية هي حاليًا يدوية.

هذا ليس محدودًا بالوجوه ، ولكنه محدود بالجزء من الكائنات التي تتوافق على الأقل مع المواقع المتوقعة في سياق الكائن المضيف ، والتي تتوافق مع التضمينات عالية المستوى التي يمكن توقعها بشكل معقول في مجموعة بيانات كبيرة النطاق.

الحد الحقيقي هو كمية البيانات المرجعية المتاحة في مجموعة البيانات ، لأن التفاصيل المتكررة في النهاية سوف تصبح完全 “متخيله” (أي خيالية) وأقل أصالة.

تسمح التكبيرات الحبيبية العالية الجودة بالعمل في حالة جينيفر كونيلي ، لأنها تمثل جيدًا عبر مجموعة من الأعمار في LAION-aesthetics (الفرعي الرئيسي من LAION 5B الذي يستخدمه استقرار انتشار) ؛ في العديد من الحالات الأخرى ، سوف تعاني الدقة من نقص البيانات ، مما يتطلب إما تعديلًا إضافيًا (تدريبًا إضافيًا ، انظر “التخصيص” أدناه) أو Textual Inversion (انظر أدناه).

الألواح هي وسيلة قوية ومحددة التكلفة نسبيًا لتمكين استقرار انتشار من إنتاج مخرجات عالية الدقة ، ولكن التكبير الخياري للوحة من هذا النوع ، إذا لم يكن لديه آلية انتباه أعلى مستوى ، قد يفتقر إلى المعايير المأمول بها عبر مجموعة من أنواع المحتوى.

2: معالجة مشاكل الأطراف البشرية

استقرار انتشار لا يعيش حتى اسمه عند تصوير تعقيد الأطراف البشرية.

اليدان يمكن أن تتكاثر بشكل عشوائي ، والأصابع تتماسك ، و تظهر الساق الثالثة دون سبب ، وتختفي الأطراف الحالية دون أثر.

في دفاعه ، استقرار انتشار يشارك المشكلة مع رفاقه ، وأكثر من ذلك مع DALL-E 2.

النتائج غير المعدلة من DALL-E 2 و استقرار انتشار (1.4) في نهاية أغسطس 2022 ، كلاهما يظهر مشاكل مع الأطراف.

النظرية هي أن هناك هرمية جيدة من العلامات الفردية والفئات التي تساهم في تصوير ذراع بشري سوف تكون مثل جسم > ذراع > يد > أصابع > [أجزاء إصبع / إبهام] > [أجزاء إصبع] > أظافر.

في الواقع ، من غير المحتمل أن تكون الصور الأصلية مخططة بشكل متسق عبر مجموعة البيانات بأكملها ، وسوف تتوقف الخوارزميات غير المخترقة في مستوى أعلى – على سبيل المثال “اليد” – و سوف تترك البكسل الداخلية (التي تحتوي تقنيًا على معلومات “إصبع”) ككتلة غير مخططة من البكسل التي سوف تشتق منها الميزات بشكل عشوائي ، والتي قد تظهر في العروض اللاحقة كعنصر مزعج.

إذا كان هذا صحيحًا ، فلا يوجد علاج حقيقي ، بسبب نقص الموارد المالية لتعيين العلامات يدويًا ، و نقص الخوارزميات الفعالة بما يكفي التي يمكن أن تautomate التسمية مع معدلات خطأ منخفضة.

من المحتمل أن يصبح النموذج متأثرًا بثبات التشريح البشري لتقديم قصاصات مجموعة البيانات التي تم تدريبه عليها.

بعد ذلك ، قد تكون “الأصابع” هي أصغر مجموعة ، على الرغم من وجود 14 جزء إصبع / إبهام إضافي للاعتبار عند تصوير الأيدي البشرية.

إذا كان هذا صحيحًا ، فلا يوجد علاج حقيقي ، بسبب نقص الموارد المالية لتعيين العلامات يدويًا ، و نقص الخوارزميات الفعالة بما يكفي التي يمكن أن تautomate التسمية مع معدلات خطأ منخفضة.

من المحتمل أن يصبح النموذج متأثرًا بثبات التشريح البشري لتقديم قصاصات مجموعة البيانات التي تم تدريبه عليها.

بعد ذلك ، قد تكون “الأصابع” هي أصغر مجموعة ، على الرغم من وجود 14 جزء إصبع / إبهام إضافي للاعتبار عند تصوير الأيدي البشرية.

إذا كان هذا صحيحًا ، فلا يوجد علاج حقيقي ، بسبب نقص الموارد المالية لتعيين العلامات يدويًا ، و نقص الخوارزميات الفعالة بما يكفي التي يمكن أن تautomate التسمية مع معدلات خطأ منخفضة.

من المحتمل أن يصبح النموذج متأثرًا بثبات التشريح البشري لتقديم قصاصات مجموعة البيانات التي تم تدريبه عليها.

بعد ذلك ، قد تكون “الأصابع” هي أصغر مجموعة ، على الرغم من وجود 14 جزء إصبع / إبهام إضافي للاعتبار عند تصوير الأيدي البشرية.

3: التخصيص

إحدى الإمكانيات الأكثر إثارة للاهتمام لمستقبل استقرار انتشار هو إمكانية المستخدمين أو المنظمات لتطوير أنظمة محسنة; تعديلات تتيح دمج محتوى خارج نطاق LAION المُدرب مسبقًا في النظام – идеاليًا بدون التكلفة غير القابلة للتحكم في تدريب النموذج بأكمله مرة أخرى ، أو المخاطر التي تتحمل عند تدريب حجم كبير من الصور الجديدة في نموذج موجود ومature.

من خلال التشبيه: إذا انضم两个 طلاب أقل موهبة إلى فصل متقدم من ثلاثين طالبًا ، فسيتم دمجهم وستتحسن أدائهم ، أو سيفشلون كأقلية; في كلتا الحالتين ، من المحتمل أن لا تتأثر أداء الفصل بشكل كبير.

إذا انضم خمسة عشر طالبًا أقل موهبة ، فإن منحنى الدرجات للفصل بأكمله سوف يعاني على الأرجح.

بالنسبة إلى استقرار انتشار ، يمكن أن يتم تدمير الشبكة التكاملية للعلاقات التي يتم بناؤها عبر تدريب النموذج الطويل والمكلف ، من خلال بيانات جديدة مفرطة ، مما يقلل من جودة الإخراج للنموذج بشكل عام.

حالة التبرير للقيام بذلك هي في الغالب حيث يقع اهتمامك في اختطاف فهم النموذج Conceptual للعلاقات والأشياء ، وتخصيصه لإنتاج محتوى مشابه للمادة الإضافية التي أضفتها.

على سبيل المثال ، تدريب 500,000 إطار من The Simpsons في نقطة تحقق استقرار انتشار موجودة سوف يحصل في النهاية على محاكي The Simpsons أفضل مما كان يمكن أن يقدمه البناء الأصلي ،假 أن العلاقات السيمантиكة العريضة بما في ذلك Homer Simpson يأكل hotdog (الذي قد يتطلب مواد حول hotdogs لم تكن في المواد الإضافية الخاصة بك ، ولكنها موجودة بالفعل في نقطة التحقق) ، و假 أنك لا تريد التبديل فجأة من محتوى The Simpsons إلى إنشاء مناظر رائعة بواسطة Greg Rutkowski – لأن نموذجك المُدرّب بعد ذلك سوف يكون انتباهه منحرفًا بشكل كبير ، ولن يكون جيدًا في القيام بذلك النوع من الأشياء كما كان من قبل.

تعتبر waifu-diffusion مثالًا ملحوظًا على ذلك ، والتي أدرجت بنجاح 56,000 صورة أنمي في نقطة تحقق استقرار انتشار مكتملة ومدربة.

ومع ذلك ، فإن هذا الأمر صعب على الهواة ، منذ أن يتطلب النموذج الحد الأدنى من 30 جيجابايت من VRAM ، وهو ما يفوق ما قد يكون متاحًا في مستوى المستهلك في إصدارات سلسلة 40XX القادمة من NVIDIA.

القيود الظاهرة الأساسية لانحراف النصي هي أن عددًا قليلاً من الصور يُوصى به – قد يكون أقل من خمس صور.

على الرغم من ذلك ، فإن التجارب التي تتم حاليًا داخل مختلف مجتمعات Discord لاستقرار انتشار تستخدم أعدادًا أكبر من الصور ، وتبقى لمعرفة كيف قد تكون هذه الطريقة منتجة.

نظرًا ل这些 العوامل المحددة ، قد نضطر إلى الانتظار لفترة من الوقت لمشاهدة بعض التجارب الأكثر تطورًا لانحراف النصي من هواة استقرار انتشار – وما إذا كان هذا النهج يمكن أن “يضعك في الصورة” بطريقة تبدو أفضل من قص ولصق Photoshop ، مع الحفاظ على الوظائف المذهلة للنقاط المرجعية الرسمية.

نُشر لأول مرة في 6 سبتمبر 2022.