كيف يمكن أن يتطور Stable Diffusion إلى منتج استهلاكي رئيسي

على نحو ironي، Stable Diffusion، إطار التركيب الصوري الجديد الذي أثار ضجة في العالم، ليس مستقرًا ولا منتشرًا على نطاق واسع – على الأقل، ليس بعد.

تنتشر مجموعة كاملة من قدرات النظام عبر مجموعة متنوعة من العروض المتغيرة التي يقدمها عدد قليل من المطورين الذين يتبادلون المعلومات والأفكار الحديثة في محادثات متعددة على Discord – ومعظم إجراءات تثبيت الحزم التي يخلقونها أو يعدلونها بعيدة كل البعد عن كونها “سهلة التثبيت”.

بدلاً من ذلك، تميل إلى تتطلب تثبيتًا عبر سطر الأوامر أو BAT، عبر GIT و Conda و Python و Miniconda، وغيرها من إطارات التطوير المتقدمة – حزم برمجية نادرة للغاية بين معظم مستخدمي المستهلكين، بحيث يتم وضع تثبيتها بشكل متكرر من قبل مزودي البرامج الخبيثة ومكافحة الفيروسات على أنها دليل على نظام مضيف معيب.

مجموعة صغيرة فقط من مراحل التثبيت القياسي لاستقرار التشتت الحالي. تتطلب العديد من التوزيعات أيضًا إصدارات محددة من Python، والتي قد تتعارض مع الإصدارات المثبتة على جهاز المستخدم – على الرغم من أنه يمكن تجنب ذلك باستخدام تثبيتات Docker و، إلى حد ما، من خلال استخدام بيئات Conda.

تضيف خيوط الرسائل في كل من مجتمعات Stable Diffusion السليمة والغير سليمة نصائح وحيل متعلقة بتحسين البرامج النصية القياسية للتثبيت، من أجل تمكين وظائف محسنة أو حل أخطاء التبعية المتكررة، وغيرها من القضايا.

هذا يترك المستهلك العادي، المهتم في إنشاء صور رائعة من نصوص المحفزات، تقريبًا تحت رحمة عدد متزايد من واجهات الويب التي تمت مونيتها، والتي تقدم عددًا قليلاً من عمليات توليد الصور المجانية قبل شراء الرموز.

بالإضافة إلى ذلك، يرفض معظم هذه العروض القائمة على الويب إخراج المحتوى غير السليم (الذي قد يتعلق بموضوعات عامة غير إباحية، مثل “الحرب”) الذي يميز Stable Diffusion عن خدمات OpenAI المخففة.

Photoshop لاستقرار التشتت

تنتظر العالم الأوسع ما هو في الأساس ‘Photoshop لاستقرار التشتت’ – تطبيق قابل للتثبيت عبر المنصات الذي يدمج أفضل الوظائف وأقوىها في архيتيكتور Stability.ai، بالإضافة إلى الابتكارات المبتكرة للغاية لجتمع التطوير الناشئ، دون وجود نوافذ سطر الأوامر العائمة أو إجراءات التثبيت والتحديث المتغيرة دائمًا، أو ميزات مفقودة.

ما لدينا حاليًا، في معظم التثبيتات الأكثر قدرة، هو صفحة ويب متواضعة تتقاطع مع نافذة سطر الأوامر المنفصلة، وURL=localhost port:

مشابه لتطبيقات التركيب النصي مثل FaceSwap، وDeepFaceLab المعتمد على BAT، يظهر تثبيت “prepack” لاستقرار التشتت جذوره سطر الأوامر، مع واجهة يمكن الوصول إليها عبر منفذ localhost (انظر الجزء العلوي من الصورة أعلاه) الذي يتواصل مع وظائف استقرار التشتت القائمة على سطر الأوامر.

من دون شك، سيتطور تطبيق أكثر سلاسة. بالفعل هناك تطبيقات متكاملة عديدة يمكن تحميلها، مثل GRisk و NMKD (انظر الصورة أدناه) – ولكن لا يوجد منها الذي يدمج نطاقًا كاملًا من الميزات التي يمكن أن تقدمها بعض التطبيقات الأكثر تقدمًا وأقل إمكانية الوصول لاستقرار التشتت.

تطبيقات مبكرة لاستقرار التشتت، مبسطة قليلا. NMKD هي الأولى التي تدمج إخراج سطر الأوامر مباشرة في واجهة المستخدم الرسومية.

دعونا نلقي نظرة على ما قد يبدو عليه تطبيق متكامل ومحترف لاستقرار التشتت – وما التحديات التي قد تواجهه.

الاعتبارات القانونية لتطبيق استقرار التشتت التجاري الكامل

عامل NSFW

تم إصدار رمز مصدر استقرار التشتت تحت رخصة非常 مرنة لا تحظر التطبيقات التجارية وإصدارات الأعمال المشتقة التي تبني بشكل كبير من رمز المصدر.

بالإضافة إلى عدد متزايد من تطبيقات استقرار التشتت المعتمدة على Patreon، بالإضافة إلى عدد كبير من إضافات التطبيقات التي يتم تطويرها لـ Figma و Krita و Photoshop و GIMP و Blender (من بين آخرين)، لا يوجد سبب عملي لماذا لا يمكن لمطور برمجيات مدعوم جيدًا تطوير تطبيق استقرار التشتت أكثر تطورًا وقدرة.

من منظور السوق، هناك كل سبب للاعتقاد بأن مبادرات عديدة من هذا القبيل已经 قيد التنفيذ.

هنا، تواجه هذه الجهود على الفور معضلة ما إذا كان سيتم تمكين مرشح NSFW الأصلي لاستقرار التشتت (شذرة من الشفرة)، ليكون معطلاً.

دفن مفتاح NSFW

على الرغم من أن رخصة استقرار التشتت المفتوحة من Stability.ai تشمل قائمة تفاسيرية متواضعة للتطبيقات التي قد لا يتم استخدامها من أجلها (التي قد تشمل المحتوى الإباحي و الصور الوهمية)، فإن الطريقة الوحيدة التي يمكن لمصنع تطبيق منع مثل هذا الاستخدام هي تجميع مرشح NSFW في تنفيذ قابل للتنفيذ غير شفاف بدلاً من معامل في ملف بايثون، أو فرض مقارنة خوارزمية على ملف بايثون أو DLL الذي يحتوي على توجيه NSFW، بحيث لا يمكن أن تحدث عمليات التخليق إذا قام المستخدمون بتغيير هذا الإعداد.

هذا من شأنه أن يترك التطبيق “مخصيًا” بنفس الطريقة التي يتم بها ذلك حاليًا مع DALL-E 2، مما يقلل من جاذبيته التجارية. بالإضافة إلى ذلك، من المحتمل أن تظهر إصدارات مخترقة من هذه المكونات (سواء كانت عناصر تشغيل بايثون الأصلي أو ملفات DLL المجمعة كما يتم استخدامها حاليًا في خط أدوات تعزيز الصور الإصدارية من Topaz) في مجتمع القرصنة، لتفكيك مثل هذه القيود، ببساطة عن طريق استبدال العناصر المعوقة، وبالتالي إلغاء متطلبات الخوارزمية.

في النهاية، قد يختار المصنع ببساطة تكرار تحذير Stability.ai ضد سوء الاستخدام الذي يظهر في تشغيل العديد من توزيعات استقرار التشتت الحالية.

ومع ذلك، فإن المطورين الصغار المفتوحين المصدر الحاليين الذين يستخدمون إفادات غير رسمية بهذه الطريقة لديهم القليل لخسارته، بالمقارنة مع شركة برمجيات استثمرت الكثير من الوقت والمال في جعل استقرار التشتت كامل الميزات وقابل للوصول – وهو ما يدعو إلى مزيد من التفكير العميق.

مسؤولية الصور الوهمية

كما لاحظنا مؤخرًا، يحتوي قاعدة بيانات LAION-aesthetics، جزء من 4.2 مليار صورة التي تم تدريب نماذج استقرار التشتت المستمرة عليها، على عدد كبير من صور المشاهير، مما يسمح للمستخدمين بإنشاء صور وهمية، بما في ذلك صور إباحية وهمية للمشاهير.

من مقالنا الأخير، أربع مراحل من جينيفر كونيلي خلال أربعة عقود من مسيرتها، مستنيرة من استقرار التشتت.

هذا هو vấnة منفصلة وأكثر جدلًا من إنشاء “البورنو المجرد” (الذي عادة ما لا يصور أشخاصًا “حقيقيين”)، والذي يتم استخلاصه من عدة صور حقيقية في المواد التدريبية.

منذ أن طورت عدد من الولايات الأمريكية وبلدان قوانين ضد صور البورنو الوهمية، قد يعني khả năng استقرار التشتت لإنشاء صور إباحية للمشاهير أن التطبيق التجاري قد يحتاج إلى بعض khả năng لتصفية وجوه المشاهير.

طريقة واحدة هي توفير قائمة سوداء لمصطلحات لن يتم قبولها في محفز المستخدم، تتعلق باسماء المشاهير وأدوار خيالية قد ترتبط بها. من المفترض أن يتم تطبيق هذه الإعدادات في لغات أخرى غير الإنجليزية، لأن البيانات الأصلية تتميز بلغات أخرى.

من الممكن أيضًا دمج أنظمة تعرف المشاهير مثل تلك التي طورتها Clarifai.

قد يكون من الضروري لمصنعي البرمجيات دمج هذه الطرق، ربما مع إيقاف تشغيلها في البداية، كما قد تساعد في منع تطبيق استقرار التشتت المستقل من إنشاء وجوه المشاهير، في انتظار تشريعات جديدة قد تجعل هذه الوظيفة غير قانونية.

مرة أخرى، مع ذلك، يمكن أن يتم كسر مثل هذه الوظائف بشكل لا مبرر من قبل الأطراف المهتمة؛ ومع ذلك، يمكن لمصنع البرمجيات أن يزعم أن هذا هو في الأساس تخريب غير مصرح به – طالما لا يتم جعل هندسة عكسية مثل هذا التخريب سهلًا بشكل مفرط.

الميزات التي يمكن تضمينها

الوظائف الأساسية في أي توزيع لاستقرار التشتت سيتوقعها أي تطبيق تجاري مدعوم جيدًا. وتشمل هذه القدرة على استخدام محفزات نصية لإنشاء صور مناسبة (نص-صورة); القدرة على استخدام رسومات أو صور أخرى كدليل لصور محفزة جديدة (صورة-صورة); وسيلة لضبط مدى “تخيل” النظام؛ طريقة لتجاوز وقت العرض مقابل الجودة؛ والميزات “الأساسية” الأخرى، مثل أرشفة الصور والمحفزات الاختيارية، وترقية الصور الأساسية عبر RealESRGAN، وعملية تصحيح الوجه الأساسية مع GFPGAN أو CodeFormer.

هذا هو تثبيت “فانيليا” تقريبًا. دعونا نلقي نظرة على بعض الميزات الأكثر تقدمًا التي يتم تطويرها أو توسيعها، والتي يمكن تضمينها في تطبيق استقرار التشتت كامل الحجم.

تجميد عشوائي

حتى لو أعيد استخدام بذرة من تحويل ناجح سابق، فمن الصعب للغاية جعل استقرار التشتت يعيد تحويل دقيقًا إذا تم تغيير أي جزء من المحفز أو الصورة المصدر (أو كليهما) لتحويل لاحق.

هذا هو vấnة إذا كنت تريد استخدام EbSynth لفرض تحويلات استقرار التشتت على فيديو حقيقي بطريقة متسقة زمنيًا – على الرغم من أن التقنية يمكن أن تكون فعالة جدًا لصور بسيطة للرأس والكتفين:

يمكن أن يكون EbSynth وسيلة فعالة لتحويل تحويلات استقرار التشتت إلى فيديو واقعي، إذا كانت الحركة محدودة. مصدر: https://streamable.com/u0pgzd

يعمل EbSynth عن طريق استخراج مجموعة صغيرة من الإطارات “المعدلة” إلى فيديو تم تقديمه إلى ملفات صورة متسلسلة (والتي يمكن إعادة تجميعها لاحقًا في فيديو).

في هذا المثال من موقع EbSynth، تم رسم إطار صغير من إطارات الفيديو بطريقة فنية. يستخدم EbSynth هذه الإطارات كدليل لتعديل الفيديو بأكمله بحيث يطابق أسلوبه.

في المثال أدناه، الذي يظهر تقريبًا بدون حركة من المُدرّب اليوجا الحقيقي على اليسار، ما زال استقرار التشتت يعاني من صعوبة في الحفاظ على وجه متسق، لأن الإطارات الثلاث التي يتم تحويلها كإطارات “مفتاح” لا تكون متطابقة تمامًا، حتى لو كان لديهم نفس البذرة العددية.

هنا، حتى مع نفس المحفز والبذرة عبر جميع التحويلات الثلاث، وتغييرات قليلة بين الإطارات المصدر، تختلف عضلات الجسم في الحجم والشكل، ولكن أكثر importantly، الوجه غير متسق، مما يعوق الاتساق الزمني في تحويل EbSynth المحتمل.

على الرغم من أن فيديو SD / EbSynth أدناه مخترع جدًا، حيث تم تحويل أصابع المستخدم إلى زوج من الساقين المرتدين البنطلون وطائر البطريق، على التوالي، فإن عدم الاتساق في البنطلون ي tượng إلى المشكلة التي يعاني منها استقرار التشتت في الحفاظ على الاتساق عبر إطارات مفتاح مختلفة، حتى عندما تكون الإطارات المصدر متشابهة ومتسقة.

أصبع رجل يصبح رجلًا سائرًا وطائر بطريق، عبر استقرار التشتت وEbSynth. مصدر: https://old.reddit.com/r/StableDiffusion/comments/x92itm/proof_of_concept_using_img2img_ebsynth_to_animate/

المستخدم الذي أنشأ هذا الفيديو علق أن تحويل البطريق، الذي كان أكثر فعالية من بين الاثنين، إذا كان أقل إثارة وأصالة، يتطلب فقط إطارًا مفسرًا واحدًا، في حين كان من الضروري تقديم 50 صورة لاستقرار التشتت لإنشاء البنطلون السائر، والتي تظهر عدم اتساق زمني أكبر. لاحظ المستخدم أيضًا أنه كان يتعين عليه محاولة خمس مرات لتحقيق الاتساق لكل من الإطارات 50.

لذلك سيكون من المفيد جدًا لتطبيق استقرار التشتت الشامل أن يوفر وظيفة تحافظ على الخصائص إلى أقصى حد عبر الإطارات الرئيسية.

إحدى الاحتمالات هي أن يسمح التطبيق للمستخدم “تجميد” التشفير العشوائي للتحويل على كل إطار، وهو ما يمكن تحقيقه حاليًا فقط عن طريق تعديل رمز المصدر يدوياً. كما يظهر المثال أدناه، هذا يساعد في الاتساق الزمني، على الرغم من أنه لا يحله بالكامل:

قام مستخدم Reddit بتحويل مقاطع الفيديو الخاصة به إلى أشخاص مشهورين مختلفين، ليس فقط من خلال الحفاظ على البذرة (التي يمكن لأي تطبيق لاستقرار التشتت القيام بها)، ولكن من خلال ضمان أن معامل stochastic_encode() كان متطابقًا في كل تحويل. تم إنجاز هذا من خلال تعديل الشفرة، ولكن يمكن بسهولة أن يصبح مفتاحًا يمكن الوصول إليه من قبل المستخدم. من الواضح، مع ذلك، أنه لا يحل جميع القضايا الزمنية. مصدر: https://old.reddit.com/r/StableDiffusion/comments/wyeoqq/turning_img2img_into_vid2vid/

الانقلاب النصي السحابي

حل أفضل لتحقيق اتساق زمني في الشخصيات والأشياء هو “خَبْز”ها في الانقلاب النصي – ملف بحجم 5 كيلوبايت يمكن تدريبه في بضع ساعات بناءً على خمس صور مخططة فقط، والتي يمكن استدعاؤها بعد ذلك بمحفز خاص “*”، مما يسمح، على سبيل المثال، بمظهر متسق لشخصيات جديدة للاستخدام في سرد.

يمكن تحويل الصور المرتبطة بالوسوم إلى كيانات منفصلة من خلال الانقلاب النصي، ويمكن استدعاؤها بدون غموض، وفي السياق والنمط الصحيح، بواسطة كلمات رموز خاصة. مصدر: https://huggingface.co/docs/diffusers/training/text_inversion

الانقلابات النصية هي ملفات مرفقة بالنموذج الكبير والمدرب بالكامل الذي يستخدمه استقرار التشتت، وتُدخل بشكل فعال في عملية الاستدعاء / التوجيه، بحيث يمكن أن تشارك في المشاهد المشتقة من النموذج، وتستفيد من قاعدة بيانات النموذج الضخمة للمعرفة حول الأشياء والأسلوب والبيئات والتفاعلات.

然而، على الرغم من أن الانقلاب النصي لا يستغرق وقتًا طويلاً للتدريب، إلا أنه يتطلب كمية كبيرة من VRAM؛ وفقًا لمسارات مختلفة حالية، يتراوح بين 12 و 20 و 40 جيجابايت.

منذ أن لا يملك معظم المستخدمين العاديين هذا النوع من قوة GPU في متناول يدهم، فإن خدمات السحابية تظهر بالفعل لتقوم بالعمل، بما في ذلك إصدار Hugging Face. على الرغم من وجود تطبيقات Google Colab التي يمكنها إنشاء انقلابات نصية لاستقرار التشتت، قد تجعل متطلبات VRAM والزمن هذه التحديات كبيرة للمستخدمين في فئة Colab المجانية.

للتطبيق المحتمل الكامل لاستقرار التشتت (المثبت)، يبدو تمرير هذه المهمة الثقيلة إلى خادم الشركة السحابي استراتيجية ربحية واضحة (افتراض أن تطبيق استقرار التشتت المجاني أو المنخفض التكلفة يحتوي على وظائف غير مجانية من هذا القبيل، وهو ما يبدو محتملًا في العديد من التطبيقات التي ستنشأ من هذه التقنية في الأشهر 6-9 القادمة).

بالإضافة إلى ذلك، يمكن أن يستفيد عملية تعليم وتنسيق الصور والنص المرسل من التutomatisation في بيئة متكاملة. يمكن أن يكون “عامل الإدمان” لإنشاء عناصر فريدة يمكنها استكشاف عالم استقرار التشتت الواسع ومواجهة أشياء أخرى فيه أمرًا ممتعًا، لكل من هواة الصور والشباب.

وزن المحفزات المرنة

هناك العديد من التنفيذات الحالية التي تسمح للمستخدم بمنح أهمية أكبر لجزء من محفز نصي طويل، ولكن الآلية تختلف بشكل كبير بين هذه، وغالبًا ما تكون غير مريحة أو غير直ة.

على سبيل المثال، يمكن أن يخفض أو يرفع تفرع استقرار التشتت الشعبي من AUTOMATIC1111 قيمة كلمة محفز عن طريق وضعها بين قوسين مفردين (للتقليل) أو قوسين مربعين (للتعزيز).

يمكن أن يغير القوسين المربعين و / أو الأقواس تحويل إفطارك في هذا الإصدار من وزن محفزات استقرار التشتت، ولكن إنه كارثة الكوليسترول في كلتا الحالتين.

تستخدم بعض إصدارات استقرار التشتت علامات تعجب لتعزيزها، في حين أن الإصدارات الأكثر مرونة تسمح للمستخدمين بتعيين أوزان للمحفزات في واجهة المستخدم.

يجب أن يسمح النظام أيضًا بوزن محفزات سالب – ليس فقط لمحبي الرعب، ولكن لأن هناك قد تكون هناك أسرار أكثر إثارة وأكثر إضاءة في فضاء استقرار التشتت اللاتنتي أكثر مما يمكن أن يستدعيه لغة محدودة.

الرسم الخارجي

قريبًا بعد إصدار استقرار التشتت مفتوح المصدر، حاول OpenAI استعادة بعض ضجة DALL-E 2 من خلال الإعلان عن “الرسم الخارجي”، الذي يسمح للمستخدم بتوسيع صورة ما خارج حدودها بمنطق семантиكي وتناسق بصري.

طبعًا، تم تنفيذ هذا أيضًا لاستقرار التشتت، وكذلك في Krita، وينبغي أن يتم تضمينه في إصدار شامل من استقرار التشتت، على غرار Photoshop.

يمكن أن يمتد تعزيز البلاط إلى حد ما إلى 512x512px تقريبًا، طالما أن المحفزات والصورة الحالية والمنطق الсемантиكي يسمحون بذلك. مصدر: https://github.com/lkwq007/stablediffusion-infinity

نظرًا لأن استقرار التشتت يتم تدريبه على صور 512x512px (ومن أجل العديد من الأسباب الأخرى)، فإنه يقطع رؤوس (أو أجزاء جسدية أساسية أخرى) من الأشخاص بشكل متكرر، حتى عندما يشير المحفز بوضوح إلى “تأكيد الرأس”، إلخ..

أمثلة نمطية لقطع استقرار التشتت؛ ولكن يمكن أن يضع الرسم الخارجي جورج مرة أخرى في الصورة.

يجب أن يتم توفير تنفيذ الرسم الخارجي من النوع الموضح في الصورة المتحركة أعلاه (التي تعتمد حصريًا على مكتبات Unix، ولكنها يجب أن تكون قادرة على التكرار على Windows) كعلاج سريع للمشكلة هذه.

في الوقت الحالي، يمتد عدد من المستخدمين قماش “القطع” لأعلى، ويملأون تقريبًا منطقة الرأس، ويستخدمون img2img لإكمال العرض المعيب.

التخفيض الفعال الذي يفهم السياق

يمكن أن يكون التخفيض أمرًا صعبًا للغاية في استقرار التشتت، اعتمادًا على التفرع أو الإصدار على النحو التالي. في كثير من الحالات، حيث يمكن رسم قناع متسق، فإن المنطقة المحددة غالبًا ما يتم تعبئتها بمحتوى لا يأخذ السياق الكامل للصورة في الاعتبار.

في مناسبة واحدة، قمت بتخفيض قرني عيني من صورة الوجه، وقدمت محفزًا “عينان زرقاء” كتخفيض قناع – فقط لاكتشف أنني أبدو أنني أنظر من خلال عينين مقطوعتين بشريتين إلى صورة بعيدة لذئب غير عادي. أعتقد أنني محظوظ لأنني لم أكن فرانك سيناترا.

يمكن أيضًا تعديل семантиقيًا من خلال تحديد الضوضاء التي بنت الصورة في المقام الأول، مما يسمح للمستخدم بمعالجة عناصر بنيوية محددة في عرض دون 干扰 باقي الصورة:

تغيير عنصر واحد في صورة دون تخفيض تقليدي ودون تغيير المحتوى المجاور، من خلال تحديد الضوضاء التي أنشأت الصورة في المقام الأول وتعديل الأجزاء التي ساهمت في المنطقة المستهدفة. مصدر: https://old.reddit.com/r/StableDiffusion/comments/xboy90/a_better_way_of_doing_img2img_by_finding_the/

تعتمد هذه الطريقة على عينة K-Diffusion.

مرشحات семантиكية للاختراقات الفسيولوجية

كما ذكرنا من قبل، يمكن لاستقرار التشتت أن يضيف أو يزيل الأطراف بشكل متكرر، بسبب مشاكل البيانات ونقص في التعليقات التي ت συνοδεύ الصور التي تم تدريبها عليه.

مثل ذلك الطفل المتمرد الذي وضع لسانه في صورة الفصل، يمكن أن تكون جرائم استقرار التشتت البيولوجية ليست على الفور واضحة، وربما قد قمت بنشر أحدث تحفة فنية التي أنشأتها باستخدام الذكاء الاصطناعي على Instagram قبل أن تلاحظ اليدين الإضافية أو الأطراف المنصهرة.

من الصعب للغاية إصلاح هذه النوعية من الأخطاء، لذلك سيكون من المفيد إذا كان تطبيق استقرار التشتت الكامل يحتوي على نظام تعرف تشريحي يستخدم التجزئة الсемантиكية لحساب ما إذا كانت الصورة الواردة تحتوي على عيوب تشريحية شديدة (كما هو موضح في الصورة أعلاه)، ويلغيها لصالح عرض جديد قبل تقديمها للمستخدم.

بالطبع، قد ترغب في تقديم إلهة كالي، أو دكتور أوكتوبوس، أو حتى إنقاذ جزء غير متأثر من صورة مصابة بأطراف، لذلك يجب أن يكون هذا الميزة قابلة للتبديل.

إذا كان المستخدمون يمكنهم تحمل جانب التелеметري، يمكن أن يتم نقل هذه الأعطال بشكل مجهول في جهود التعلم الفيدرالي الجماعي التي قد تساعد نماذج مستقبلية على تحسين فهمها للمنطق التشريحي.

تعزيز الوجه التلقائي القائم على LAION

كما لاحظت في نظرة سابقة على ثلاثة أمور يمكن لاستقرار التشتت أن يعالجها في المستقبل، لا ينبغي أن يترك لنسخة GFPGAN فقط محاولة “تحسين” الوجوه المُحفزة في العرض الأولي.

تحسينات GFPGAN “جينية” للغاية، وتعرض هويّة الفرد الموضح، وتعمل فقط على وجه تمت معاملته بنفس الوقت والمساهمة مثل أي جزء آخر من الصورة.

لذلك، يجب أن يكون برنامجًا احترافيًا لاستقرار التشتت قادرًا على التعرف على الوجه (باستخدام مكتبة خفيفة مثل YOLO)، وتوجيه كامل طاقة GPU المتاحة لإعادة تحويله، ودمج الوجه المُحسّن في العرض الأصلي الكامل، أو حفظه بشكل منفصل لإعادة التجميع اليدوي.

بحث LAION داخل التطبيق

منذ أن أدرك المستخدمون أن البحث في قاعدة بيانات LAION عن مفاهيم وأشخاص وأفكار يمكن أن يكون بمثابة مساعدة لاستخدام استقرار التشتت بشكل أفضل، تم إنشاء مستكشفات LAION عبر الإنترنت، بما في ذلك haveibeentrained.com.

دالة البحث في haveibeentrained.com تسمح للمستخدمين باستكشاف الصور التي تعمل استقرار التشتت، واكتشف ما إذا كانت الكائنات أو الأشخاص أو الأفكار التي قد يرغبون في استدعاءها من النظام قد تم تدريبها عليه. مصدر: https://haveibeentrained.com/?search_text=bowl%20of%20fruit

على الرغم من أن هذه قواعد البيانات عبر الإنترنت غالبًا ما تكشف عن بعض الوسوم التي ت συνοδεύ الصور، فإن عملية التعميم التي تحدث خلال تدريب النموذج يعني أنه من غير المحتمل أن تتم استدعاء صورة معينة باستخدام وسمها كمحفز.

بالإضافة إلى ذلك، يؤدي إزالة كلمات التوقف وممارسة التخفيض والتحويل اللغوي في معالجة اللغة الطبيعية إلى أن العديد من الجمل المعروضة تم تقسيمها أو حذفها قبل تدريبها على استقرار التشتت.

مع ذلك، يمكن أن يعلّم المستخدمين الطريقة التي تجمّع بها المجموعات الجمالية معًا في هذه الواجهات الكثير حول منطق استقرار التشتت (أو “شخصيته”، إذا شئت)، ويمكن أن يكون بمثابة مساعدة لتحسين إنتاج الصور.

الخاتمة

هناك العديد من الميزات الأخرى التي أود رؤيتها في تطبيق استقرار التشتت الأصلي المحلي الكامل، مثل تحليل الصور الأصلي القائم على CLIP، الذي يعكس عملية استقرار التشتت القياسية ويسمح للمستخدم بتحفيز الجمل والكلمات التي يرتبط بها النظام بالصورة الأصلية أو العرض.

بالإضافة إلى ذلك، سيكون التوسيع القائم على البلاط حلاً مرغوبًا فيه، منذ أن يكون ESRGAN أداة غبية تقريبًا مثل GFPGAN.幸يًا، هناك خطط لدمج تنفيذ txt2imghd من GOBIG بسرعة عبر التوزيعات، ويبدو خيارًا واضحًا لتطبيق سطح المكتب.

بعض الطلبات الشائعة الأخرى من مجتمعات Discord تهمني أقل، مثل قواميس المحفزات المتكاملة وقوائم الفنانين والأسلوب، على الرغم من أن دفترًا مدمجًا أو قاموس قابل للتخصيص من الجمل سيكون إضافة منطقية.

أما القيود الحالية لتحريك الإنسان في استقرار التشتت، على الرغم من أنها تم إطلاقها بواسطة CogVideo ومشاريع أخرى، لا تزال في مرحلة بدائية للغاية، وتخضع لبحث متواصل في الأولويات الزمنية المتعلقة بحركة الإنسان الحقيقية.

للحال، يعتبر فيديو استقرار التشتت بشكل صارم مخدرًا، على الرغم من أنه قد يكون له مستقبل أكثر إشراقًا في دمى الصور الوهمية، عبر EbSynth ومبادرات نص-فيديو أخرى ناشئة (ومن الجدير بالذكر عدم وجود أشخاص منشأة في فيديو الترويجي الأخير لشركة Runway).

وظيفة أخرى قيمة سيكون فيها التمرير الشفاف لPhotoshop، الذي تم تأسيسه منذ فترة طويلة في محرر النسيج في Cinema4D، من بين تنفيذات أخرى مماثلة. بهذه الطريقة، يمكن للمستخدم بسهولة نقل الصور بين التطبيقات واستخدام كل تطبيق لأداء التحويلات التي يتفوق فيها.

أخيرًا، وربما الأكثر أهمية، يجب أن يكون تطبيق استقرار التشتت الكامل قادرًا على التبديل بسهولة بين النقاط المرجعية (أي إصدارات من النموذج الأساسي الذي يدير النظام)، ويجب أن يكون قادرًا على تحديث الانقلابات النصية المخصصة التي عملت مع إصدارات نموذج رسمية سابقة، ولكنها قد تتعطل بسبب إصدارات لاحقة من النموذج (كما أشار المطورون في Discord الرسمي إلى أنه قد يكون الحال).

على نحو ironي، المنظمة في أفضل موقع لإنشاء مثل هذا التطبيق القوي والمكامل من أدوات لاستقرار التشتت، Adobe ، قد حُلت بشكل قوي مع مبادرة صحة المحتوى بحيث قد يبدو خطأ علاقات عامة رجعيًا للشركة – trừ إذا كانت لتخفيض قوة استقرار التشتت التوليدية بشكل شامل مثل ما فعلته OpenAI مع DALL-E 2، ووضعها بدلاً من ذلك كتطور طبيعي لاحتوائها الكبير في التصوير الفوتوغرافي.