Stable Diffusion واجهة المستخدم على الويب ، أو SD-WebUI ، هو مشروع شامل لطرازات Stable Diffusion التي تستخدم مكتبة Gradio لتوفير واجهة متصفح. اليوم ، سنناقش EasyPhoto ، وهو مكون إضافي مبتكر لواجهة المستخدم على الويب يمكن للمستخدمين النهائيين من خلاله توليد صور شخصيات وصور باستخدام الذكاء الاصطناعي. يُنشئ مكون EasyPhoto لواجهة المستخدم على الويب صور شخصيات باستخدام قوالب متعددة ، ودعم أنماط صور مختلفة وعدة تعديلات. بالإضافة إلى ذلك ، لتعزيز قدرات EasyPhoto بشكل أكبر ، يمكن للمستخدمين توليد صور باستخدام نموذج SDXL للحصول على نتائج أكثر إرضاءً و دقة وتنوعا. هيا نبدأ.

مدخل إلى EasyPhoto و Stable Diffusion

يُعد إطار Stable Diffusion إطارًا شائعًا وقويًا للتوليد القائم على الانتشار يستخدمه المطورون لإنشاء صور واقعية بناءً على أوصاف نصية للصور. بفضل قدراته ، يفتخر إطار Stable Diffusion بمجموعة واسعة من التطبيقات ، بما في ذلك توسيع الصور خارج حدودها ، وملء المناطق داخل الصور ، وترجمة الصور إلى صور. تُعتبر واجهة المستخدم على الويب ل Stable Diffusion ، أو SD-WebUI ، واحدة من التطبيقات الأكثر شهرة وأكثر استخدامًا لهذا الإطار. تتميز بواجهة متصفح مبنية على مكتبة Gradio ، مما يوفر واجهة تفاعلية وسهلة الاستخدام لطرازات Stable Diffusion. لتعزيز التحكم والسهولة في الاستخدام في إنشاء الصور ، تدمج واجهة المستخدم على الويب ل Stable Diffusion العديد من تطبيقات Stable Diffusion.

بفضل السهولة التي توفرها إطار واجهة المستخدم على الويب ل Stable Diffusion ، قرر مطورو إطار EasyPhoto إنشاءه كمكون إضافي للويب بدلاً من تطبيق كامل. على عكس الأساليب الحالية التي تعاني في كثير من الأحيان من فقدان الهوية أو إدخال ميزات غير واقعية في الصور ، يستفيد إطار EasyPhoto من قدرات الصورة إلى الصورة لطرازات Stable Diffusion لإنشاء صور دقيقة وواقعية. يمكن للمستخدمين تثبيت إطار EasyPhoto بسهولة كمكون إضافي داخل واجهة المستخدم على الويب ، مما يزيد من سهولة الاستخدام وسهولة الوصول إلى مجموعة واسعة من المستخدمين. يسمح إطار EasyPhoto للمستخدمين بإنشاء صور شخصية واقعية بالذكاء الاصطناعي موجهة بالهوية وذات جودة عالية تشبه بشكل وثيق الهوية المدخلة.

أولاً ، يطلب من المستخدمين إطار EasyPhoto إنشاء توأمهم الرقمي عن طريق تحميل بعض الصور لتدريب نموذج LoRA أو التكيف منخفض الرتبة عبر الإنترنت. يضبط نموذج LoRA نماذج الانتشار ضبطًا دقيقًا بسرعة باستخدام تقنية التكيف منخفض الرتبة. هذا الإجراء يسمح للنموذج الأساسي بفهم معلومات الهوية الخاصة بالمستخدمين. ثم يتم دمج النماذج المُدرَّبة وتكاملها في نموذج Stable Diffusion الأساسي للتداخل. بالإضافة إلى ذلك ، خلال عملية الاستدلال ، يستخدم النموذج طرازات الانتشار المستقر في محاولة لإعادة رسم المناطق الوجهية في قوالب الاستدلال ، ويتم التحقق من التشابه بين الصور المدخلة والصور الناتجة باستخدام وحدات ControlNet المختلفة.

كما يُشرع إطار EasyPhoto عملية انتشار مرحلتين لمواجهة مشاكل محتملة مثل شذوذ الحدود و فقدان الهوية ، مما يضمن أن تقلل الصور المُنشأة من التناقضات البصرية مع الحفاظ على هوية المستخدم. بالإضافة إلى ذلك ، لا تقتصر عملية خط أنابيب الاستدلال في إطار EasyPhoto على إنشاء الصور الشخصية ، بل يمكن استخدامها أيضًا لإنشاء أي شيء يتعلق بهوية المستخدم. هذا يعني أنه بمجرد تدريب نموذج LoRA لهوية معينة ، يمكن للمستخدمين إنشاء مجموعة واسعة من الصور الشخصية ، وبالتالي يمكن أن يكون لها تطبيقات واسعة النطاق ، بما في ذلك تجارب الارتداء الافتراضية.

لتلخيص ، يُقترح إطار EasyPhoto

1. يُقترح نهجًا جديدًا لتدريب نموذج LoRA من خلال دمج نماذج LoRA متعددة للحفاظ على ملامح الوجه في الصور المُنشأة.
2. يستخدم طرق التعلم التعزيزي لتحسين نماذج LoRA لمكافآت الهوية الوجهية ، مما يساعد في تعزيز التشابه بين الهويات بين صور التدريب والنتائج المُنشأة.
3. يُقترح عملية انتشار مرحلتين قائمة على التلوين الداخلي لإنشاء صور شخصيات ذات جمال عالٍ و تشابه.

EasyPhoto: الهندسة المعمارية والتدريب

تُظهر الصورة التالية عملية التدريب لإطار EasyPhoto.

كما هو موضح ، يطلب الإطار من المستخدمين إدخال صور التدريب ، ثم يقوم بالكشف عن الوجه لتحديد مواقع الوجه. بمجرد الكشف عن الوجه ، يقوم الإطار بتقليم الصورة المدخلة باستخدام نسبة محددة مسبقًا تركز فقط على المنطقة الوجهية. ثم يُشرع الإطار نموذج تجميل البشرة ونموذج كشف البروز البصري لتحصل على صورة تدريب وجهية نظيفة وواضحة. تلعب هذه النماذج دورًا حاسمًا في تعزيز الجودة البصرية للوجه ، كما تضمن أن تكون معلومات الخلفية قد أُزيلت ، وصورة التدريب تحتوي في الغالب على الوجه. أخيرًا ، يستخدم الإطار هذه الصور المُعالجة والإشارات المُدخلة لتدريب نموذج LoRA ، وبالتالي يزوِّده بالقدرة على فهم سمات الوجه الخاصة بالمستخدم بشكل أكثر فعالية ودقة.

علاوة على ذلك ، خلال مرحلة التدريب ، يتضمن الإطار خطوة التحقق الحاسمة ، حيث يُحسب الإطار فجوة الهوية الوجهية بين صورة المستخدم المُدخلة و صورة التحقق التي تم إنشاؤها بواسطة نموذج LoRA المُدرَّب. تعتبر خطوة التحقق عملية أساسية تلعب دورًا حاسمًا في تحقيق اندماج نماذج LoRA ، وبالتالي يُضمن أن يتحول إطار LoRA المُدرَّب إلى توأم ، أو تمثيل رقمي دقيق للمستخدم. بالإضافة إلى ذلك ، سيتم اختيار صورة التحقق التي لديها درجة face_id المثلى كصورة الهوية الوجهية ، وستُستخدم هذه الصورة لتعزيز تشابه الهوية في إنشاء الاستدلال.

متابعة ، بناءً على عملية التجميع ، يُدرَّب الإطار نماذج LoRA باستخدام تقدير الاحتمالية كهدف رئيسي ، في حين أن الحفاظ على تشابه الهوية الوجهية هو الهدف اللاحق. لمواجهة هذه القضية ، يستخدم إطار EasyPhoto تقنيات التعلم التعزيزي لتحسين الهدف اللاحق بشكل مباشر. وبالتالي ، تُظهر الميزات الوجهية التي يتعلمها نماذج LoRA تحسنًا يؤدي إلى تعزيز التشابه بين نتائج القوالب المُنشأة ، كما يُظهر التعميم عبر القوالب.

عملية الاستدلال

تُظهر الصورة التالية عملية الاستدلال للهوية الفردية للمستخدم في إطار EasyPhoto ، وتنقسم إلى ثلاثة أجزاء

• معالجة الوجه للحصول على مرجع ControlNet والصورة المُدخلة المُعالجة.

• الانتشار الأول الذي يساعد في إنشاء نتائج خشنة تشبه إدخال المستخدم.

• الانتشار الثاني الذي يصلح شذوذ الحدود ، مما يجعل الصور أكثر دقة وواقعية.

لإدخال ، يأخذ الإطار صورة الهوية الوجهية (مُنشأة أثناء التحقق أثناء التدريب باستخدام الدرجة المثالية للهوية الوجهية) وقالب الاستدلال. الناتج هو صورة شخصية مفصلة ودقيقة وواقعية للمستخدم ، وتشبه بشكل وثيق الهوية والمظهر الفريد للمستخدم بناءً على قالب الاستدلال. هيا نلقي نظرة مفصلة على هذه العمليات.

معالجة الوجه

طريقة لإنشاء صورة شخصية باستخدام قالب الاستدلال دون تفكير واعٍ هي استخدام نموذج SD لملء منطقة الوجه في قالب الاستدلال. بالإضافة إلى ذلك ، يُضيف إطار ControlNet إلى العملية ليس فقط للحفاظ على هوية المستخدم ، ولكن أيضًا لتعزيز التشابه بين الصور المُنشأة.

• التناقض بين الصورة المُدخلة والصورة المُنشأة: من الواضح أن النقاط الرئيسية في صورة القالب ليست متوافقة مع النقاط الرئيسية في صورة الهوية الوجهية ، لذلك استخدام إطار ControlNet مع صورة الهوية الوجهية كمرجع قد يؤدي إلى بعض التناقضات في الناتج.

• عيوب في منطقة الملء: تغطية منطقة وملءها بوجه جديد قد يؤدي إلى عيوب ملحوظة ، خاصةً على طول حدود منطقة الملء التي لن تؤثر فقط على أصالة الصورة المُنشأة ، بل ستؤثر أيضًا سلبًا على واقعية الصورة.
• فقدان الهوية بواسطة إطار ControlNet: نظرًا لأن عملية التدريب لا تستخدم إطار ControlNet ، استخدام إطار ControlNet خلال مرحلة الاستدلال قد يؤثر على قدرة نماذج LoRA المُدرَّبة على الحفاظ على هوية المستخدم.

لمواجهة القضايا المذكورة أعلاه ، يُقترح إطار EasyPhoto ثلاث إجراءات.

• المحاذاة واللصق: باستخدام خوارزمية لصق الوجه ، يهدف إطار EasyPhoto إلى مواجهة مشكلة عدم مطابقة بين معالم الوجه بين الهوية الوجهية والقالب. أولاً ، يحسب النموذج معالم الوجه لصورة الهوية الوجهية و صورة القالب ، ثم يحدد مصفوفة التحويل التآلفي التي ستُستخدم لتركيب معالم الوجه لصورة القالب مع صورة الهوية الوجهية. الصورة الناتجة تحتفظ بنفس المعالم لصورة الهوية الوجهية ، كما تتماشى مع صورة القالب.

• الاندماج الوجهي: الاندماج الوجهي هو نهج جديد يُستخدم لتصحيح عيوب الحدود الناتجة عن ملء المنطقة المحددة بالقناع ، ويتضمن تصحيح العيوب باستخدام إطار ControlNet. يسمح هذا الأسلوب لإطار EasyPhoto بضمان الحفاظ على حواف متناسقة ، وبالتالي يوجه عملية إنشاء الصور. وتدمج خوارزمية دمج الوجوه صورة roop، أي صورة المستخدم المرجعية الحقيقية، مع القالب لتحسين استقرار الحواف، مما يحسن الناتج في مرحلة الانتشار الأولى.
• التحقق الموجه بواسطة إطار ControlNet: نظرًا لأن نماذج LoRA لم تُدرَّب باستخدام إطار ControlNet ، استخدام إطار ControlNet خلال عملية الاستدلال قد يؤثر على قدرة نموذج LoRA على الحفاظ على هويات المستخدمين. من أجل تعزيز قدرات EasyPhoto ، يُؤخذ الإطار في الاعتبار تأثير إطار ControlNet ، ويتضمن نماذج LoRA من مراحل مختلفة.

الانتشار الأول

تُستخدم مرحلة الانتشار الأولى لإنشاء صورة فريدة من نوعها تشبه الهوية المُدخلة للمستخدم. الصورة المُدخلة هي اندماج لصورة المستخدم المُدخلة و صورة القالب ، في حين أن قناع الوجه المُحسَّن هو قناع الإدخال. لزيادة التحكم في إنشاء الصور ، يدمج إطار EasyPhoto ثلاث وحدات ControlNet حيث تركز الوحدة الأولى على التحكم في الصور المُدمجة ، والوحدة الثانية على التحكم في ألوان الصور المُدمجة ، والوحدة الثالثة هي OpenPose (التحكم في وضعيات أجسام عدة أشخاص في الوقت الفعلي) للصورة المُستبدلة التي تحتوي ليس فقط على هيكل الوجه لصورة القالب ، بل أيضًا على هوية الوجه للمستخدم.

الانتشار الثاني

في مرحلة الانتشار الثانية ، تُحسَّن العيوب بالقرب من حدود الوجه وتُضبط بدقة ، مع إعطاء المستخدمين مرونة لتحديد منطقة معينة بقناع في الصورة في محاولة لتعزيز فعالية التوليد في المنطقة المخصصة. في هذه المرحلة ، يدمج الإطار صورة الإخراج المُستلمة من مرحلة الانتشار الأولى مع صورة Roop (نتيجة صورة المستخدم) ، وبالتالي يُنشئ صورة الإدخال لمرحلة الانتشار الثانية. بشكل عام ، تلعب مرحلة الانتشار الثانية دورًا حاسمًا في تعزيز الجودة العامة و تفاصيل الصورة المُنشأة.

هويات المستخدمين المتعددة

أحد أبرز مميزات EasyPhoto هو دعمه لإنشاء هويات المستخدمين المتعددة ، وتُظهر الصورة أدناه خط أنابيب عملية الاستدلال للهويات المتعددة للمستخدمين في إطار EasyPhoto.

لدعم إنشاء هويات المستخدمين المتعددة ، يُجرِّب إطار EasyPhoto الكشف عن الوجه في قوالب الاستدلال. ثم يتم تقسيم قوالب الاستدلال إلى عدة أقنعة ، حيث تحتوي كل قناع على وجه واحد فقط ، و يُحجب باقي الصورة بقناع باللون الأبيض ، وبالتالي يُحول إنشاء هويات المستخدمين المتعددة إلى مهمة بسيطة لإنشاء هويات المستخدمين الفردية. بمجرد إنشاء الإطار لصور هويات المستخدمين ، تُدمج هذه الصور في قالب الاستدلال ، وبالتالي تسهل دمج صور القالب مع الصور المُنشأة ، مما يؤدي في النهاية إلى صورة عالية الجودة.

التجارب والنتائج

الآن بعد أن حصلنا على فهم لإطار EasyPhoto ، حان الوقت لاستكشاف أداء إطار EasyPhoto.

الصورة المُنشأة أعلاه بواسطة مكون EasyPhoto ، وتستخدم نموذج SD قائم على النمط لإنشاء الصور. كما هو موضح ، تظهر الصور المُنشأة واقعية و دقيقة.

الصورة المضافة أعلاه تم إنشاؤها بواسطة إطار EasyPhoto باستخدام نموذج SD قائم على نمط الكوميك. كما هو موضح ، تظهر الصور الشخصية والصور الواقعية واقعية و تشبه بشكل وثيق الصورة المُدخلة بناءً على إشارات المستخدم أو المتطلبات.

الصورة المضافة أدناه تم إنشاؤها بواسطة إطار EasyPhoto باستخدام قالب متعدد الأشخاص. كما هو واضح ، تظهر الصور المُنشأة واضحة و دقيقة و تشبه الصورة الأصلية.

باستخدام EasyPhoto ، يمكن للمستخدمين الآن إنشاء مجموعة واسعة من الصور الشخصية ، أو إنشاء هويات المستخدمين المتعددة باستخدام قوالب محفوظة ، أو استخدام نموذج SD لإنشاء قوالب الاستدلال. تُظهر الصور المضافة أعلاه قدرة إطار EasyPhoto على إنتاج صور شخصية متعددة وذات جودة عالية.

الختام

في هذه المقالة ، ناقشنا EasyPhoto ، وهو مكون إضافي جديد لواجهة المستخدم على الويب يسمح للمستخدمين النهائيين بإنشاء صور شخصيات وصور باستخدام الذكاء الاصطناعي. يُنشئ مكون EasyPhoto لواجهة المستخدم على الويب صور شخصيات باستخدام قوالب عشوائية ، وتدعم تطبيقات EasyPhoto الحالية أنماط صور مختلفة وعدة تعديلات. بالإضافة إلى ذلك ، لتعزيز قدرات EasyPhoto بشكل أكبر ، يمكن للمستخدمين إنشاء صور باستخدام نموذج SDXL لإنشاء صور أكثر رضا و دقة وتنوعا. يُستخدم إطار EasyPhoto نموذج انتشار مستقر مع نموذج LoRA مُسبق التدريب الذي يُنتج صور عالية الجودة.

هل ترغب في معرفة المزيد عن مولدات الصور؟ نقدم أيضًا قائمة بأفضل مولدات الصور الشخصية باستخدام الذكاء الاصطناعي وأفضل مولدات الصور الفنية باستخدام الذكاء الاصطناعي التي سهلة الاستخدام ولا تتطلب خبرة تقنية.