بفضل قدراتها، أصبحت نماذج الانتشار النصية إلى الصور شائعة بشكل كبير في المجتمع الفني. ومع ذلك، فإن النماذج الحالية، بما في ذلك الإطارات المتقدمة، غالبًا ما تعاني من صعوبة في الحفاظ على التحكم في المفاهيم والسمات البصرية في الصور المولدة، مما يؤدي إلى نتائج غير مرضية. تعتمد معظم النماذج بشكل حصري على تعليمات النص، مما يطرح تحديات في تعديل السمات المستمرة مثل شدة الطقس أو حدة الظلال أو تعابير الوجه أو عمر الشخص بدقة. هذا يجعل من الصعب على المستخدمين النهائيين تعديل الصور لتلبية احتياجاتهم المحددة. بالإضافة إلى ذلك، على الرغم من أن هذه الإطارات التوليدية تنتج صورًا عالية الجودة وواقعية، إلا أنها عرضة للتشوهات مثل الوجوه المشوهة أو الأصابع الناقصة.

لتجاوز هذه القيود، اقترح المطورون استخدام مشغلات المفاهيم القابلة للتفسير. وتعد هذه المشغلات واعدة لتعزيز التحكم للمستخدمين النهائيين على السمات البصرية، مما يحسن من توليد الصور وتحريرها داخل نماذج الانتشار. تعمل مشغلات المفاهيم في نماذج الانتشار عن طريق تحديد اتجاه معامل يتوافق مع مفهوم فردي مع تقليل التداخل مع السمات الأخرى. تُنشئ هذه الإطارات مشغلات باستخدام صور عينة أو مجموعة من التعليمات، وبالتالي إنشاء اتجاهات للمفاهيم النصية والبصرية.

في النهاية، يمكن أن يؤدي استخدام مشغلات المفاهيم في نماذج الانتشار النصية إلى الصور إلى توليد الصور مع درجة أقل من التداخل، وتحسين التحكم في الإخراج النهائي مع زيادة الواقعية المتصورة دون تغيير محتوى الصور، وبالتالي توليد صور واقعية. في هذه المقالة، سنناقش مفهوم استخدام مشغلات المفاهيم في الإطارات النصية إلى الصور بشكل أعمق، وتحليل كيف يمكن أن يؤدي استخدامها إلى توليد صور جيدة النوعية المولدة بواسطة الذكاء الاصطناعي.

مقدمة في مشغلات المفاهيم

كما ذكرنا سابقًا، فإن الإطارات النصية إلى الصور الحالية غالبًا ما تعاني من صعوبة في التحكم في المفاهيم والسمات البصرية في الصور المولدة، مما يؤدي إلى نتائج غير مرضية. بالإضافة إلى ذلك، فإن العديد من هذه النماذج تجد صعوبة في تعديل السمات المستمرة، مما يسهم في نتائج غير مرضية. قد تساعد مشغلات المفاهيم في تخفيف هذه القضايا، مما يمنح صانعي المحتوى والمستخدمين النهائيين تحكمًا محسّنًا في عملية توليد الصور، وتحديد التحديات التي تواجهها الإطارات الحالية.

تعتمد معظم نماذج الانتشار النصية إلى الصور الحالية على تعديل تعليمات النص المباشر لتحكم في سمات الصورة. بينما يسمح هذا النهج بتوليد الصور، إلا أنه ليس مثاليًا لأن تغيير التعليمات يمكن أن يغير هيكل الصورة بشكل كبير. يوجد نهج آخر يستخدمه هذه الإطارات وهو تقنيات ما بعد الحدث، التي تعكس عملية الانتشار وتعدل الانتباهات المتقاطعة لتحرير المفاهيم البصرية. ومع ذلك، فإن تقنيات ما بعد الحدث لها قيود، حيث تدعم فقط عددًا محدودًا من التعديلات المتزامنة وتتطلب ممرات تداخل فردية لكل مفهوم جديد. بالإضافة إلى ذلك، يمكن أن تؤدي إلى تشابك مفاهيمي إذا لم يتم هندستها بعناية.

في المقابل، تقدم مشغلات المفاهيم حلًا أكثر كفاءة لتوليد الصور. هذه المعدلات الخفيفة والسهلة الاستخدام يمكن تطبيقها على النماذج المسبقة، مما يعزز التحكم والدقة على المفاهيم المرغوبة في عملية تداخل واحدة مع تداخل mínimo. كما تمكن مشغلات المفاهيم من تحرير المفاهيم البصرية التي لا تغطيها الوصف النصي، وهو ميزة تميزها عن أساليب التحرير القائمة على تعليمات النص. بينما يمكن أن تُضيف أساليب التخصيص القائمة على الصور رموزًا لتحديد المفاهيم القائمة على الصور، إلا أنها صعبة التنفيذ لتحرير الصور. مشغلات المفاهيم، من ناحية أخرى، تسمح للمستخدمين النهائيين بتقديم عدد صغير من الصور المتوافقة لتحديد مفهوم مرغوب فيه. ثم تعمم هذه المشغلات هذا المفهوم وتطبقه تلقائيًا على صور أخرى، مع هدف تعزيز الواقعية وتصحيح التشوهات مثل تلك الموجودة في اليدين.

تسعى مشغلات المفاهيم إلى التعلم من وتحديد القضايا الشائعة لأربعة مفاهيم إطار توليد الذكاء الاصطناعي ونموذج الانتشار: تحرير الصور، أساليب التوجيه، تحرير النماذج، واتجاهات دلالية.

تحرير الصور

تعتمد الإطارات الحالية للذكاء الاصطناعي إما على استخدام مدخل مشروط لتوجيه هيكل الصورة، أو يُعدل الانتباهات المتقاطعة للصورة المصدر مع تعليماتها المستهدفة لتمكين تحرير صورة واحدة في إطارات الانتشار النصية إلى الصور. ونتيجة لذلك، يمكن تنفيذ هذه النهج فقط على صورة واحدة، كما تتطلب تحسين الأساس اللاتنتي لكل صورة نتيجة لتطور الهيكل الهندسي عبر الخطوات الزمنية عبر التعليمات.

أساليب التوجيه

أظهر استخدام أساليب التوجيه القائمة على تصنيف حر المجانية القدرة على تعزيز جودة الصور المولدة، وتعزيز التوجيه النصي-الصوري. من خلال دمج مصطلحات التوجيه خلال التداخل، تحسن هذه الأساليب التركيب المحدود الموروث من إطارات الانتشار، ويمكن استخدامها لتوجيه المفاهيم غير الآمنة في إطارات الانتشار.

تحرير النماذج

يمكن اعتبار استخدام مشغلات المفاهيم أيضًا على أنه تقنية تحرير النماذج التي تستخدم محولًا منخفض الرتبة لإخراج سمة دلالية واحدة تتيح التحكم المستمر الذي يتوافق مع السمة. ثم تُستخدم أساليب التخصيص القائمة على التحسين لتحديث الإطار وتضيف مفاهيم جديدة. بالإضافة إلى ذلك، تقترح تقنية الانتشار المخصصة طريقة لتحديث طبقات الانتباه المتقاطعة لدمج مفاهيم بصرية جديدة في نماذج الانتشار المسبقة. في المقابل، تقترح تقنية الانتشار النصي تحسين متجه التضمين لتفعيل قدرات النموذج وتقديم مفاهيم نصية إلى الإطار.

اتجاهات دلالية في GANs

يعد تحرير السمات الدلالية أحد السمات الرئيسية للشبكات التوليدية المعادية، حيث تم العثور على مسارات الفضاء اللاتنتي لتكون موازية بشكل خودي. في إطارات الانتشار، توجد هذه مسارات الفضاء اللاتنتي في طبقات الوسطى من هيكل U-Net، وتلتقط الاتجاه الرئيسي للفضاء اللاتنتي في إطارات الانتشار السمات العالمية. تُدرب مشغلات المفاهيم على فضاءات منخفضة الرتبة تتوافق مع سمات خاصة مباشرة، وتمكن من تحرير دقيق ومحلي عن طريق استخدام أزواج نصية أو صورية لتحسين الاتجاهات العالمية.

مشغلات المفاهيم: الهيكل والعمل

نماذج الانتشار ومحولات LoRA أو المحولات منخفضة الرتبة

نماذج الانتشار هي في الأساس فئة فرعية من إطارات الذكاء الاصطناعي التي تعمل على مبدأ توليد البيانات عن طريق عكس عملية الانتشار. عملية الانتشار الأمامية تضيف في البداية ضوضاء إلى البيانات، وبالتالي الانتقال من حالة منظمة إلى ضوضاء غاوسية كاملة. الهدف الرئيسي لنماذج الانتشار هو عكس عملية الانتشار عن طريق إزالة الضوضاء تدريجيًا واختبار ضوضاء غاوسية عشوائية لتوليد صورة. في التطبيقات العملية، الهدف الرئيسي لإطارات الانتشار هو توقع الضوضاء الحقيقية عند إطعام الضوضاء الغاوسية الكاملة مع مدخلات إضافية مثل التوجيه والخطوات الزمنية.

تقنية محولات LoRA أو المحولات منخفضة الرتبة تُجزئ تحديثات الأوزان خلال التحسين لتمكين التكيف الفعال للإطارات الكبيرة المسبقة على المهام الجانبية. تقنية LoRA تُجزئ تحديثات الأوزان لنماذج مسبقة مع احترام كلا البعدين الداخل والخارج، وتقييد التحديث إلى فضاء منخفض الأبعاد.

مشغلات المفاهيم

الهدف الرئيسي لمشغلات المفاهيم هو خدمة نهج لتحسين محولات LoRA على إطار انتشار لتمكين درجة أكبر من التحكم في الصور الموجهة للمفاهيم، والذي يُظهر في الصورة التالية.

عندما يتم توجيهها على مفاهيم مستهدفة، تتعلم مشغلات المفاهيم اتجاهات معاملات منخفضة الرتبة لزيادة أو تقليل تعبير السمات المحددة. بالنسبة إلى نموذج ومفهومه المستهدف، الهدف الرئيسي لمشغلات المفاهيم هو الحصول على نموذج محسّن يعدل احتمالية تعزيز السمات وتقليل احتمالية كبتها لصورة عندما يتم توجيهها على المفهوم المستهدف لزيادة احتمالية تعزيز السمات، وتقليل احتمالية كبتها. باستخدام إعادة التعبير وطريقة Tweedie، تقدم الإطار عملية ضوضاء متغيرة مع مرور الوقت، ويعبر عن كل درجة على أنها تنبؤ بالتلوث. بالإضافة إلى ذلك، يُعدل هدف الفصل بين الوحدات في مشغلات المفاهيم مع الحفاظ على الأوزان المسبقة الثابتة، والعامل المقالي الذي تم تقديمه خلال صياغة LoRA يُعدل خلال التداخل. العامل المقالي يُسهل أيضًا تعديل قوة التحرير، ويمكن جعل التحرير أقوى دون إعادة تدريب الإطار كما هو موضح في الصورة التالية.

أساليب التحرير المستخدمة سابقًا من قبل الإطارات سمحت بتحريرات أقوى عن طريق إعادة تدريب الإطار مع توجيه متزايد. ومع ذلك، فإن تعديل العامل المقالي خلال التداخل ينتج نفس نتائج التحرير دون زيادة تكلفة إعادة التدريب والوقت.

تعلم المفاهيم البصرية

تم تصميم مشغلات المفاهيم لتحكم المفاهيم البصرية التي لا يمكن تعريفها جيدًا بواسطة تعليمات النص، وتستخدم هذه المشغلات مجموعات بيانات صغيرة إما قبل أو بعد لتدريب هذه المفاهيم. يسمح التباين بين أزواج الصور لمشغلات المفاهيم بتعلم المفاهيم البصرية. بالإضافة إلى ذلك، يُعدل عملية تدريب مشغلات المفاهيم مكون LoRA المطبق في كلا الاتجاهين الأمام والخلف. ونتيجة لذلك، يتوافق مكون LoRA مع الاتجاه الذي يسبب التأثيرات البصرية في كلا الاتجاهين.

مشغلات المفاهيم: نتائج التنفيذ

为了 تحليل الزيادة في الأداء، قام المطورون بتقييم استخدام مشغلات المفاهيم بشكل رئيسي على Stable Diffusion XL، وهي إطار عالية الدقة بسعة 1024 بكسل مع تجارب إضافية أجريت على إطار Stable Diffusion v1.4، مع تدريب النماذج لمدة 500 حلقة كل منها.

مشغلات المفاهيم النصية

为了 تقييم أداء مشغلات المفاهيم النصية، تم التحقق منها على مجموعة من 30 مفهومًا نصيًا، وتمت مقارنة هذه الطريقة مع قاعدتين يستخدمان تعليمات نصية قياسية لعدد ثابت من الخطوات الزمنية، ثم يبدأ التكوين عن طريق إضافة تعليمات لتوجيه الصورة. كما يمكن رؤيته في الشكل التالي، يؤدي استخدام مشغلات المفاهيم إلى زيادة مستمرة في درجة CLIP، وتقليل مستمر في درجة LPIPS عند مقارنته بالإطار الأصلي بدون مشغلات المفاهيم.

كما يمكن رؤيته في الصورة أعلاه، يُسهل استخدام مشغلات المفاهيم تحرير دقيق للسمات المرغوبة خلال عملية توليد الصور مع الحفاظ على هيكل الصورة العام.

مشغلات المفاهيم البصرية

نماذج الانتشار النصية إلى الصور التي تستخدم فقط تعليمات النص غالبًا ما تجد صعوبة في الحفاظ على درجة عالية من التحكم في السمات البصرية مثل الشعر أو شكل العين. لضمان التحكم الأفضل في السمات الدقيقة، تستخدم مشغلات المفاهيم توجيهًا نصيًا اختياريًا متوافقًا مع مجموعات بيانات الصور. كما يمكن رؤيته في الشكل أدناه، تُنشئ مشغلات المفاهيم مشغلات فردية ل “حجم العين” و “شكل الحاجب” التي تلتقط التحويلات المرغوبة باستخدام أزواج الصور.

يمكن تحسين النتائج بشكل أكبر عن طريق تقديم نصوص محددة بحيث يركز الاتجاه على منطقة الوجه هذه، وينشئ مشغلات مع تحكم تدريجي على السمة المستهدفة.

تكوين المشغلات

من المزايا الرئيسية لاستخدام مشغلات المفاهيم هو قابليتها للتكوين، مما يسمح للمستخدمين بدمج عدة مشغلات للحصول على درجة أكبر من التحكم بدلاً من التركيز على مفهوم واحد في الوقت نفسه، ويمكن ذلك بسبب اتجاهات المشغلات منخفضة الرتبة المستخدمة في مشغلات المفاهيم. بالإضافة إلى ذلك، поскольку مشغلات المفاهيم هي محولات LoRA خفيفة الوزن، فهي سهلة النشر، ويمكن وضعها بسهولة على نماذج الانتشار. يمكن للمستخدمين أيضًا تعديل عدة مفاتيح في نفس الوقت لتوجيه توليد معقدة عن طريق تحميل مجموعات مشغلات مثيرة للاهتمام.

تُظهر الصورة التالية قدرات التكوين لمشغلات المفاهيم، وتُكتب المشغلات بشكل تدريجي في كل صف من اليسار إلى اليمين، مما يسمح بالتنقل في فضاءات المفاهيم عالية الأبعاد مع درجة أكبر من التحكم في المفاهيم.

تحسين جودة الصورة

على الرغم من أن إطارات الانتشار النصية إلى الصور الحالية ونماذج التوليد الكبيرة مثل Stable Diffusion XL قادرة على توليد صور واقعية وعالية الجودة، إلا أنها غالبًا ما تعاني من تشوهات الصور مثل الأجسام المضغوطة أو المفقودة. يمكن أن يؤدي استخدام مشغلات المفاهيم إلى توليد صور مع تشوهات أقل عن طريق فتح القدرات الحقيقية لهذه النماذج عن طريق تحديد اتجاهات المعاملات منخفضة الرتبة.

إصلاح اليدين

كان توليد صور بأيدي واقعية دائمًا تحديًا لإطارات الانتشار، واستخدام مشغلات المفاهيم يمكن أن يؤدي إلى التحكم المباشر في ميل تشوه اليدين. تُظهر الصورة التالية تأثير استخدام مشغلات المفاهيم “إصلاح اليدين” التي تسمح للإطار بتوليد صور بأيدي أكثر واقعية.

مشغلات الإصلاح

يمكن أن يؤدي استخدام مشغلات المفاهيم ليس فقط إلى توليد صور بأيدي أكثر واقعية، ولكنها أيضًا أظهرت إمكانياتها في تحسين الواقعية العامة للصور المولدة بواسطة الإطار. تُحدد مشغلات المفاهيم اتجاهًا واحدًا منخفض الرتبة يسمح بالتحول في الصور من مشاكل التشوه الشائعة، ويتضح ذلك في الصورة التالية.

أفكار ختامية

في هذه المقالة، تحدثنا عن مشغلات المفاهيم، وهي نموذج جديد بسيط وقابل للتوسيع يسمح بالتحكم القابل للتفسير في الإخراج المولّد في نماذج الانتشار. يهدف استخدام مشغلات المفاهيم إلى حل القضايا التي تواجهها الإطارات النصية إلى الصور الحالية التي تجد صعوبة في الحفاظ على التحكم المطلوب على المفاهيم والسمات البصرية المضمنة في الصورة المولدة، مما يؤدي إلى نتائج غير مرضية. بالإضافة إلى ذلك، فإن معظم نماذج الانتشار النصية إلى الصور تجد صعوبة في تعديل السمات المستمرة في الصورة، مما يؤدي إلى نتائج غير مرضية. قد يسمح استخدام مشغلات المفاهيم لإطارات الانتشار النصية إلى الصور بتخفيف هذه القضايا، وتمكين صانعي المحتوى والمستخدمين النهائيين من درجة أكبر من التحكم في عملية توليد الصور، وحل القضايا التي تواجهها الإطارات الحالية.