بفضل قدراتها، أصبحت نماذج الانتشار من النص إلى الصورة شائعة بشكل كبير في المجتمع الفني. ومع ذلك، فإن النماذج الحالية، بما في ذلك الإطارات المتقدمة، غالبًا ما تعاني من صعوبة في الحفاظ على التحكم في المفاهيم والسمات البصرية في الصور المولدة، مما يؤدي إلى نتائج غير مرضية. تعتمد معظم النماذج بشكل حصري على تعليمات النص، مما يطرح تحديات في تعديل السمات المستمرة مثل شدة الطقس أو حدة الظلال أو تعابير الوجه أو عمر الشخص بدقة. هذا يجعل من الصعب على المستخدمين النهائيين تعديل الصور لتلبية احتياجاتهم المحددة. بالإضافة إلى ذلك، على الرغم من أن هذه الإطارات التوليدية تنتج صورًا عالية الجودة وواقعية، إلا أنها عرضة للتشوهات مثل الوجوه المشوهة أو الأصابع الناقصة.

لتجاوز هذه القيود، اقترح المطورون استخدام منزلقات المفاهيم القابلة للتفسير. وتعد هذه المنزلقات واعدة لتعزيز التحكم للمستخدمين النهائيين على السمات البصرية، مما يحسن من توليد الصور وتحريرها داخل نماذج الانتشار. تعمل منزلقات المفاهيم في نماذج الانتشار عن طريق تحديد اتجاه معامل يتوافق مع مفهوم فردي مع تقليل التداخل مع السمات الأخرى. تُنشئ هذه الإطارات منزلقات باستخدام صور عينة أو مجموعة من التعليمات، وبالتالي إنشاء اتجاهات للمفاهيم النصية والبصرية.

في النهاية، يمكن أن يؤدي استخدام منزلقات المفاهيم في نماذج الانتشار من النص إلى الصورة إلى توليد الصور مع درجة أقل من التداخل، وتحسين التحكم في الإخراج النهائي مع زيادة الواقعية المتصورة دون تغيير محتوى الصور، وبالتالي توليد صور واقعية. في هذه المقالة، سنناقش مفهوم استخدام منزلقات المفاهيم في الإطارات النصية إلى الصور بشكل أعمق، وتحليل كيف يمكن أن يؤدي استخدامها إلى توليد صور جيدة النوعية المولدة بواسطة الذكاء الاصطناعي.

مقدمة في منزلقات المفاهيم

كما ذكرنا سابقًا، فإن الإطارات النصية إلى الصور الحالية غالبًا ما تعاني من صعوبة في التحكم في المفاهيم والسمات البصرية في الصور المولدة، مما يؤدي إلى نتائج غير مرضية. بالإضافة إلى ذلك، فإن العديد من هذه النماذج تجد صعوبة في تعديل السمات المستمرة، مما يسهم في نتائج غير مرضية. قد تساعد منزلقات المفاهيم في تخفيف هذه القضايا، مما يمنح صانعي المحتوى والمستخدمين النهائيين تحكمًا محسّنًا في عملية توليد الصور، وتحديد التحديات التي تواجهها الإطارات الحالية.

تعتمد معظم نماذج الانتشار النصية إلى الصور الحالية على تعديل تعليمات النص المباشر لتحكم في سمات الصورة. بينما يسمح هذا النهج بتوليد الصور، إلا أنه ليس مثاليًا لأن تغيير التعليمات يمكن أن يغير هيكل الصورة بشكل كبير. يوجد نهج آخر يستخدمه هذه الإطارات وهو تقنيات ما بعد الحدث، التي تعكس عملية الانتشار وتعدل الانتباهات المتقاطعة لتحرير المفاهيم البصرية. ومع ذلك، فإن تقنيات ما بعد الحدث لها قيود، حيث تدعم فقط عددًا محدودًا من التعديلات المتزامنة وتتطلب تمريرات استدلال منفصلة لكل مفهوم جديد. بالإضافة إلى ذلك، يمكن أن تؤدي إلى تشابك مفاهيمي إذا لم يتم هندستها بعناية.

في المقابل، تقدم منزلقات المفاهيم حلًا أكثر كفاءة لتوليد الصور. هذه المعدلات الخفيفة والسهلة الاستخدام يمكن تطبيقها على النماذج المسبقة، مما يعزز التحكم والدقة على المفاهيم المرغوبة في تمريرة استدلال واحدة مع حد أدنى من التشابك. كما تمكن منزلقات المفاهيم من تحرير المفاهيم البصرية التي لا تغطيها الوصف النصي، وهو ميزة تميزها عن أساليب التحرير القائمة على تعليمات النص. بينما يمكن أن تُضيف أساليب التخصيص القائمة على الصور رموزًا لتحديد المفاهيم القائمة على الصور، إلا أنها صعبة التنفيذ لتحرير الصور. منزلقات المفاهيم، من ناحية أخرى، تسمح للمستخدمين النهائيين بتقديم عدد صغير من أزواج الصور لتحديد مفهوم مرغوب فيه. ثم تعمم هذه المنزلقات هذا المفهوم وتطبقه تلقائيًا على صور أخرى، مع هدف تعزيز الواقعية وتصحيح التشوهات مثل تلك الموجودة في اليدين.

تسعى منزلقات المفاهيم إلى التعلم من وتحديد القضايا الشائعة لأربعة مفاهيم إطار توليد الذكاء الاصطناعي ونموذج الانتشار: تحرير الصور، أساليب التوجيه، تحرير النماذج، واتجاهات دلالية.

تحرير الصور

تعتمد الإطارات الحالية للذكاء الاصطناعي إما على استخدام مدخل مشروط لتوجيه هيكل الصورة، أو يُعدل الانتباهات المتقاطعة للصورة المصدر مع تعليماتها المستهدفة لتمكين تحرير صورة واحدة في إطارات الانتشار النصية إلى الصور. ونتيجة لذلك، يمكن تنفيذ هذه النهج فقط على صورة واحدة، كما تتطلب تحسين الأساس اللاتنتي لكل صورة نتيجة لتطور الهيكل الهندسي عبر الخطوات الزمنية عبر التعليمات.

أساليب التوجيه

أظهر استخدام أساليب التوجيه الخالية من المصنّف القدرة على تعزيز جودة الصور المولدة، وتعزيز محاذاة النص والصورة. من خلال دمج حدود التوجيه أثناء الاستدلال، تحسن هذه الأساليب التركيب المحدود الموروث من إطارات الانتشار، ويمكن استخدامها لتوجيه المفاهيم غير الآمنة في إطارات الانتشار.

تحرير النماذج

يمكن اعتبار استخدام منزلقات المفاهيم أيضًا على أنه تقنية تحرير النماذج التي تستخدم محولًا منخفض الرتبة لإخراج سمة دلالية واحدة تتيح التحكم المستمر الذي يتوافق مع السمة. ثم تُستخدم أساليب التخصيص القائمة على الضبط الدقيق لتخصيص الإطار وتضيف مفاهيم جديدة. بالإضافة إلى ذلك، تقترح تقنية الانتشار المخصصة طريقة لتحديث طبقات الانتباه المتقاطعة لدمج مفاهيم بصرية جديدة في نماذج الانتشار المسبقة. في المقابل، تقترح تقنية الانتشار النصي تحسين متجه التضمين لتفعيل قدرات النموذج وتقديم مفاهيم نصية إلى الإطار.

اتجاهات دلالية في GANs

يعد تحرير السمات الدلالية أحد السمات الرئيسية للشبكات التوليدية المعادية، حيث تم العثور على مسارات الفضاء اللاتنتي لتكون مصطفة بطريقة ذاتية الإشراف. في إطارات الانتشار، توجد هذه مسارات الفضاء اللاتنتي في طبقات الوسطى من هيكل U-Net، وتلتقط الاتجاه الرئيسي للفضاء اللاتنتي في إطارات الانتشار السمات العالمية. تُدرب منزلقات المفاهيم على فضاءات منخفضة الرتبة تتوافق مع سمات خاصة مباشرة، وتمكن من تحرير دقيق ومحلي عن طريق استخدام أزواج نصية أو صورية لتحسين الاتجاهات العالمية.

منزلقات المفاهيم: الهيكل والعمل

نماذج الانتشار ومحولات LoRA أو المحولات منخفضة الرتبة

نماذج الانتشار هي في الأساس فئة فرعية من إطارات الذكاء الاصطناعي التي تعمل على مبدأ توليد البيانات عن طريق عكس عملية الانتشار. عملية الانتشار الأمامية تضيف في البداية ضوضاء إلى البيانات، وبالتالي الانتقال من حالة منظمة إلى ضوضاء غاوسية كاملة. الهدف الرئيسي لنماذج الانتشار هو عكس عملية الانتشار عن طريق إزالة الضوضاء تدريجيًا وأخذ عينة من ضوضاء غاوسية عشوائية لتوليد صورة. في التطبيقات العملية، الهدف الرئيسي لإطارات الانتشار هو توقع الضوضاء الحقيقية عند إطعام الضوضاء الغاوسية الكاملة مع مدخلات إضافية مثل التوجيه والخطوات الزمنية.

تقنية محولات LoRA أو المحولات منخفضة الرتبة تحلل تحديثات الأوزان أثناء الضبط الدقيق لتمكين التكيف الفعال للإطارات الكبيرة المسبقة على المهام اللاحقة. تقنية LoRA تُجزئ تحديثات الأوزان لنماذج مسبقة بالنسبة إلى بُعدَي الإدخال والإخراج، وتقييد التحديث إلى فضاء منخفض الأبعاد.

منزلقات المفاهيم

الهدف الرئيسي لمنزلقات المفاهيم هو خدمة نهج لتحسين محولات LoRA على إطار انتشار لتمكين درجة أكبر من التحكم في الصور الموجهة للمفاهيم، والذي يُظهر في الصورة التالية.

عندما يتم توجيهها على مفاهيم مستهدفة، تتعلم منزلقات المفاهيم اتجاهات معاملات منخفضة الرتبة لزيادة أو تقليل تعبير السمات المحددة. بالنسبة إلى نموذج ومفهومه المستهدف، الهدف الرئيسي لمنزلقات المفاهيم هو الحصول على نموذج محسّن يعدل احتمالية تعزيز السمات وتقليل احتمالية كبتها لصورة عندما يتم توجيهها على المفهوم المستهدف لزيادة احتمالية تعزيز السمات، وتقليل احتمالية كبتها. باستخدام إعادة المعلمة وصيغة Tweedie، تقدم الإطار عملية ضوضاء متغيرة مع مرور الوقت، ويعبر عن كل درجة على أنها تنبؤ بإزالة الضوضاء. بالإضافة إلى ذلك، يُعدل هدف الفصل بين الوحدات في منزلقات المفاهيم مع الحفاظ على الأوزان المسبقة الثابتة، وعامل التحجيم الذي تم تقديمه خلال صياغة LoRA يُعدل أثناء الاستدلال. عامل التحجيم يُسهل أيضًا تعديل قوة التحرير، ويمكن جعل التحرير أقوى دون إعادة تدريب الإطار كما هو موضح في الصورة التالية.

أساليب التحرير المستخدمة سابقًا من قبل الإطارات سمحت بتحريرات أقوى عن طريق إعادة تدريب الإطار مع توجيه متزايد. ومع ذلك، فإن تعديل عامل التحجيم أثناء الاستدلال ينتج نفس نتائج التحرير دون زيادة تكلفة إعادة التدريب والوقت.

تعلم المفاهيم البصرية

تم تصميم منزلقات المفاهيم لتحكم المفاهيم البصرية التي لا يمكن تعريفها جيدًا بواسطة تعليمات النص، وتستخدم هذه المنزلقات مجموعات بيانات صغيرة تضم أزواج صور قبل التعديل وبعده لتدريب هذه المفاهيم. يسمح التباين بين أزواج الصور لمنزلقات المفاهيم بتعلم المفاهيم البصرية. بالإضافة إلى ذلك، يُعدل عملية تدريب منزلقات المفاهيم مكون LoRA المطبق في كلا الاتجاهين الأمام والخلف. ونتيجة لذلك، يتوافق مكون LoRA مع الاتجاه الذي يسبب التأثيرات البصرية في كلا الاتجاهين.

منزلقات المفاهيم: نتائج التنفيذ

من أجل تحليل الزيادة في الأداء، قام المطورون بتقييم استخدام منزلقات المفاهيم بشكل رئيسي على Stable Diffusion XL، وهي إطار عالية الدقة بسعة 1024 بكسل مع تجارب إضافية أجريت على إطار Stable Diffusion v1.4، مع تدريب النماذج لمدة 500 حقبة تدريب كل منها.

منزلقات المفاهيم النصية

من أجل تقييم أداء منزلقات المفاهيم النصية، تم التحقق منها على مجموعة من 30 مفهومًا نصيًا، وتمت مقارنة هذه الطريقة مع قاعدتين يستخدمان تعليمات نصية قياسية لعدد ثابت من الخطوات الزمنية، ثم يبدأ التكوين عن طريق إضافة تعليمات لتوجيه الصورة. كما يمكن رؤيته في الشكل التالي، يؤدي استخدام منزلقات المفاهيم إلى زيادة مستمرة في درجة CLIP، وتقليل مستمر في درجة LPIPS عند مقارنته بالإطار الأصلي بدون منزلقات المفاهيم.

كما يمكن رؤيته في الصورة أعلاه، يُسهل استخدام منزلقات المفاهيم تحرير دقيق للسمات المرغوبة خلال عملية توليد الصور مع الحفاظ على هيكل الصورة العام.

منزلقات المفاهيم البصرية

نماذج الانتشار النصية إلى الصور التي تستخدم فقط تعليمات النص غالبًا ما تجد صعوبة في الحفاظ على درجة عالية من التحكم في السمات البصرية مثل شعر الوجه أو شكل العين. لضمان التحكم الأفضل في السمات الدقيقة، تستخدم منزلقات المفاهيم توجيهًا نصيًا اختياريًا متوافقًا مع مجموعات بيانات الصور. كما يمكن رؤيته في الشكل أدناه، تُنشئ منزلقات المفاهيم منزلقات فردية ل “حجم العين” و “شكل الحاجب” التي تلتقط التحويلات المرغوبة باستخدام أزواج الصور.

يمكن تحسين النتائج بشكل أكبر عن طريق تقديم نصوص محددة بحيث يركز الاتجاه على منطقة الوجه هذه، وينشئ منزلقات مع تحكم تدريجي على السمة المستهدفة.

تكوين المنزلقات

من المزايا الرئيسية لاستخدام منزلقات المفاهيم هو قابليتها للتكوين، مما يسمح للمستخدمين بدمج عدة منزلقات للحصول على درجة أكبر من التحكم بدلاً من التركيز على مفهوم واحد في الوقت نفسه، ويمكن ذلك بسبب اتجاهات المنزلقات منخفضة الرتبة المستخدمة في منزلقات المفاهيم. بالإضافة إلى ذلك، بما أن منزلقات المفاهيم هي محولات LoRA خفيفة الوزن، فهي سهلة النشر، ويمكن تركيبها بسهولة فوق نماذج الانتشار. يمكن للمستخدمين أيضًا تعديل عدة مفاتيح في نفس الوقت لتوجيه توليد معقدة عن طريق تحميل مجموعات منزلقات مثيرة للاهتمام.

تُظهر الصورة التالية قدرات التكوين لمنزلقات المفاهيم، وتُدمج المنزلقات تدريجيًا في كل صف من اليسار إلى اليمين، مما يسمح بالتنقل في فضاءات المفاهيم عالية الأبعاد مع درجة أكبر من التحكم في المفاهيم.

تحسين جودة الصورة

على الرغم من أن إطارات الانتشار النصية إلى الصور الحالية ونماذج التوليد الكبيرة مثل Stable Diffusion XL قادرة على توليد صور واقعية وعالية الجودة، إلا أنها غالبًا ما تعاني من تشوهات الصور مثل الأجسام الضبابية أو الملتوية، مع أن معاملات هذه النماذج تتضمن قدرة كامنة على إنتاج مخرجات عالية الجودة مع عدد أقل من عمليات التوليد. يمكن أن يؤدي استخدام منزلقات المفاهيم إلى توليد صور مع تشوهات أقل عن طريق فتح القدرات الحقيقية لهذه النماذج عن طريق تحديد اتجاهات المعاملات منخفضة الرتبة.

إصلاح اليدين

كان توليد صور بأيدي واقعية دائمًا تحديًا لإطارات الانتشار، واستخدام منزلقات المفاهيم يمكن أن يؤدي إلى التحكم المباشر في ميل تشوه اليدين. تُظهر الصورة التالية تأثير استخدام منزلقات المفاهيم “إصلاح اليدين” التي تسمح للإطار بتوليد صور بأيدي أكثر واقعية.

منزلقات الإصلاح

يمكن أن يؤدي استخدام منزلقات المفاهيم ليس فقط إلى توليد صور بأيدي أكثر واقعية، ولكنها أيضًا أظهرت إمكانياتها في تحسين الواقعية العامة للصور المولدة بواسطة الإطار. تُحدد منزلقات المفاهيم اتجاهًا واحدًا منخفض الرتبة يسمح بالتحول في الصور من مشاكل التشوه الشائعة، ويتضح ذلك في الصورة التالية.

أفكار ختامية

في هذه المقالة، تحدثنا عن منزلقات المفاهيم، وهي نموذج جديد بسيط وقابل للتوسيع يسمح بالتحكم القابل للتفسير في الإخراج المولّد في نماذج الانتشار. يهدف استخدام منزلقات المفاهيم إلى حل القضايا التي تواجهها الإطارات النصية إلى الصور الحالية التي تجد صعوبة في الحفاظ على التحكم المطلوب على المفاهيم والسمات البصرية المضمنة في الصورة المولدة، مما يؤدي إلى نتائج غير مرضية. بالإضافة إلى ذلك، فإن معظم نماذج الانتشار النصية إلى الصور تجد صعوبة في تعديل السمات المستمرة في الصورة، مما يؤدي إلى نتائج غير مرضية. قد يسمح استخدام منزلقات المفاهيم لإطارات الانتشار النصية إلى الصور بتخفيف هذه القضايا، وتمكين صانعي المحتوى والمستخدمين النهائيين من درجة أكبر من التحكم في عملية توليد الصور، وحل القضايا التي تواجهها الإطارات الحالية.