نماذج الانتشار الملوثة هي إطارات ذكاء اصطناعي تولدية تصنع الصور من الضوضاء من خلال عملية تنظيف متكررة. وهي تحظى بسمعة طيبة لقدراتها الاستثنائية في توليد الصور وتنوعها، ويعزى ذلك في الغالب إلى طرق التوجيه المشروطة بالنص أو الفئة، بما في ذلك توجيه الفئة والفئة الحرة. وقد نجحت هذه النماذج بشكل ملحوظ في إنشاء صور متنوعة وذات جودة عالية. وقد أظهرت الدراسات الحديثة أن تقنيات التوجيه مثل العناوين والتعليمات تلعب دورًا حاسمًا في تعزيز جودة الصور التي تولدها هذه النماذج.

然而، تواجه نماذج الانتشار وطرق التوجيه قيودًا في ظل بعض الظروف الخارجية. طريقة التوجيه الفئة الحرة (CFG) ، التي تستخدم إسقاط التسمية، تضيف تعقيدًا إلى عملية التدريب، في حين أن طريقة التوجيه الفئة (CG) تتطلب تدريبًا إضافيًا للفئة. كلا الطريقتين مقيدتان بدرجة ما باعتمادهما على ظروف خارجية محددة، مما يحد من إمكانياتهما ويحصرها في إعدادات مشروطة.

للتغلب على هذه القيود، قام المطورون بصياغة نهج أكثر عمومية للتوجيه الانتشاري، يعرف باسم توجيه الانتباه الذاتي (SAG). هذا النهج يستخدم المعلومات من عينات وسطى من نماذج الانتشار لإنشاء صور. سنستكشف SAG في هذا المقال، ونناقش آلية عملها وطريقة عملها ونتائجها مقارنة بالإطارات الحالية والأطراف.

توجيه الانتباه الذاتي: تحسين جودة العينة من نماذج الانتشار

نماذج الانتشار الملوثة (DDMs) أصبحت شائعة لability لتوليد الصور من الضوضاء من خلال عملية تنظيف متكررة. مهارة توليد الصور لهذه النماذج تعزى في الغالب إلى طرق توجيه الانتشار المستخدمة. على الرغم من نقاط قوتها، تواجه نماذج الانتشار وطرق التوجيه تحديات مثل التعقيد الإضافي والتكاليف الحاسوبية المتزايدة.

للتغلب على القيود الحالية، قام المطورون بتقديم طريقة توجيه الانتباه الذاتي، وهي صياغة أكثر عمومية للتوجيه الانتشاري لا تعتمد على المعلومات الخارجية من توجيه الانتشار، وبالتالي تسهل نهجًا خاليًا من الشروط ومرونًا لتوجيه الإطارات.

توجيه الانتباه الذاتي يعتمد على مبدأ التكوين العام، وافتراض أن المعلومات الداخلية المحتوية في العينات الوسطى يمكن أن تكون توجيهًا أيضًا. على أساس هذا المبدأ، يقدم نهج SAG أولاً توجيه التمويه، وهو حل بسيط ومباشر لتحسين جودة العينة. يهدف توجيه التمويه إلى استغلال الخواص اللطيفة للتمويه الجاوسي لإزالة التفاصيل الدقيقة بشكل طبيعي من خلال توجيه العينات الوسطى باستخدام المعلومات المحذوفة نتيجة التمويه الجاوسي.

مع افتراض أن الانتباه الذاتي ضروري لالتقاط المعلومات البارزة في جوهره، يستخدم نهج توجيه الانتباه الذاتي خرائط الانتباه الذاتي لنماذج الانتشار لتمويه المناطق المحتوية على معلومات بارزة، وبالتالي يوجه نماذج الانتشار بالمعلومات المتبقية المطلوبة.

لتلخيص، نهج توجيه الانتباه الذاتي

1. نهج جديد يستخدم خرائط الانتباه الذاتي الداخلية لنماذج الانتشار لتحسين جودة الصور المولدة دون الحاجة إلى أي تدريب إضافي أو شروط خارجية.
2. يحاول نهج SAG تعميم طرق التوجيه المشروطة إلى نهج خالي من الشروط يمكن دمجه مع أي نموذج انتشار دون الحاجة إلى موارد إضافية أو شروط خارجية، وبالتالي يعزز من تطبيق الإطارات القائمة على التوجيه.
3. كما يحاول نهج SAG إظهار قدراته الأرثوذكسية للطرق والإطارات الحالية، وبالتالي يمكن أن يعزز الأداء من خلال التكامل المرن مع طرق أخرى ونماذج.

متابعًا، يتعلم نهج توجيه الانتباه الذاتي من نتائج الإطارات المرتبطة، بما في ذلك نماذج الانتشار الملوثة، وتوجيه العينة، وطرق الانتباه الذاتي للذكاء الاصطناعي، وممثلات نماذج الانتشار الداخلية.

توجيه الانتباه الذاتي: مقدمة وطريقة وتركيب

نموذج الانتشار الملوث الاحتمالي أو DDPM

DDPM أو نموذج الانتشار الملوث الاحتمالي هو نموذج يستخدم عملية تنظيف متكررة لاستعادة صورة من ضوضاء بيضاء.

توجيه الفئة وتوجيه الفئة الحرة مع تنفيذ GAN

GAN أو الشبكات العصبية التوليدية المتعادية تملك تداولًا فريدًا للتنوع من أجل الإيمان، ولجلب هذه القدرة لنماذج الانتشار، يقترح إطار توجيه الانتباه الذاتي استخدام طريقة توجيه الفئة التي تستخدم فئة إضافية.

تعميم توجيه الانتشار

على الرغم من أن طرق توجيه الفئة وتوجيه الفئة الحرة تنجز النتائج المرغوبة وتساعد في التوليد المشروط في نماذج الانتشار، فهي تعتمد على مدخلات إضافية.

تحسين جودة الصورة باستخدام خرائط الانتباه الذاتي

توجيه الانتشار العام يعني أنه من الممكن توجيه عملية العكس لنماذج الانتشار عن طريق استخراج المعلومات البارزة في الشرط العام المحتوي في العينة الملوثة.

توجيه التمويه

توجيه التمويه في توجيه الانتباه الذاتي يعتمد على التمويه الجاوسي، وهو طريقة ترشيح خطية تتم فيها تحويل الإشارة الداخلة بمقياس جاوسي لتوليد إشارةخرج.

على أساس هذه المعرفة، يقدم إطار توجيه الانتباه الذاتي توجيه التمويه، وهو تقنية بسيطة ومباشرة لتحسين جودة العينة.

آلية الانتباه الذاتي

كما ذكرنا سابقًا، تملك نماذج الانتشار عادةً مكونًا للانتباه الذاتي، وهو واحد من المكونات الأساسية في إطار نموذج الانتشار.

توجيه الانتباه الذاتي: التجارب والنتائج

للتقييم من أدائه، يتم اختبار إطار توجيه الانتباه الذاتي باستخدام 8 من وحدات معالجة الرسومات Nvidia GeForce RTX 3090، ويتم بناؤه على إطارات IDDPM وADM وStable Diffusion المسبقة التدريب.

التوليد غير المشروط مع توجيه الانتباه الذاتي

لقياس فعالية إطار SAG على النماذج غير المشروطة، يتم تشغيل إطار SAG على 50 ألف عينة.

كما يمكن ملاحظة تحسينات نوعية في الصور الناتجة من تنفيذ إطار SAG.

التوليد المشروط مع SAG

يمكن دمج إطار SAG مع النماذج الحالية لتحقيق نتائج استثنائية في التوليد المشروط.

الانتشار المستقر مع توجيه الانتباه الذاتي

يمكن تحسين نتائج إطار الانتشار المستقر من خلال دمجه مع إطار توجيه الانتباه الذاتي.

القيود الحالية

على الرغم من أن تنفيذ إطار توجيه الانتباه الذاتي يمكن أن يحسن بشكل كبير من جودة الصور المولدة، إلا أنه يملك بعض القيود.

تعتبر إحدى القيود الرئيسية هو التباين مع توجيه الفئة وتوجيه الفئة الحرة.

الافكار الختامية

في هذه المقالة، ناقشنا توجيه الانتباه الذاتي، وهو نهج جديد وعمومي للتوجيه الذي يستخدم المعلومات الداخلية المتاحة في نماذج الانتشار لإنشاء صور عالية الجودة.