نماذج ومنصات الذكاء الاصطناعي
إطلاق Stability AI لنموذج الصورة من النص DeepFloyd IF

النقاط الرئيسيةيُولّد DeepFloyd IF نصوصًا متماسكة داخل الصور باستخدام مشفر النصوص T5-XXL-1.1.
عرض المزيد
- يُولّد DeepFloyd IF نصوصًا متماسكة داخل الصور باستخدام مشفر النصوص T5-XXL-1.1.
- يحقق النموذج درجة FID صفرية الطلقات تبلغ 6.66 على مجموعة بيانات COCO.
- أصدرت Stability AI نموذج DeepFloyd IF بموجب ترخيص بحثي غير تجاري في البداية.
Stability AI ومختبرها البحثي متعدد الوسائط DeepFloyd، أعلنا عن إطلاق نسخة بحثية من نموذج DeepFloyd IF، وهو نموذج انتشار بكسل متسلسل متقدم للصورة من النص. تم إطلاق النموذج في البداية تحت رخصة غير تجارية ومسموح بها للبحث، ولكن الإطلاق المفتوح المصدر مخطط له في المستقبل.
يتميز DeepFloyd IF بعدد من الميزات المذهلة، بما في ذلك:
- فهم عميق للتعليمات النصية: يستخدم النموذج T5-XXL-1.1 كمشفر نصي، مع العديد من طبقات الانتباه المتقاطع بين النص والصورة، مما يضمن توافقًا أفضل بين التعليمات والصور.
- نص متسق وواضح جنبًا إلى جنب مع الصور المولدة: يمكن لـ DeepFloyd IF توليد صور تحتوي على كائنات ذات خصائص و علاقات مكانية متغيرة.
- درجة عالية من الواقعية الفوتوغرافية: حقق النموذج درجة FID مميزة تبلغ 6.66 في التقييم دون أمثلة مسبقة (zero-shot) على مجموعة بيانات كوكو.
- تحويل نسبة العرض: يمكن للنموذج توليد صور بنسب عرض غير قياسية، بما في ذلك العرض الرأسي والأفقي والمربع.
- تحويل صورة إلى صورة دون أمثلة مسبقة (zero-shot): يمكن للنموذج تعديل أسلوب الصورة وأنماطها وتفاصيلها مع الحفاظ على الشكل الأساسي.
فيما يلي بعض المفاهيم العينة التي تم إنشاؤها بواسطة DeepFloyd IF:




يتكون تصميم DeepFloyd IF الموديولي المتسلسل للانتشار البكسل من عدة وحدات عصبية تتفاعل بشكل تآزري. يعمل النموذج في مساحة البكسل، ويعالج البيانات عالية الدقة بطريقة متسلسلة باستخدام نماذج منفصلة تم تدريبها على دقة مختلفة. وهذا يشمل نموذجًا أساسيًا يولد عينات منخفضة الدقة ونماذج متتابعة فائقة الدقة تنتج صورًا عالية الدقة.
تم تدريب النموذج على مجموعة بيانات LAION-A المخصصة عالية الجودة التي تحتوي على مليار زوج (صورة، نص)، وهي جزء من الجزء الإنجليزي من مجموعة بيانات LAION-5B. تم استخدام مرشحات DeepFloyd المخصصة لإزالة المحتوى الذي يحمل علامات مائية، والمحتوى غير المناسب للمشاهدة في العمل (NSFW)، وغيره من المحتوى غير المناسب.

عملية DeepFloyd IF
تم إطلاق DeepFloyd IF في البداية تحت رخصة بحثية. يهدف الباحثون إلى تشجيع تطوير تطبيقات جديدة عبر مجالات مثل الفن والتصميم والرواية والواقع الافتراضي وإمكانية الوصول. لتحفيز البحث المحتمل، قد اقترحوا عدة أسئلة بحثية فنية واكاديمية واخلاقية.
الأسئلة البحثية الفنية تشمل:
- تحسين أداء نموذج IF لتحسين الأداء والقابلية للتطوير والكفاءة.
- تحسين جودة الإخراج من خلال تحسين أخذ العينات أو التوجيه أو الضبط الدقيق للنموذج.
- تطبيق تقنيات تعديل إخراج Stable Diffusion على DeepFloyd IF.
الأسئلة البحثية الأكاديمية تشمل:
- استكشاف دور التدريب المسبق للتعلم النقلي.
- تحسين التحكم في توليد الصور.
- توسيع قدرات النموذج إلى ما وراء توليد الصور من النص من خلال دمج عدة وسائط.
- تقييم تفسيرية النموذج لتحسين فهم الميزات البصرية للصور المولدة.
الأسئلة البحثية الأخلاقية تشمل:
- تحديد وتخفيف الانحيازات في DeepFloyd IF.
- تقييم تأثير النموذج على وسائل التواصل الاجتماعي وتوليد المحتوى.
- تطوير كاشف صور مزيفة فعال يعتمد على النموذج.
للوصول إلى أوزان النموذج، يجب على المستخدمين قبول الرخصة على مساحة Hugging Face الخاصة بـDeepFloyd. لمزيد من المعلومات، يمكنك زيارة موقع النموذج، مستودع GitHub، عرض Gradio التجريبي، أو الانضمام إلى المناقشات العامة من خلال Linktree الخاص بـDeepFloyd.












