إطلاق Stability AI لنموذج الصورة من النص DeepFloyd IF

Stability AI ومختبرها البحثي متعدد الوسائط DeepFloyd، أعلنا عن إطلاق بحث نموذج DeepFloyd IF، وهو نموذج انتشار بكسل متسلسل متقدم للصورة من النص. تم إطلاق النموذج في البداية تحت رخصة غير تجارية ومسموح بها للبحث، ولكن الإطلاق المفتوح المصدر مخطط له في المستقبل.

يتميز DeepFloyd IF بعدد من الميزات المذهلة، بما في ذلك:

1. فهم نص العرض: يستخدم النموذج T5-XXL-1.1 كمشفر نصي، مع العديد من طبقات الانتباه المتقاطع بين النص والصورة، مما يضمن تعادلًا أفضل بين العروض والصور.
2. نص متسق وواضح جنبًا إلى جنب مع الصور المولدة: يمكن لـ DeepFloyd IF توليد صور تحتوي على كائنات ذات خصائص و علاقات مكانية متغيرة.
3. درجة عالية من الواقعية: حقق النموذج درجة فिद متوسطة من 6.66 على مجموعة بيانات كوكو.
4. تحويل نسبة العرض: يمكن للنموذج توليد صور بنسب عرض غير стандартية، بما في ذلك العرض الرأسي والأفقي والمربع.
5. ترجمة صورة إلى صورة بدون إطلاق: يمكن للنموذج تعديل نمط الصورة ونمطها و细ياتها مع الحفاظ على الشكل الأساسي.

فيما يلي بعض المفاهيم العينة التي تم إنشاؤها بواسطة DeepFloyd IF:

يتكون تصميم DeepFloyd IF الموديولي المتسلسل للانتشار البكسل من عدة وحدات عصبية تتفاعل بشكل تآزري. يعمل النموذج في مساحة البكسل، ويعالج البيانات عالية الدقة بطريقة متسلسلة باستخدام نماذج منفصلة تم تدريبها على دقة مختلفة. وهذا يشمل نموذجًا أساسيًا يولد عينات منخفضة الدقة ونموذجًا超يًا ينتج صورًا عالية الدقة.

تم تدريب النموذج على مجموعة بيانات LAION-A المخصصة عالية الجودة التي تحتوي على مليار زوج (صورة، نص)، وهي جزء من الجزء الإنجليزي من مجموعة بيانات LAION-5B. تم استخدام مرشحات DeepFloyd المخصصة لإزالة المحتوى المائي والغير لائق وغير المناسب.

عملية DeepFloyd IF

تم إطلاق DeepFloyd IF في البداية تحت رخصة بحثية. يهدف الباحثون إلى تشجيع تطوير تطبيقات جديدة عبر مجالات مثل الفن والتصميم والرواية والواقع الافتراضي والتوافق. لتحفيز البحث المحتمل، قد اقترحوا عدة أسئلة بحثية فنية واكاديمية واخلاقية.

الأسئلة البحثية الفنية تشمل:

• تحسين أداء نموذج IF لتحسين الأداء والقابلية للتطوير والكفاءة.
• تحسين جودة الإخراج من خلال تعديل العينة أو توجيه أو تعديل النموذج.
• تطبيق تقنيات تعديل إخراج Stable Diffusion على DeepFloyd IF.

الأسئلة البحثية الأكاديمية تشمل:

• استكشاف دور التدريب المسبق للتعلم النقلي.
• تحسين التحكم في توليد الصور.
• توسيع قدرات النموذج إلى ما وراء توليد الصور من النص من خلال دمج عدة وسائط.
• تقييم تفسيرية النموذج لتحسين فهم الميزات البصرية للصور المولدة.

الأسئلة البحثية الأخلاقية تشمل:

• تحديد وتخفيف الانحيازات في DeepFloyd IF.
• تقييم تأثير النموذج على وسائل التواصل الاجتماعي وتوليد المحتوى.
• تطوير كاشف صور مزيفة فعال يعتمد على النموذج.

Để الوصول إلى أوزان النموذج، يجب على المستخدمين قبول الرخصة على مساحة DeepFloyd على Hugging Face. لمزيد من المعلومات، يمكنك زيارة موقع النموذج، مخزن GitHub، demo Gradio، أو الانضمام إلى المناقشات العامة من خلال Linktree لشركة DeepFloyd.