هندسة المحفزات
نظرة أقرب إلى DALL-E 3 من OpenAI
أضف Unite.AI إلى مصادرك المفضلة على Google
في عالم الذكاء الاصطناعي التوليدي، الحفاظ على المواكبة مع أحدث التطورات هو الهدف الرئيسي. وعندما يتعلق الأمر بإنشاء الصور، كانت Stable Diffusion و Midjourney منصات رائدة – حتى الآن.
أدخلت OpenAI، بدعم من شركة Microsoft (MSFT ) ، DALL·E 3 في 20 سبتمبر 2023.
DALL-E 3 لا يتعلق فقط بإنشاء صور، بل بجلب أفكارك إلى الحياة بالطريقة التي تخيلتها. والأفضل من ذلك؟ إنه سريع، حقًا سريع. لديك فكرة، تقدمها إلى DALL-E 3، وبانغ! صورة جاهزة.
لذلك، في هذه المقالة، سنغوص في ما يخص DALL-E 3. سنناقش كيف يعمل، ما يميزه عن البقية، ولماذا قد يكون الأداة التي لم تكن تعرف أنك تحتاجها. سواء كنت مصممًا أو فنانًا أو مجرد شخصًا لديه الكثير من الأفكار الرائعة، سترغب في البقاء هنا. هيا نبدأ.
ما هو جديد في DALL·E 3 هو أنه يفهم السياق بشكل أفضل من DALL·E 2. الإصدارات السابقة قد تفوقت على بعض التفاصيل أو تجاهلت بعض التفاصيل هنا وهناك، ولكن DALL·E 3 دقيق. إنه يلتقط التفاصيل الدقيقة لما تطلبه، مما يعطيك صورة أقرب إلى ما تخيلته.
الجزء المثير؟ DALL·E 3 و ChatGPT متكاملان الآن. يعملان معًا لتحسين أفكارك. ترسل مفهومًا، يساعد ChatGPT في تعديل العبارة، ويجلب DALL·E 3ها إلى الحياة. إذا لم تكن من المعجبين بالصورة، يمكنك أن تطلب من ChatGPT تعديل العبارة وطلب من DALL·E 3 محاولة مرة أخرى. مقابل رسوم شهرية تبلغ 20 دولارًا، تحصل على وصول إلى GPT-4 و DALL·E 3 والعديد من الميزات الأخرى.
حصلت Microsoft’s Bing Chat على DALL·E 3 حتى قبل ChatGPT من OpenAI، والآن لا Longer فقط الشركات الكبيرة ولكن الجميع يمكنهم اللعب معها مجانًا. التكامل في Bing Chat و Bing Image Creator يجعلها أكثر سهولة في الاستخدام لأي شخص.
صعود نماذج الانتشار
في السنوات الثلاث الماضية، شهدت الرؤية الاصطناعية صعود نماذج الانتشار، مما أدى إلى تحسن كبير في إنشاء الصور. قبل نماذج الانتشار، كانت الشبكات التوليدية المعادية (GANs) هي التكنولوجيا الرئيسية لإنشاء صور واقعية.
GANs
然而، كان لديهم تحديات بما في ذلك الحاجة إلى كميات كبيرة من البيانات والقدرة الحاسوبية، مما جعلهم في بعض الأحيان صعبًا في التعامل.
دخلت نماذج الانتشار كبديل أكثر استقرارًا وفعاليًا لGANs. على عكس GANs، تعمل نماذج الانتشار عن طريق إضافة الضوضاء إلى البيانات، مما يخفيها حتى لا يبقى إلا العشوائية. ثم تعمل في الاتجاه العكسي ل逆 هذه العملية، مما يؤدي إلى إعادة بناء البيانات المهمة من الضوضاء. هذا العملية أثبتت أنها فعالة وأقل استهلاكًا للموارد، مما يجعل نماذج الانتشار موضوعًا ساخنًا في مجتمع الذكاء الاصطناعي.
النقطة الحاسمة جاءت حول عام 2020، مع سلسلة من الأوراق المبتكرةและการ تقديم تكنولوجيا CLIP من OpenAI، مما أدى إلى تحسين كبير في قدرات نماذج الانتشار. هذا جعل نماذج الانتشار استثنائية في التوليد النصي للصورة، مما يسمح لها بإنشاء صور واقعية من وصفات نصية. هذه الاختراقات لم تكن فقط في إنشاء الصور، ولكن أيضًا في مجالات مثل التأليف الموسيقي والبحث البيولوجي.
اليوم، نماذج الانتشار لا Longer مجرد موضوع للاهتمام الأكاديمي، بل يتم استخدامها في سيناريوهات عملية وواقعية.
النمذجة التوليدية وطبقات الانتباه الذاتي: DALL-E 3
إحدى التحسينات الحاسمة في هذا المجال هي تطور النمذجة التوليدية، مع نهج الق样 الذي يؤدي إلى تحسينات كبيرة في أداء النماذج. من خلال تقسيم إنشاء الصور إلى خطوات منفصلة، أصبحت هذه النماذج أكثر قابلية للتعلم.
في نفس الوقت، لعبت طبقات الانتباه الذاتي دورًا حاسمًا. هذه الطبقات، عندما يتم تجميعها معًا، ساهمت في إنشاء صور دون الحاجة إلى التحيزات المكانية الضمنية، وهو مشكل شائع مع الانحلالات.
التحديات والحلول في إنشاء الصور
尽管 هذه التحسينات، لا تزال السيطرة على إنشاء الصور تحديًا. هناك مشاكل مثل اتباع العبارة، حيث قد لا يلتزم النموذج بالكلمات الدخلة، كانت سائدة. لذلك، تم اقتراح نهج جديد مثل تحسين العنوان، nhằm إلى تحسين جودة الزوج من النص والصورة في مجموعات البيانات التدريبية.
تحسين العنوان: نهج جديد
ي涉ى تحسين العنوان إنشاء عناوين ذات جودة أفضل للصور، مما يساعد في تدريب نماذج الصورة والنص أكثر دقة. هذا يتم من خلال معمل صور متقدم ينتج وصفات مفصلة ودقيقة للصور. من خلال التدريب على هذه العناوين المحسنة، تمكنت DALL-E 3 من تحقيق نتائج رائعة، تشبه إلى حد بعيد الصور والفنون التي أنتجها البشر.
التدريب على البيانات الاصطناعية
concept من التدريب على البيانات الاصطناعية ليس جديدًا. ومع ذلك، المساهمة الفريدة هنا هي في إنشاء نظام وصف صور جديد ومفصّل. تأثير استخدام العناوين الاصطناعية لتدريب النماذج التوليدية كان كبيرًا، مما أدى إلى تحسين قدرة النموذج على اتباع العبارات بدقة.
تقييم DALL-E 3
من خلال التقييمات المتعددة والمقارنات مع النماذج السابقة مثل DALL-E 2 و Stable Diffusion XL، أظهر DALL-E 3 أداءً متفوقًا، خاصة في المهام المتعلقة باتباع العبارة.
Comparison of text-to-image models on various evaluations
استخدام التقييمات والاختبارات الآلية قدمت أدلة واضحة على قدراته، مما يؤكد موقعه كأفضل نموذج توليدي للصورة والنص.
عبارات وخصائص DALL-E 3
DALL-E 3 يقدم نهجًا أكثر منطقية ومتقنًا لإنشاء الصور. عند التمرير، سترى كيف يصمم DALL-E كل صورة، بمزيج من الدقة والخيال التي تتوافق مع العبارة المحددة.
على عكس سابقه، هذا الإصدار المحسّن يمتاز بترتيب الأشياء بشكل طبيعي داخل المشهد وتصوير الميزات البشرية بدقة، حتى العدد الصحيح من الأصابع في اليد. التحسينات تمتد إلى تفاصيل أكثر دقة وتتوفر الآن بدقة أعلى، مما يضمن مخرجًا أكثر واقعية ومحترفًا.
كذلك، تم تحسين قدرات العرض النصي بشكل كبير. في حين أن الإصدارات السابقة من DALL-E أنتجت نصًا غير مفهوم، يمكن لـDALL-E 3 الآن إنشاء نص مقروء ومصمم بشكل محترف (في بعض الأحيان)، وحتى شعارات نظيفة في بعض الأحيان.
فهم النموذج للطلبات الصورية المعقدة والمعقدة قد تحسنت بشكل كبير. يمكن لـDALL-E 3 الآن اتباع وصفات مفصلة، حتى في السيناريوهات التي تحتوي على عناصر متعددة وتعليمات محددة، مما يظهر قدرته على إنتاج صور متسقة ومدروسة جيدًا. هيا نستكشف بعض العبارات والنتائج التي حصلنا عليها:
صمم تغليفًا لسلسلة من الشاي العضوي. شمل مساحة للاسم والوصف.
DALL-E 3 images based on text prompts (Note that the left poster have wrong spelling)
أنشئ لافتة ويب لإعلان عن بيع صيفي على الأثاث الخارجي. الصورة تampilkan ساحل مع قطع مختلفة من الأثاث الخارجي، ونص يعلن 'تخفيضات صيفية كبيرة!'
DALL-E 3 images based on text prompts
ملصق سفر قديم لباريس مع نص متين ومصمم قائل "Visit Paris" في الأسفل.
DALL-E 3 images based on text prompts (Note that both posters have wrong spellings)
صورة لمهرجان ديوالي في الهند، مع عائلات تضيء المصباح، والألعاب النارية في السماء، والحلويات التقليدية والزينة.
DALL-E 3 images based on text prompts
القيود والمخاطر من DALL-E 3
أخذت OpenAI خطوات كبيرة لتصفية المحتوى الصريح من بيانات التدريب من DALL-E 3، بهدف تقليل التحيزات وتحسين مخرجات النموذج. هذا يشمل تطبيق مرشحات محددة لفئات المحتوى الحساسة ومراجعة العتبارات لأوسع المرشحات. كذلك، يتضمن مكدس التخفيف طبقات متعددة من الحماية، مثل آليات الرفض في ChatGPT لمواضيع حساسة، وتصنيفات مدخلات العبارة لمنع انتهاكات السياسة، وقوائم حظر لفئات محتوى محددة، وتحويلات لضمان مطابقة العبارات مع الإرشادات.
尽管 التقدم، تظل DALL-E 3 محدودة في فهم العلاقات المكانية، وتصيير النص الطويل بدقة، وإنشاء صور محددة. تعترف OpenAI بهذه التحديات وتعمل على تحسينات لنسخ مستقبلية.
كما تعمل الشركة على وسائل لتمييز الصور التي تم إنشاؤها بواسطة الذكاء الاصطناعي عن تلك التي أنشأها البشر، مما يعكس التزامها بالشفافية واستخدام الذكاء الاصطناعي المسؤول.
DALL·E 3
DALL-E 3، الإصدار الأخير، سيكون متاحًا بالمراحل، بدءًا من مجموعات العملاء المحددة وتمتد فيما بعد إلى مختبرات البحث وخدمات API. ومع ذلك، لم يتم تأكيد تاريخ الإصدار المجاني للجمهور بعد.
تضع OpenAI معايير جديدة في مجال الذكاء الاصطناعي مع DALL-E 3، مما يربط بين القدرات الفنية المعقدة وواجهات المستخدم سهلة الاستخدام. التكامل مع منصات شائعة مثل Bing يعكس تحولًا من التطبيقات المتخصصة إلى أشكال أكثر شمولاً وسهولة الوصول إلى الترفيه والفائدة.
المغير الحقيقي في السنوات القادمة سيكون التوازن بين الابتكار وتمكين المستخدم. الشركات التي تنجح سوف تكون تلك التي لا ت拓 فقط حدود ما يمكن للذكاء الاصطناعي تحقيقه، ولكن أيضًا توفر للمستخدمين الاستقلالية والسيطرة التي يرغبون فيها. OpenAI، مع التزامها بالذكاء الاصطناعي الأخلاقي، تسير هذا المسار بحذر. الهدف واضح: إنشاء أدوات ذكاء اصطناعي لا Longer قوية فقط، ولكن أيضًا موثوقة وشمولية، مما يضمن أن فوائد الذكاء الاصطناعي تكون متاحة للجميع.
