زاوية Anderson

حل DALL-E 2 الفريد للمعاني المزدوجة

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيقوم DALL-E 2 بتقسيم الكلمات الغامضة مثل 'bat' إلى كائنات متعددة في صورة واحدة.
عرض المزيد
  • يقوم DALL-E 2 بتقسيم الكلمات الغامضة مثل 'bat' إلى كائنات متعددة في صورة واحدة.
  • يزداد هذا الخطأ الدلالي سوءًا مع تدريب النماذج الموجهة بـ CLIP على مجموعات بيانات أكبر.
  • أظهرت أكثر من 80% من صور DALL-E 2 التي تحتوي على كلمات متجانسة تفسيرات مزدوجة غير مقصودة.

كل من تعلم الإيطالية يتعلم مبكرًا الانتباه إلى السياق عند وصف مكنسة، لأن الكلمة الإيطالية لهذا الغرض المنزلي العادي لها معنى ثانٍ كفعل بالغ الفحش وغير مناسب للعمل*. ورغم أننا نتعلم مبكرًا فصل المعاني والاستخدامات الملائمة للكلمات المتعددة المعاني، فليس من السهل نقل هذه المهارة إلى أنظمة تركيب الصور الضخمة مثل DALL-E 2 وStable Diffusion. فهي تعتمد على وحدة OpenAI للتدريب المسبق التقابلي للغة والصورة (CLIP) التي تتعامل مع الأشياء وخصائصها بقدر أكبر من المرونة، مع أنها تكتسب انتشارًا متزايدًا في تركيب الصور والفيديو بالانتشار الكامن.

لدراسة هذا القصور، يقدم تعاون بحثي جديد من جامعة بار إيلان ومعهد ألين للذكاء الاصطناعي دراسة موسعة لمدى تعرض DALL-E 2 لهذه الأخطاء الدلالية:

تتوزع المعاني المزدوجة إلى تفسيرات متعددة في DALL-E 2، وإن كان أي نظام انتشار كامن قادرًا على إنتاج أمثلة كهذه. في الصورة العلوية اليمنى، يؤدي حذف gold من المطالبة إلى تغيير نوع السمكة، بينما يتطلب مثال zebra crossing تحديد سطح الطريق صراحة لإزالة الارتباط المزدوج.

تتوزع المعاني المزدوجة إلى تفسيرات متعددة في DALL-E 2، وإن كان أي نظام انتشار كامن قادرًا على إنتاج أمثلة كهذه. في الصورة العلوية اليمنى، يؤدي حذف gold من المطالبة إلى تغيير نوع السمكة، بينما يتطلب مثال zebra crossing تحديد سطح الطريق صراحة لإزالة الارتباط المزدوج. المصدر: https://export.arxiv.org/pdf/2210.10606

وجد المؤلفون أن الميل إلى تفسير الكلمات والعبارات تفسيرًا مزدوجًا يبدو مشتركًا بين جميع نماذج الانتشار الموجهة بـCLIP، ويزداد سوءًا مع تدريب النماذج على كميات أكبر من البيانات. وتشير الورقة إلى أن النسخ المصغرة من نماذج النص إلى الصورة، ومنها DALL-E Mini (المعروف الآن باسم Craiyon)، تنتج هذه الأخطاء بوتيرة أقل بكثير، وأن Stable Diffusion يخطئ أقل أيضًا، لكن فقط لأنه كثيرًا ما لا يتبع المطالبة أصلًا، وهو نوع آخر من الخطأ.

تجعل المطالبة البسيطة date نموذج DALL-E 2 يستحضر معنيين من معاني الكلمة العديدة، وتنقسم fan أيضًا إلى تفسيرين دلاليين. وفي الصورة الثالثة، تحول cone الطعام غير المحدد في المطالبة باستمرار إلى مثلجات مرتبطة بهذه الكلمة.

تجعل المطالبة البسيطة date نموذج DALL-E 2 يستحضر معنيين من معاني الكلمة العديدة، وتنقسم fan أيضًا إلى تفسيرين دلاليين. وفي الصورة الثالثة، تحول cone الطعام غير المحدد في المطالبة باستمرار إلى مثلجات مرتبطة بهذه الكلمة.

تشرح الورقة كيف نفصل المعاني المعجمية بكفاءة فتقول:

«قد تكون الرموز وبنى الجمل ملتبسة، لكن بمجرد تكوين تفسير يكون الالتباس قد حُسم. فمثلًا قد تعني الكلمة الإنجليزية bat في a flying bat عصًا خشبية أو حيوانًا، لكن تفسيرنا المحتمل للجملة يكون عصًا خشبية تطير أو حيوانًا يطير، وليس الاثنين معًا. وبمجرد استخدام bat في التفسير للدلالة على غرض مثل العصا، لا يمكن إعادة استخدامها للدلالة على غرض آخر، أي الحيوان، ضمن التفسير نفسه».

لكن الورقة تلاحظ أن DALL-E 2 لا يخضع لهذا القيد:

المطالبة A bat is flying over a baseball stadium: الصورة الأولى من الورقة، والثلاث الأخرى أُنتجت بمجرد إدخال المطالبة نفسها إلى DALL-E 2.

المطالبة A bat is flying over a baseball stadium: الصورة الأولى من الورقة، والثلاث الأخرى أُنتجت بمجرد إدخال المطالبة نفسها إلى DALL-E 2.

وقد سُميت هذه الخاصية حساسية الموارد.

تحدد الورقة ثلاثة سلوكيات شاذة في DALL-E 2: قد تُفسر كلمة أو عبارة وتنقسم عمليًا إلى كيانين مختلفين، مع تصيير غرض أو مفهوم لكل منهما في المشهد نفسه؛ وقد تُفسر كلمة بوصفها صفة لكيانين مختلفين، كما في goldfish والأمثلة السابقة؛ وقد تُفسر الكلمة في الوقت نفسه بوصفها صفة وكيانًا بديلًا، كما توضح المطالبة a seal is opening a letter:

المطالبة A seal is opening a letter: الرسم الأول من الورقة، والثلاثة المجاورة إعادة إنتاج مماثلة من DALL-E 2. وأضيف إلى الأمثلة الواقعية فوتوغرافيًا أدناه النص photo, Canon50, 85mm, F5.6, award-winning photo.

المطالبة A seal is opening a letter: الرسم الأول من الورقة، والثلاثة المجاورة إعادة إنتاج مماثلة من DALL-E 2. وأضيف إلى الأمثلة الواقعية فوتوغرافيًا أدناه النص photo, Canon50, 85mm, F5.6, award-winning photo.

يحدد المؤلفون نمطين للفشل في نماذج الانتشار: مخرجات مطالبات المستخدم ذات الكلمات الملتبسة دلاليًا كثيرًا ما تُظهر الكلمة متجسدة إلى جانب مظهر من مظاهر المفهوم؛ وتسرب المفاهيم، حين تتسرب خصائص غرض إلى غرض آخر مصيّر.

«تقدم الظواهر التي نفحصها مجتمعة دليلًا على محدودية القدرة اللغوية لـDALLE-2، وتفتح سبلًا لبحث مستقبلي يحدد إن كان ذلك ناتجًا عن مشكلات في ترميز النص أو النموذج التوليدي أو كليهما. وبصورة أعم، يمكن توسيع النهج المقترح إلى حالات أخرى تستخدم فيها عملية فك الترميز لكشف التحيز الاستقرائي وأوجه قصور نماذج النص إلى الصورة».

باستخدام 17 كلمة تجعل DALL-E 2 يقسم المدخل إلى مخرجات متعددة، لاحظ المؤلفون أن تكرار الكلمات المشتركة لفظيًا وقع في أكثر من 80% من الصور المصيرة البالغ عددها 216.

استخدم الباحثون أزواجًا من مطالبات التحفيز والضبط لفحص مدى ضرورة اللغة المحددة، وربما المفرطة في التحديد، لمنع هذا التكرار. وأنشؤوا عشرة أزواج لاختبارات انتقال الكيان إلى خاصية. وأثار التحفيز الخاصية المشتركة في 92.5% من الحالات، مقابل 6.6% فقط لمطالبة الضبط.

«للتوضيح، تأمل حمارًا وحشيًا وشارعًا: الحمار الوحشي كيان، لكنه يعدل الشارع، ويولد DALLE-2 باستمرار معابر مشاة، ربما لتشابه خطوط الحمار الوحشي مع المعبر. ووفقًا لفرضيتنا، تحدد مطالبة الضبط حمار وحشي وشارع من الحصى نوع شارع لا يحتوي عادة على معابر مشاة. وبالفعل، لا تتضمن أي من عينات الضبط لهذه المطالبة معبرًا للمشاة».

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai