زاوية Anderson
نظام لكشف الصور التي تولدها أطر تركيب الصور مثل DALL-E 2

النقاط الرئيسيةتأملات DALL-E 2 تفشل لأن الأجسام المنعكسة تفتقر إلى الاتساق الهندسي مع مصادرها.
عرض المزيد
- تأملات DALL-E 2 تفشل لأن الأجسام المنعكسة تفتقر إلى الاتساق الهندسي مع مصادرها.
- أخطاء المنظور العالمي في مطابخ DALL-E 2 تكشف عن نقاط تلاشٍ متسقة محليًا ولكنها غير متسقة عالميًا.
- تناقضات الظلال في مشاهد DALL-E 2 المشمسة تشير إلى أن النموذج لا يمكنه فرض منطق الإضاءة أحادية المصدر.
أظهر بحث جديد من جامعة كاليفورنيا في بيركلي طريقة لتحديد ما إذا كانت مخرجات الجيل الجديد من أطر تركيب الصور، مثل DALL-E 2 من OpenAI، وImagen وParti من Google، قابلة للكشف بوصفها غير حقيقية، وذلك بدراسة الهندسة والظلال والانعكاسات في الصور المُركّبة.
وبدراسة الصور التي ولدتها المطالبات النصية في DALL-E 2، وجد الباحثون أنه رغم الواقعية المذهلة التي تتيحها هذه البنية، توجد تناقضات مستمرة في تصوير المنظور العام وإنشاء الظلال وتوزيعها، ولا سيما في تصوير الأجسام المنعكسة.
تقول الورقة:
«لا تتسق البنى الهندسية والظلال الساقطة والانعكاسات على الأسطح المرآوية تمامًا مع هندسة المنظور المتوقعة للمشاهد الطبيعية. فالبنى الهندسية والظلال متسقة عمومًا على المستوى المحلي، لكنها غير متسقة على المستوى الكلي.»
«أما الانعكاسات، فغالبًا ما تُصوَّر بطريقة غير معقولة، ويُرجَّح أن ذلك يرجع إلى قلة شيوعها في مجموعة صور التدريب.»

وفقًا للدراسة الجديدة، يمثل غياب التقاطعات المتسقة بين الجسم المرسوم وانعكاسه وسيلة موثوقة حاليًا لكشف صور DALL-E 2. المصدر: https://arxiv.org/pdf/2206.14617.pdf
تمثل الورقة محاولة مبكرة في مسار قد يصبح بارزًا في أبحاث الرؤية الحاسوبية: كشف تركيب الصور.
منذ ظهور التزييف العميق في عام 2017، أصبح كشف التزييف العميق، ولا سيما مخرجات المُرمِّزات التلقائية من حزم مثل DeepFaceLab وFaceSwap، مسارًا أكاديميًا نشطًا وتنافسيًا، مع أوراق ومنهجيات تستهدف العلامات المتطورة التي تكشف الوجوه المُركّبة داخل لقطات الفيديو الحقيقية.
لكن قبل الظهور الحديث جدًا لأنظمة توليد الصور المدربة على نطاق هائل، لم تكن مخرجات أنظمة المطالبات النصية مثل CLIP تهدد الوضع القائم للواقعية الفوتوغرافية. ويرى مؤلفو الورقة أن هذا على وشك التغير، وأن التناقضات التي اكتشفوها في مخرجات DALL-E 2 قد لا تؤثر كثيرًا في قدرة الصور على خداع المشاهدين.
يقول المؤلفون*:
«قد لا تهم هذه الإخفاقات كثيرًا للنظام البصري البشري، الذي ثبت ضعف أدائه بصورة مدهشة في بعض الأحكام الهندسية، بما فيها التناقضات في الإضاءة والظلال والانعكاسات وموضع المشاهدة وتشوه المنظور.»
مصداقية تتلاشى
يتناول أول فحص جنائي بصري أجراه المؤلفون لمخرجات DALL-E 2 إسقاط المنظور: أي كيف ينبغي أن تتلاقى الحواف المستقيمة للأجسام والتفاصيل القريبة باتساق عند نقطة تلاشي.

يسارًا: تتلاقى الخطوط المتوازية على المستوى نفسه عند نقطة تلاشي مشتركة. يمينًا: تحدد نقاط التلاشي المتعددة على المستوى نفسه وعلى مستويات متوازية خط تلاشي، موضحًا بالأحمر.
لاختبار اتساق DALL-E 2، استخدمه المؤلفون لتوليد 25 صورة مُركّبة لمطابخ؛ وهو فضاء مألوف، عادة ما يكون محدود المساحة حتى في المساكن المجهزة جيدًا، بما يتيح نقاط تلاشي محتملة متعددة لأجسام وتفاصيل متنوعة.
وبفحص مخرجات المطالبة «صورة لمطبخ ذي أرضية مبلطة»، وجد الباحثون أن الأجسام المصوَّرة لا تبدو متلاقية بصورة صحيحة، رغم أن كل صورة مقنعة عمومًا، باستثناء بعض العيوب الصغيرة الغريبة غير المرتبطة بالمنظور.

لاحظ المؤلفون أن كل مجموعة من الخطوط المتوازية في نمط البلاط متسقة وتتقاطع عند نقطة تلاشي واحدة، بالأزرق في الصورة أدناه. لكن نقطة تلاشي سطح العمل، بالسماوي، لا تتوافق مع خطوط التلاشي الحمراء ولا مع نقطة التلاشي المستمدة من البلاط.

وحتى لو لم يكن سطح العمل موازيًا للبلاط، ينبغي أن تقع نقطة تلاشيه السماوية على خط التلاشي الأحمر الذي تحدده نقاط تلاشي بلاط الأرضية.
تقول الورقة:
«رغم أن المنظور في هذه الصور متسق محليًا بصورة مثيرة للإعجاب، فإنه غير متسق كليًا. وظهر النمط نفسه في كل واحدة من صور المطابخ المُركّبة الخمس والعشرين.»
التحليل الجنائي للظلال
كما يعلم من تعامل مع تتبع الأشعة، للظلال أيضًا نقاط تلاشي محتملة تشير إلى إضاءة من مصدر واحد أو مصادر متعددة. وفي الظلال الخارجية تحت ضوء الشمس القوي، نتوقع أن تتلاقى ظلال جميع أجزاء الصورة باتساق نحو مصدر الضوء الوحيد، أي الشمس.
وكما في التجربة السابقة، أنشأ الباحثون 25 صورة باستخدام المطالبة «ثلاثة مكعبات على رصيف، مصوَّرة في يوم مشمس»، و25 صورة إضافية باستخدام المطالبة «ثلاثة مكعبات على رصيف، مصوَّرة في يوم غائم».

في الصف العلوي صور ناتجة عن مطالبة «ثلاثة مكعبات على رصيف، مصوَّرة في يوم غائم»، وفي الصف السفلي صور ناتجة عن مطالبة «ثلاثة مكعبات على رصيف، مصوَّرة في يوم مشمس».
لاحظ الباحثون أن DALL-E 2 يصور الظلال الأكثر انتشارًا المرتبطة بالأجواء الغائمة بصورة مقنعة ومعقولة، وربما لأن هذا النوع من الظلال أكثر شيوعًا في صور مجموعة التدريب.
لكن بعض الصور المشمسة لم تتسق مع مشهد مضاء من مصدر ضوء واحد.

حُوِّلت الصور أعلاه إلى تدرج رمادي للتوضيح، ويظهر كل جسم وكأن له شمسًا خاصة به.
ورغم أن المشاهد العادي قد لا يلاحظ هذه الشذوذات، أظهرت بعض الصور المولدة أمثلة أوضح على إخفاق الظلال:

بعض الظلال موجود في الموضع الخطأ ببساطة، لكن كثيرًا منها يشبه نوع التناقض البصري الناتج في نمذجة الصور الحاسوبية عندما يكون معدل أخذ العينات لمصدر ضوء افتراضي منخفضًا جدًا.
الانعكاسات في DALL-E 2
ظهرت النتائج الأكثر إدانة في التحليل الجنائي البصري عند اختبار قدرة DALL-E 2 على إنشاء أسطح شديدة الانعكاس؛ وهي عملية حسابية مكلفة أيضًا في تتبع الأشعة والخوارزميات التقليدية للتصيير.
لهذه التجربة، أنتج المؤلفون 25 صورة بالمطالبة «صورة لديناصور لعبة وانعكاسه في مرآة منضدة زينة».
في كل الحالات، كانت صورة اللعبة في المرآة منفصلة بطريقة ما عن مظهر ديناصور اللعبة الحقيقي وموضعه. ويقول المؤلفون إن المشكلة استمرت رغم تغيير المطالبة النصية، ويبدو أنها نقطة ضعف أساسية في النظام.
يبدو أن لبعض الأخطاء منطقًا؛ فالمثالان الأول والثالث في الصف العلوي يعرضان ديناصورًا منسوخًا بصورة جيدة جدًا، لكنه ليس منعكسًا في المرآة.
يعلق المؤلفون:
«بخلاف الظلال الساقطة والبنى الهندسية في الأقسام السابقة، يواجه DALL·E-2 صعوبة في تركيب انعكاسات معقولة، ويُرجَّح أن ذلك يرجع إلى قلة شيوعها في مجموعة صور تدريبه.»
قد تُعالج هذه العيوب في نماذج مستقبلية لتحويل النص إلى صور، تستطيع مراجعة المنطق الدلالي العام لمخرجاتها بفاعلية أكبر، وفرض قواعد فيزيائية مجردة على مشاهد جُمعت، إلى حد ما، من سمات مرتبطة بالكلمات داخل الفضاء الكامن للنظام.
وفي ضوء الاتجاه المتنامي نحو بنيات تركيب أكبر فأكبر، يخلص المؤلفون إلى:
«قد تكون مسألة وقت فقط قبل أن تتعلم محركات تركيب الصور من النص توليد صور ذات منظور متسق بالكامل. وحتى ذلك الحين، قد يفيد التحليل الجنائي الهندسي في فحص هذه الصور.»
* حولتُ استشهادات المؤلفين المضمنة في النص إلى روابط.
نُشر أول مرة في 30 يونيو 2022.













