نظام الكشف عن الإطارات النقية لتركيبات合成 الصور مثل DALL-E 2

أظهر البحث الجديد من جامعة كاليفورنيا في بيركلي طريقة لتحديد ما إذا كان الإخراج من جيل جديد من إطارات合成 الصور – مثل DALL-E 2 من Open AI و Imagen و Parti من Google – يمكن الكشف عنه على أنه “غير حقيقي” ، من خلال دراسة الهندسة والظلال والانعكاسات التي تظهر في الصور الم合نة.

من خلال دراسة الصور التي تم إنشاؤها بواسطة نصوص الدعوة في DALL-E 2 ، وجد الباحثون أن هناك بعض الانسجامات المستمرة المتعلقة بتصيير المنظور العالمي ، وإنشاء الظلال وتوزيعها ، وخاصة فيما يتعلق بتصيير الأجسام المنعكسة.

ينصPaper على ما يلي:

‘التراكيب الهندسية والظلال والانعكاسات على الأسطح المرآتية لا تتوافق تمامًا مع هندسة المنظور المتوقعة للمشاهد الطبيعية. التراكيب الهندسية والظلال متوافقة محليًا ، ولكنها غير متوافقة عالميًا. ‘

‘الانعكاسات ، من ناحية أخرى ، غالبًا ما يتم تمثيلها بشكل غير معقول ، على الأرجح لأنها أقل شيوعًا في مجموعة بيانات الصور المستخدمة في التدريب.’

نقص في التماسك بين الكائن المُحاكى والتصوير الانعكاسي هو حاليًا طريقة موثوقة للكشف عن صورة DALL-E 2 ، وفقًا للدراسة الجديدة. مصدر: https://arxiv.org/pdf/2206.14617.pdf

يمثل هذا البحث محاولة مبكرة لما قد يصبح في النهاية مجالًا هامًا في مجتمع أبحاث الرؤية الحاسوبية – الكشف عن合synthesis الصور.

منذ ظهور Deepfakes في عام 2017 ، أصبحت الكشف عن Deepfakes (بشكل رئيسي من مخرجات التوافقيات الذاتية من حزم مثل DeepFaceLab و FaceSwap ) مجالًا أكاديميًا نشطًا وتنافسيًا ، مع العديد من الأوراق والمنهجيات التي تستهدف “التells” المتطورة للأوجه الم合نة في مقاطع الفيديو الحقيقية.

然而 ، حتى ظهور最近 لنظم التوليد الصورية المُدرَّبة على نطاق كبير ، لم تكن مخرجات أنظمة الدعوة النصية مثل CLIP تشكل تهديدًا للوضع الراهن للواقعية الفوتوغرافية. يعتقد مؤلفو الورقة الجديدة أن هذا على وشك التغيير ، وأن حتى الانسجامات التي اكتشفوها في مخرجات DALL-E 2 قد لا تهم كثيرًا لمحتوى الصور المحتملة للخداع.

ينص مؤلفو الورقة على ما يلي:

‘قد لا يهم هذا الفشل كثيرًا بالنسبة للنظام البصري البشري ، الذي تم العثور عليه ليكون غير كفء بشكل مفاجئ في بعض الأحكام الهندسية ، بما في ذلك الانسجامات في الإضاءة ، الظلال ، الانعكاسات ، موقع المشاهدة ، و الانحناء المنظوري. ‘

الائتمانات المتضائلة

يتعلق الفحص الشرعي الأول لمخرجات DALL-E 2 بتعيين المنظور – الطريقة التي يجب أن تتحول فيها حواف مستقيمة في كائنات قريبة وتنسيقها بشكل موحد إلى “نقطة الاختفاء”.

الخطوط المتوازية على نفس المستوى تتحول إلى نقطة اختفاء مشتركة ؛ الحق ، نقاط اختفاء متعددة على نفس المستوى والخطوط المتوازية تحدد خطًا متساوي البعد (مُصوَّر باللون الأحمر).

لاختبار الاتساق في هذا الصدد ، استخدم المؤلفون DALL-E 2 لإنشاء 25 صورة مُحاكاة لمطابخ – مساحة مألوفة غالبًا ما تكون محصورة بما فيه الكفاية لتوفير نقاط اختفاء متعددة لكائنات وتنسيق متنوع.

من خلال فحص مخرجات الدعوة “صورة لمطبخ مع أرضية مفروشة بالبلاط” ، وجد الباحثون أن الكائنات المُحاكاة لا تتقارب بشكل صحيح.

يشير المؤلفون إلى أن كل مجموعة من الخطوط المتوازية من نمط البلاط تتقاطع في نقطة اختفاء واحدة (اللون الأزرق في الصورة أدناه) ، لكن نقطة الاختفاء للطاولة (الأزرق الفاتح) لا تتوافق مع خطوط الاختفاء (الأحمر) ونقطة الاختفاء المشتقة من البلاط.

يشير المؤلفون إلى أن حتى لو لم تكن الطاولة موازية للبلاط ، يجب أن تتحول نقطة الاختفاء الأزرق الفاتح إلى خط الاختفاء (الأحمر) المحدد بواسطة نقاط الاختفاء للبلاط.

ينصPaper على ما يلي:

‘منظور هذه الصور محليًا ، لكنه غير متوافق عالميًا. تم العثور على نفس النمط في كل صورة مطبخ مُحاكاة من أصل 25 صورة.’

تحليل الظلال

كما يعرف أي شخص قد تعامل مع تقنية الرaycasting ، فإن الظلال也有 نقاط اختفاء محتملة ، مما يشير إلى إضاءة واحدة أو متعددة. للظلال الخارجية في ضوء الشمس الحار ، من المتوقع أن تتحول الظلال عبر جميع وجوه الصورة بشكل متساق إلى مصدر الإضاءة الوحيد (الشمس).

كما في التجربة السابقة ، أنشأ الباحثون 25 صورة مُحاكاة من DALL-E 2 باستخدام الدعوة “ثلاث مكعبات على رصيف сфلتة مصورة في يوم مشمس” ، بالإضافة إلى 25 صورة باستخدام الدعوة “ثلاث مكعبات على رصيف مصورة في يوم غائم”.

في الصف العلوي ، الصور التي تم إنشاؤها من دعوة الباحثين “ثلاث مكعبات على رصيف مصورة في يوم غائم” ؛ في الصف السفلي ، الصور التي تم إنشاؤها من دعوة “ثلاث مكعبات على رصيف مصورة في يوم مشمس”.

يشير الباحثون إلى أن DALL-E 2 قادرة على تقديم ظلال متفرقة بشكل مقنع وموثر عند تمثيل الظروف الغائمة ، ربما لأن هذا النوع من الظلال أكثر شيوعًا في مجموعة بيانات الصور المستخدمة في التدريب.

然而 ، بعض الصور “المشمسة” التي وجدوها كانت غير متوافقة مع مشهد مُضاء بمصدر إضاءة واحد.

للمرة السابقة ، تم تحويل التوليد إلى مقياس الرمادي من أجل الوضوح ، ويظهر كل كائن مع “شمس” مخصصة.

على الرغم من أن المشاهد العادي قد لا يلاحظ مثل هذه الشذوذات ، فإن بعض الصور المُحاكاة لديها أمثلة أكثر وضوحًا ل “فشل الظلال”:

الانعكاسات في DALL-E 2

جاءت أكثر النتائج إدانة فيما يتعلق بالتحليل الشرعي عندما اختبر المؤلفون قدرة DALL-E 2 على إنشاء أسطح عاكسة ، وهو حساب مرهق أيضًا في تقنيات الرaycasting التقليدية و خوارزميات العرض الأخرى.

لإجراء هذا التجربة ، أنشأ المؤلفون 25 صورة مُحاكاة من DALL-E 2 باستخدام الدعوة “صورة لتنين لعبة و انعكاسه في مرآة خزانة”.

في كل الحالات ، يُبلغ المؤلفون أن صورة المرآة للتنين المُحاكى كانت في بعض النواحي غير متصلة بaspect و disposition التنين الحقيقي.

يبدو أن هناك منطقًا في بعض الأخطاء – يبدو أن الأمثلة الأولى والثالثة في الصف العلوي تُظهر تنينًا مُكررًا جيدًا ، لكنه غير منعكس.

ينص المؤلفون على ما يلي:

‘على عكس الظلال والتراكيب الهندسية في الأقسام السابقة ، يُجهد DALL·E-2 ل合성 انعكاسات معقولة ، على الأرجح لأن هذه الانعكاسات أقل شيوعًا في مجموعة بيانات الصور المستخدمة في التدريب.’

قد يتم تصحيح الأخطاء مثل هذه في نماذج الصورة إلى نص في المستقبل التي ستتمكن من استعراض المنطق العرفي العام لمخرجاتها بشكل أكثر فعالية ، والتي ستتمكن من فرض قواعد فيزيائية مجردة على مشاهد تم تجميعها إلى حد ما من ميزات الدعوة الكلمة في فضاء المُحاكاة.

في ضوء اتجاه متزايد نحو معمارية合成 أكبر ، يخلص المؤلفون إلى ما يلي:

‘قد يكون الأمر مسألة وقت قبل أن تتعلم محركات合synthesis الصور بتقنية النص تعلم كيفية تقديم صور بمنظور متسق بالكامل. حتى ذلك الوقت ، قد تثبت التحليلات الشرعية الهندسية مفيدة في تحليل هذه الصور.’

* تحويلي لمراجع المؤلفين المضمنة إلى روابط.

نُشر لأول مرة في 30 يونيو 2022.