زاوية Anderson
قد تواجه نماذج التعلم العميق صعوبة في التعرف على الصور التي تم إنشاؤها بواسطة الذكاء الاصطناعي

النقاط الرئيسيةتؤدي نماذج الذكاء الاصطناعي أداءً أسوأ بكثير على الصور الاصطناعية مقارنة بالصور…
عرض المزيد
- تؤدي نماذج الذكاء الاصطناعي أداءً أسوأ بكثير على الصور الاصطناعية مقارنة بالصور الحقيقية، مما يعرض جودة البيانات المستقبلية للخطر.
- يمكن للصور الاصطناعية أن تتسبب في تدهور دقة النماذج حيث تتدفق بكميات غير مصنفة إلى مجموعات بيانات التدريب.
- شاركت جميع نماذج التعرف على الأشياء المختبرة نفس أنماط الفشل في فئات معينة من الصور المُنشأة بالذكاء الاصطناعي.
تشير النتائج من ورقة بحثية جديدة إلى أن الذكاء الاصطناعي المتقدم أقل قدرة على التعرف على الصور التي يصنعها الذكاء الاصطناعي وتفسيرها مقارنة بالبشر، وهو ما قد يثير القلق في بيئة حيث يتم تدريب نماذج التعلم الآلي بشكل متزايد على بيانات اصطناعية، ولا يُعرف بالضرورة ما إذا كانت البيانات “حقيقية” أو لا.

نرى هنا نموذج التنبؤ resnext101_32x8d_wsl يعاني في فئة “الباجل”. في الاختبارات، تم اعتبار فشل في التعرف إذا لم يكن الكلمة المستهدفة الأساسية (في هذه الحالة “باجل”) مدرجة في أفضل خمسة نتائج متوقعة. مصدر: https://arxiv.org/pdf/2208.10760.pdf
اختبرت الأبحاث الجديدة فئتين من إطارات التعرف بالرؤية: التعرف على الكائنات والإجابة عن الأسئلة البصرية (VQA).

على اليسار، نجاحات وفشلات في نظام التعرف على الكائنات؛ على اليمين، مهام VQA مصممة لاستكشاف فهم الذكاء الاصطناعي للمشاهد والصور بطريقة أكثر استكشافًا ومعنى. مصادر: https://arxiv.org/pdf/2105.05312.pdf و https://arxiv.org/pdf/1505.00468.pdf
من بين عشرة نماذج متقدمة تم اختبارها على مجموعات بيانات منشأة بواسطة أطر تركيب الصور DALL-E 2 و Midjourney، كان أفضل نموذج قادرًا على تحقيق دقة تصل إلى 60٪ و 80٪ ضمن أفضل خمس نتائج في اختبارين مختلفين، في حين يمكن لنموذج ImageNet، الذي تم تدريبه على بيانات غير اصطناعية من العالم الحقيقي، تحقيق 91٪ و 99٪ في نفس الفئات، في حين أن أداء الإنسان عادة أعلى بكثير.
تناولت الورقة قضايا حول تحول التوزيع (أو انحراف النموذج)، حيث تتعرض نماذج التنبؤ إلى انخفاض في القدرة التنبؤية عند نقلها من بيانات التدريب إلى “بيانات حقيقية”، وتشير إلى ما يلي:
«البشر قادرين على التعرف على الصور المنشأة والاجابة على الأسئلة حولها بسهولة. نستنتج أن نماذج التعلم العميق تعاني في فهم المحتوى المنشأ، وربما تفعل بشكل أفضل بعد التعديل الدقيق، وأنه هناك انحراف كبير في التوزيع بين الصور المنشأة والصور الفوتوغرافية الحقيقية. يبدو أن انحراف التوزيع يعتمد على الفئة.»
نظرًا لحجم الصور الاصطناعية التي تغمر الإنترنت بالفعل بعد الإتاحة المثيرة للشفرة المصدرية الأسبوع الماضي لنموذج تركيب الصور بالانتشار الكامن القوي Stable Diffusion، فمن الطبيعي أن تنشأ احتمالية أن تؤثر الصور غير الواقعية بشدة في تغيرات الدقة على مر السنوات، مع تدفق الصور المزيفة إلى مجموعات البيانات المعيارية مثل Common Crawl.
على الرغم من الإشادة بالبيانات الاصطناعية بوصفها خلاصا محتملا لقطاع أبحاث الرؤية الحاسوبية المتعطش للبيانات، الذي يفتقر غالبا إلى موارد وميزانيات لاختيار البيانات وتنظيمها على نطاق هائل، فمن غير المرجح أن تحمل جميع الصور الجديدة المتدفقة من Stable Diffusion، إلى جانب الزيادة العامة في الصور الاصطناعية منذ ظهور وتسويق DALL-E 2، تسميات وتعليقات ووسوما مفيدة تميزها كمزيفة عندما تجمعها أنظمة الرؤية الآلية من الإنترنت.
سرعة التطور في أطر تركيب الصور المفتوحة قد تخطت بشكل ملحوظ قدرةنا على تصنيف الصور من هذه الأنظمة، مما أدى إلى زيادة الاهتمام بنظم الكشف عن الصور المزيفة، الشبيهة بنظم كشف التزييف العميق، ولكنها تقيم الصور كاملة بدلا من أجزاء الوجه.
الورقة الجديدة بعنوان ما مدى جودة نماذج التعلم العميق في فهم الصور المنشأة؟، وهي من تأليف علي بورجي من شركة كوينتيك إيه آي الناشئة للتعلم الآلي في سان فرانسيسكو.
البيانات
تمت الدراسة قبل إطلاق نموذج Stable Diffusion، وتم استخدام البيانات التي تم إنشاؤها بواسطة DALL-E 2 و Midjourney عبر 17 فئة، بما في ذلك الفئات فيل و فطر و بيتزا و بريتزل و جرار و أرنب.
تم الحصول على الصور من خلال عمليات بحث على الإنترنت و تويتر، وتم اتباع سياسات DALL-E 2 (على الأقل في ذلك الوقت) التي لا تسمح بوجود صور تظهر فيها وجوه بشرية. تم اختيار فقط الصور الجيدة التي يمكن التعرف عليها من قبل البشر.
تم إنشاء مجموعتين من الصور، واحدة لاختبار التعرف على الكائنات وواحدة لاختبار الأسئلة البصرية.

عدد الصور في كل فئة لاختبار التعرف على الكائنات.
اختبار التعرف على الكائنات
للاختبارات التي تمت على التعرف على الكائنات، تم اختبار عشرة نماذج، جميعها تم تدريبها على مجموعة بيانات ImageNet: AlexNet و ResNet152 و MobileNetV2 و DenseNet و ResNext و GoogleNet و ResNet101 و Inception_V3 و Deit و ResNext_WSL.
كان بعض الفئات في الأنظمة التي تم اختبارها أكثر تفصيلاً من غيرها، مما استلزم تطبيق نهج متوازن. على سبيل المثال، تحتوي مجموعة بيانات ImageNet على ثلاث فئات متعلقة بـ “الساعات”، وتم تعريف نوع من معايير الفصل التحكيمية حيث تم اعتبار وجود أي “ساعة” في قائمة أفضل خمس نتائج للصورة كنجاح في تلك الحالة.

أداء كل نموذج عبر 17 فئة.
كان أفضل نموذج في هذه الجولة هو resnext101_32x8d_ws، الذي حقق حوالي 60٪ لتحقيق النتيجة الأولى (أي عندما كانت النتيجة المفضلة للنموذج من بين خمس نتائج هي النتيجة الصحيحة)، و 80٪ لأفضل خمس نتائج (أي عندما كانت النتيجة المرغوبة مدرجة في قائمة أفضل خمس نتائج للنموذج).
يقترح المؤلف أن هذا الأداء الجيد يعود إلى حقيقة أن النموذج تم تدريبه على التنبؤ بالوسوم بإشراف ضعيف في منصات التواصل الاجتماعي. ومع ذلك، فإن هذه النتائج الرائدة، كما يشير المؤلف، هي أقل بكثير مما يمكن لنموذج ImageNet تحقيقه على بيانات حقيقية، أي 91٪ و 99٪. ويعزو ذلك إلى الفارق الكبير بين توزيع صور ImageNet، التي تجمع أيضا من الويب، والصور المنشأة.
كانت الخمس فئات الأكثر صعوبة بالنسبة للنظام، بالترتيب، هي طائرة ورقية و سلحفاة و سنجاب و نظارات شمسية و خوذة. تشير الورقة إلى أن فئة طائرة ورقية غالبًا ما تُخلط مع بالون و مظلة هبوط و مظلة، على الرغم من أن هذه التمييزات سهلة للغاية على المراقبين البشر.
أدت بعض الفئات، بما في ذلك طائرة ورقية و سلحفاة، إلى فشل شامل عبر جميع النماذج، في حين أدت فئات أخرى (مثل بريتزل و جرار) إلى نجاح شبه كامل عبر النماذج التي تم اختبارها.

فئات متباينة: بعض الفئات المستهدفة إما أربكت جميع النماذج أو كانت سهلة نسبيًا لجميع النماذج لتحديدها.
يفترض المؤلف أن هذه النتائج تشير إلى أن جميع نماذج التعرف على الكائنات قد تشترك في نقاط قوة و ضعف مماثلة.
اختبار الأسئلة البصرية
بعد ذلك، قام المؤلف باختبار نماذج الأسئلة البصرية على أسئلة مفتوحة وحرّة، مع أسئلة ثنائية (أي أسئلة يمكن الإجابة عليها بنعم أو لا). تشير الورقة إلى أن نماذج الأسئلة البصرية الحديثة قادرة على تحقيق دقة تصل إلى 95٪ على مجموعة بيانات VQA-v2.
للفئة الثانية من الاختبارات، تم جمع 50 صورة ووضع 241 سؤالاً حولها، 132 منها كانت إجاباتها إيجابية و 109 سلبية. كان متوسط طول السؤال 5.12 كلمة.
استخدمت هذه الجولة نموذج OFA، وهو إطار مستقل عن المهمة ونمط البيانات لاختبار فهم المهام، وقد سجل مؤخرا أعلى نتيجة في مجموعة اختبار VQA-v2 test-std. سجل نموذج OFA دقة 77.27٪ على الصور المنشأة، مقارنة بنتيجته الخاصة البالغة 94.7٪ في مجموعة اختبار VQA-v2 test-std.

أمثلة على الأسئلة والنتائج من جزء الأسئلة البصرية من الاختبارات. ‘GT’ تعني ‘الإجابة المرجعية الصحيحة’، أي الإجابة الصحيحة.
يقترح مؤلف الورقة أن جزءًا من السبب قد يكون أن الصور المنشأة تحتوي على مفاهيم دلالية غير موجودة في مجموعة بيانات VQA-v2، وأن الأسئلة المكتوبة لاختبارات VQA قد تكون أكثر تحديًا من المعيار العام لأسئلة VQA-v2، على الرغم من أنه يعتقد أن السبب الأول هو الأكثر احتمالا.
إل إس دي في تدفق البيانات؟
رأي
قد يشكل الانتشار الجديد للصور المركبة بالذكاء الاصطناعي، التي تقدم تركيبات وتجريدات فورية لمفاهيم أساسية لا توجد في الطبيعة ويتطلب إنتاجها بالطرق التقليدية وقتا مفرطا، مشكلة خاصة لأنظمة جمع البيانات ذات الإشراف الضعيف. فقد تعجز عن التعامل مع الفشل بسلاسة، أساسا لأنها لم تصمم لمعالجة كميات كبيرة من البيانات الاصطناعية غير المصنفة.
في مثل هذه الحالات، قد يكون هناك خطر أن تقوم هذه الأنظمة بتحويل نسبة من الصور “الغريبة” إلى فئات خاطئة لأنها تحتوي على كائنات مميزة لا تتواجد معًا في الواقع.

صورة ‘رائد فضاء على حصان’ أصبحت ربما أكثر الصور تمثيلاً للجيل الجديد من أنظمة تركيب الصور – لكن هذه ‘العلاقات غير الواقعية’ يمكن أن تدخل أنظمة الكشف الحقيقية ما لم تُتخذ الحذر. مصدر: https://twitter.com/openai/status/1511714545529614338?lang=en
ما لم يتم منع ذلك في مرحلة المعالجة المسبقة قبل التدريب، يمكن لأنظمة الأنابيب الآلية أن تؤدي إلى تكوين علاقات غير محتملة أو حتى بشعة يتم تدريبها في نماذج التعلم الآلي، مما يؤدي إلى تدهور فعاليتها، ويتسبب في نقل علاقات عالية المستوى إلى أنظمة و فئات فرعية لاحقة.
بديلًا، يمكن للصور الاصطناعية المنفصلة أن تؤثر بأثر مثبط على دقة الأنظمة اللاحقة، في حالة ظهور هياكل أو معماريات جديدة أو معدلة تحاول أن تتعامل مع الصور الاصطناعية المولدة حسب الحاجة، وتوسع نطاقها أكثر من اللازم.
في كلتا الحالتين، يمكن أن تثبت الصور الاصطناعية في عصر ما بعد نموذج Stable Diffusion كصدمة للبحث في رؤية الكمبيوتر، الذي جعل هذه الإمكانيات والخلق ممكنًا – لا سيما لأنه يهدد أمل القطاع بأن تتم جمع البيانات وتحضيرها بشكل أوتوماتيكي أكثر مما هو عليه الآن، وأقل تكلفة ووقت.
نشر لأول مرة في 1 سبتمبر 2022.













