قد تواجه نماذج التعلم العميق صعوبة في التعرف على الصور التي تم إنشاؤها بواسطة الذكاء الاصطناعي

تشير النتائج من ورقة بحثية جديدة إلى أن الذكاء الاصطناعي المتقدم أقل قدرة على التعرف على الصور والتعامل معها مقارنة بالبشر، وهو ما قد يثير القلق في بيئة حيث يتم تدريب نماذج التعلم بال मशين ليرننغ بشكل متزايد على بيانات اصطناعية، ولا يُعرف بالضرورة ما إذا كانت البيانات “حقيقية” أو لا.

نرى هنا نموذج التنبؤ resnext101_32x8d_wsl يعاني في فئة “الباجل”. في الاختبارات، تم اعتبار فشل في التعرف إذا لم يكن الكلمة المستهدفة الأساسية (في هذه الحالة “باجل”) مدرجة في أفضل خمسة نتائج متوقعة. مصدر: https://arxiv.org/pdf/2208.10760.pdf

اختبرت الأبحاث الجديدة فئتين من إطارات التعرف بالرؤية: التعرف على الكائنات والأسئلة البصرية (VQA).

على اليسار، نجاحات وفشلات في نظام التعرف على الكائنات؛ على اليمين، مهام VQA مصممة لاستكشاف فهم الذكاء الاصطناعي للمشاهد والصور بطريقة أكثر استكشافًا ومعنى. مصادر: https://arxiv.org/pdf/2105.05312.pdf و https://arxiv.org/pdf/1505.00468.pdf

من بين عشرة نماذج متقدمة تم اختبارها على مجموعات بيانات منشأة بواسطة إطارات合成 الصور DALL-E 2 و Midjourney، كان أفضل نموذج قادرًا على تحقيق دقة تصل إلى 60٪ و 80٪ في اختبارين مختلفين، في حين يمكن لنموذج ImageNet، الذي تم تدريبه على بيانات غير اصطناعية من العالم الحقيقي، تحقيق 91٪ و 99٪ في نفس الفئات، في حين أن أداء الإنسان عادة أعلى بكثير.

تناولت الورقة قضايا حول انحراف التوزيع (أو انحراف النموذج)، حيث تتعرض نماذج التنبؤ إلى انخفاض في القدرة التنبؤية عند نقلها من بيانات التدريب إلى “بيانات حقيقية”، و تشير إلى أن “البشر قادرين على التعرف على الصور المنشأة والاجابة على الأسئلة حولها بسهولة. نستنتج أن نماذج التعلم العميق تعاني في فهم المحتوى المنشأ، وربما تفعل بشكل أفضل بعد التعديل الدقيق، وأنه هناك انحراف كبير في التوزيع بين الصور المنشأة والصور الفوتوغرافية الحقيقية. يبدو أن انحراف التوزيع يعتمد على الفئة.

نظرًا لكمية الصور الاصطناعية التي已经 غمرت الإنترنت بعد إطلاق نموذج Stable Diffusion اللاتنتي، فمن المحتمل أن تؤثر الاختلافات في الدقة على مدار السنوات على مجموعات بيانات معيارية مثل Common Crawl.

على الرغم من أن البيانات الاصطناعية قد تم ترويجها كخلاص للبحث في رؤية الكمبيوتر، الذي يفتقر غالبًا إلى الموارد والميزانيات لتنقية البيانات على نطاق كبير، فإن تدفق الصور الاصطناعية (بما في ذلك نموذج DALL-E 2) غير مرجح أن يأتي مع تسميات واضحة تمييزها ك “مزييفة” عند جمعها من الإنترنت.

سرعة التطور في إطارات合成 الصور المفتوحة قد تخطت بشكل ملحوظ قدرةنا على تصنيف الصور من هذه الأنظمة، مما أدى إلى زيادة الاهتمام بنظم الكشف عن “الصور المزيفة”، مثل نظم الكشف عن الوجه المزيف، ولكنها تقيم الصور بأكملها بدلاً من أقسام الوجه.

الورقة الجديدة بعنوان “كيف جيدة هي نماذج التعلم العميق في فهم الصور المنشأة؟”، وهي من تأليف علي بورجي من شركة كوينتيك إيه آي في سان فرانسيسكو.

البيانات

تمت الدراسة قبل إطلاق نموذج Stable Diffusion، وتم استخدام البيانات التي تم إنشاؤها بواسطة DALL-E 2 و Midjourney عبر 17 فئة، بما في ذلك الفئات “فيل” و “فطر” و “بيتزا” و “بريتزل” و “تراكتور” و “أرنب”.

أمثلة على الصور التي تم تحدي أنظمة التعرف والأسئلة البصرية لتحديد المفاهيم الرئيسية فيها.

تم الحصول على الصور من خلال عمليات بحث على الإنترنت و تويتر، وتم اتباع سياسات DALL-E 2 (على الأقل في ذلك الوقت) التي لا تسمح بوجود صور تواجه وجوه بشرية. تم اختيار فقط الصور الجيدة التي يمكن التعرف عليها من قبل البشر.

تم إنشاء مجموعتين من الصور، واحدة لاختبار التعرف على الكائنات وواحدة لاختبار الأسئلة البصرية.

عدد الصور في كل فئة لاختبار التعرف على الكائنات.

اختبار التعرف على الكائنات

للاختبارات التي تمت على التعرف على الكائنات، تم اختبار عشرة نماذج، جميعها تم تدريبها على مجموعة بيانات ImageNet: AlexNet و ResNet152 و MobileNetV2 و DenseNet و ResNext و GoogleNet و ResNet101 و Inception_V3 و Deit و ResNext_WSL.

كان بعض الفئات في الأنظمة التي تم اختبارها أكثر تفصيلاً من غيرها، مما استلزم تطبيق نهج متوازن. على سبيل المثال، تحتوي مجموعة بيانات ImageNet على ثلاث فئات متعلقة بـ “الساعات”، وتم تعريف نوع من المقاييس التعسفية حيث تم اعتبار وجود أي “ساعة” في قائمة أفضل خمس نتائج للصورة كنجاح في تلك الحالة.

أداء كل نموذج عبر 17 فئة.

كان أفضل نموذج في هذه الجولة هو resnext101_32x8d_ws، الذي حقق حوالي 60٪ لتحقيق النتيجة الأولى (أي عندما كانت النتيجة المفضلة للنموذج من بين خمس نتائج هي النتيجة الصحيحة)، و 80٪ للنتيجة الخامسة (أي عندما كانت النتيجة المرغوبة مدرجة في قائمة أفضل خمس نتائج للنموذج).

يقترح المؤلف أن هذا الأداء الجيد يعود إلى حقيقة أن النموذج تم تدريبه على التنبؤ الضعيف بالوسوم في منصات التواصل الاجتماعي. ومع ذلك، فإن هذه النتائج الرائدة، كما يشير المؤلف، هي أقل بكثير مما يمكن لنموذج ImageNet تحقيقه على بيانات حقيقية، أي 91٪ و 99٪.

كانت الخمس فئات الأكثر صعوبة بالنسبة للنظام، بالترتيب، هي “طائرة ورقية” و “سلحفاة” و “سنجاب” و “نظارات شمسية” و “خوذة”. تشير الورقة إلى أن فئة “طائرة ورقية” غالبًا ما تُ混ك مع “بالون” و “مظلة” و “مظلة شمسية”، على الرغم من أن هذه التمييزات سهلة للغاية على المراقبين البشر.

أدت بعض الفئات، بما في ذلك “طائرة ورقية” و “سلحفاة”، إلى فشل شامل عبر جميع النماذج، في حين أدت فئات أخرى (مثل “بريتزل” و “تراكتور”) إلى نجاح شبه كامل عبر النماذج التي تم اختبارها.

فئات متباينة: بعض الفئات المستهدفة إما أربكت جميع النماذج أو كانت سهلة نسبيًا لجميع النماذج لتحديدها.

يفترض المؤلف أن هذه النتائج تشير إلى أن جميع نماذج التعرف على الكائنات قد تشترك في نقاط قوة و ضعف مماثلة.

اختبار الأسئلة البصرية

بعد ذلك، قام المؤلف باختبار نماذج الأسئلة البصرية على أسئلة مفتوحة وحرّة، مع أسئلة ثنائية (أي أسئلة يمكن الإجابة عليها بنعم أو لا). تشير الورقة إلى أن نماذج الأسئلة البصرية الحديثة قادرة على تحقيق دقة تصل إلى 95٪ على مجموعة بيانات VQA-v2.

للفئة الثانية من الاختبارات، تم جمع 50 صورة ووضع 241 سؤالاً حولها، 132 منها كانت إجاباتها إيجابية و 109 سلبية. كان متوسط طول السؤال 5.12 كلمة.

استخدمت هذه الجولة نموذج OFA، وهو إطار غير متزامن ومتعدد الوظائف لاختبار شمولية المهام، وكان مؤخرًا أفضل نتيجة في مجموعة اختبار VQA-v2. سجل نموذج OFA دقة 77.27٪ على الصور المنشأة، مقارنة بنتيجته الخاصة البالغة 94.7٪ في مجموعة اختبار VQA-v2.

أمثلة على الأسئلة والنتائج من جزء الأسئلة البصرية من الاختبارات. ‘GT’ تعني ‘الحقيقة الأرضية’، أي الإجابة الصحيحة.

يقترح مؤلف الورقة أن جزءًا من السبب قد يكون أن الصور المنشأة تحتوي على مفاهيم семантиكية غير موجودة في مجموعة بيانات VQA-v2، وأن الأسئلة المكتوبة لاختبارات VQA قد تكون أكثر تحديًا من المعيار العام لأسئلة VQA-v2، على الرغم من أنه يعتقد أن السبب الأول هو الأكثر احتمالا.

إل إس دي في تدفق البيانات؟

رأي

يمكن أن تسبب التزايد الجديد في الصور المنشأة بواسطة الذكاء الاصطناعي، والتي يمكن أن تقدم تركيبات ومفاهيم مجردة لا توجد في الطبيعة، وستكون من الصعب إنتاجها بالطرق التقليدية، مشكلة خاصة لأنظمة جمع البيانات الضعيفة، التي قد لا تكون قادرة على التعامل مع كميات كبيرة من البيانات غير المسمى بشكل لطيف – بشكل رئيسي لأنها لم تصمم لتعامل مع这种 الحالات.

في مثل هذه الحالات، قد يكون هناك خطر أن تقوم هذه الأنظمة بتحويل نسبة من الصور “الغريبة” إلى فئات خاطئة لأنها تحتوي على كائنات مميزة لا تتواجد معًا في الواقع.

صورة ‘رائد فضاء على حصان’ أصبحت ربما أكثر الصور تمثيلاً للجيل الجديد من أنظمة合成 الصور – لكن هذه ‘العلاقات غير الواقعية’ يمكن أن تدخل أنظمة الكشف الحقيقية ما لم تُتخذ الحذر. مصدر: https://twitter.com/openai/status/1511714545529614338?lang=en

ما لم يتم منع ذلك في مرحلة المعالجة المسبقة قبل التدريب، يمكن لأنظمة الأنابيب الآلية أن تؤدي إلى تكوين علاقات غير محتملة أو حتى بشعة يتم تدريبها في نماذج التعلم بال मशين ليرننغ، مما يؤدي إلى تدهور فعاليتها، ويتسبب في نقل علاقات عالية المستوى إلى أنظمة و فئات فرعية لاحقة.

بديلًا، يمكن للصور الاصطناعية المنفصلة أن تؤثر بشكل مخدر على دقة الأنظمة اللاحقة، في حالة ظهور هياكل أو معماريات جديدة تحاول أن تتعامل مع الصور الاصطناعية بشكل عفوي، وتنشر شبكة واسعة جدًا.

في كلتا الحالتين، يمكن أن تثبت الصور الاصطناعية في عصر ما بعد نموذج Stable Diffusion كصدمة للبحث في رؤية الكمبيوتر، الذي جعل هذه الإمكانيات والخلق ممكنًا – لا سيما لأنه يهدد أمل القطاع بأن تتم جمع البيانات وتحضيرها بشكل أوتوماتيكي أكثر مما هو عليه الآن، وأقل تكلفة ووقت.

نشر لأول مرة في 1 سبتمبر 2022.