كاشفون للصور المزيفة يبحثون عن أرض جديدة: نماذج الانتشار الكمومي وGANs

رأي  

في الآونة الأخيرة، بدأت مجتمع أبحاث كشف الصور المزيفة، الذي كان مشغولاً منذ أواخر عام 2017 تقريبًا بشكل حصري بإطار العمل القائم على الترميز التلقائي الذي ظهر في ذلك الوقت بفضل الإعجاب العام (والخوف)، في أخذ اهتمام بالغ بالهياكل الأقل ركودًا، بما في ذلك نماذج الانتشار الكمومي مثل DALL-E 2 وStable Diffusion، بالإضافة إلى مخرجات الشبكات التوليدية المعادية (GANs). على سبيل المثال، في يونيو، نشرت جامعة كاليفورنيا في بيركلي نتائج بحثها حول تطوير كاشف لمخرجات DALL-E 2 السائدة في ذلك الوقت.

ما يبدو أنه ي驱ر هذا الاهتمام المتزايد هو القفزة التطورية الفجائية في القدرة ومدى توفر نماذج الانتشار الكمومي في عام 2022، مع إصدار DALL-E 2 المحدود في الربيع، تلاه في أواخر الصيف الإعلان عن إصدار Stable Diffusion مفتوح المصدر بواسطة stability.ai.

كما تم دراسة GANs بشكل طويل في هذا السياق، ولكن بدرجة أقل من الشدة، لأنها صعبة الاستخدام لإنشاء مقاطع فيديو متطورة وواقعية لتحويلات الوجه؛ على الأقل، مقارنةً بالحزم القديمة مثل FaceSwap وDeepFaceLab – والثاني هو الأقرب إلى DeepFaceLive للبث المباشر.

صور متحركة

في كلتا الحالتين، يبدو أن العامل المحرك هو احتمال سباق تطوري لاحق لتركيب الفيديو. بداية شهر أكتوبر – وموسم المؤتمرات الرئيسية لعام 2022 – تميزت باندفاع مفاجئ وغير متوقع لحلول لمشاكل قديمة في تركيب الفيديو: ما كاد 脸بوك يصدر عينات من منصة النص إلى الفيديو الخاصة به، حتى أعلنت جوجل البحث بسرعة عن هيكلها الجديد Imagen-to-Video T2V القادر على إنتاج مقاطع فيديو عالية الدقة (على الرغم من أن ذلك يحدث فقط عبر شبكة من 7 طبقات من محسنات الصورة).

إذا كنت تعتقد أن هذا النوع من الأشياء يأتي في الثلاثة، فكر في وعد غامض من stability.ai بأن “الفيديو قادم” إلى Stable Diffusion، على ما يبدو في وقت لاحق من هذا العام، بينما وعد مطورو Runway بذلك أيضًا، على الرغم من أن من غير الواضح ما إذا كانوا يشيرون إلى نفس النظام. رسالة Discord من الرئيس التنفيذي لشركة Stability Emad Mostaque وعد أيضًا بـ “الصوت والفيديو و 3D”.

ما يبدو أنه ي驱ر هذا الاهتمام المتزايد هو احتمال سباق تطوري لاحق لتركيب الفيديو. بداية شهر أكتوبر – وموسم المؤتمرات الرئيسية لعام 2022 – تميزت باندفاع مفاجئ وغير متوقع لحلول لمشاكل قديمة في تركيب الفيديو: ما كاد 脸بوك يصدر عينات من منصة النص إلى الفيديو الخاصة به، حتى أعلنت جوجل البحث بسرعة عن هيكلها الجديد Imagen-to-Video T2V القادر على إنتاج مقاطع فيديو عالية الدقة (على الرغم من أن ذلك يحدث فقط عبر شبكة من 7 طبقات من محسنات الصورة).

بليد رانر

الأوراق البحثية الأخيرة التي تناولت كشف الصور المزيفة القائمة على نماذج الانتشار الكمومي وGANs هي، على التوالي، DE-FAKE: كشف الصور المزيفة وتحديد مصدر الصور التي تم إنشاؤها بواسطة نماذج الانتشار الكمومي من النص إلى الصورة، وهي تعاون بين مركز CISPA Helmholtz للأمن المعلوماتي وSalesforce؛ وBLADERUNNER: إجراء مضاد سريع للصور المزيفة التي تم إنشاؤها بواسطة StyleGAN، من آدم دوريان وونج في مختبر لينكولن التابع لجامعة MIT.

قبل شرح طريقة جديدة، ي dành هذا البحث بعض الوقت لدراسة النهج السابقة لتحديد ما إذا كانت الصورة تم إنشاؤها بواسطة GAN (يتناول البحث بشكل خاص عائلة StyleGAN من شركة NVIDIA ).

طريقة “البرادي بانتش” – ربما تكون إشارة غير معنى لأي شخص لم يكن يشاهد التلفزيون في السبعينيات، أو من فاتته التكيفات السينمائية في التسعينيات – تحدد المحتوى المزيف الذي تم إنشاؤه بواسطة GAN بناءً على المواقع الثابتة التي تحتلها أجزاء معينة من وجه GAN، بسبب الطبيعة الروتينية والقالبية لعملية “الإنتاج”.

طريقة أخرى معروفة هي تخطيط الصورة (يمكن رؤية مثال لها في مقالنا الصادر في أغسطس حول تقييم التعبير الوجهي بمساعدة الذكاء الاصطناعي لتشخيص اضطرابات الصحة النفسية)، والتي تستخدم برنامج دمج الصور مثل سلسلة CombineZ لدمج عدة صور في صورة واحدة، مما يظهر أحيانًا تشابهات أساسية في الهيكل – مما قد يشير إلى وجود مزيف.

الهيكل المقترح في البحث الجديد يسمى (ربما ضد كل نصيحة من حيث تحسين محركات البحث) Blade Runner، مع الإشارة إلى اختبار Voight-Kampff الذي يحدد ما إذا كان الأعداء في سلسلة الخيال العلمي هم “مزيفون” أم لا.

النظام يتكون من مرحلتين، الأولى منها هي analyzer PapersPlease، الذي يمكنه تقييم البيانات التي تم جمعها من مواقع معروفة لوجوه GAN مثل thispersondoesnotexist.com أو generated.photos.

على الرغم من أن نسخة مخفضة من Blade Runner تم إصدارها مفتوحة المصدر على GitHub، إلا أن هناك نسخة أصلية أكثر تقدمًا تتمتع بقدرات إضافية.

DE-FAKE

هيكل DE-FAKE يهدف ليس فقط إلى تحقيق “كشف عالمي” للصور التي تم إنشاؤها بواسطة نماذج الانتشار الكمومي من النص إلى الصورة، ولكن أيضًا إلى تقديم طريقة لتحديد أي نموذج انتشار كمومي (LD) تم استخدامه لإنشاء الصورة.

النظام يستخدم مكتبة OpenAI للترميز التلقائي للغة والصورة (CLIP) لاستخراج التضمينات من الصور المزيفة التي تم إنشاؤها بواسطة LD وتدريب مصنف على الأنماط والفئات الملاحظة.

في سيناريو “الغرفة السوداء”، حيث تم إزالة قطع PNG التي تحتوي على معلومات حول عملية التوليد بواسطة عمليات التحميل وغيرها من الأسباب، يستخدم الباحثون إطار BLIP من Salesforce لاستجواب الصور بشكل عشوائي حول الهيكل الدلالي للمتطلبات التي أنشأتها.

النظام يستخدم أيضًا هيكلًا هجينًا يجمع بين الصور المحلية والصور المفتوحة في العالم.

النتائج الإيجابية للفريق متجاوزة للغاية لسببين: أولاً، هناك القليل من الأبحاث السابقة التي يمكن مقارنتها بها (ولا توجد مقارنة عادلة، أي التي تغطي الفترة القصيرة البالغة 12 أسبوعًا منذ إصدار Stable Diffusion مفتوح المصدر).

ثانيًا، كما ذكرنا أعلاه، على الرغم من أن مجال توليد الصور المزيفة يتطور بسرعة أسي، فإن المحتوى الناتج عن العروض الحالية يحدد نفسه بفعل نواقصه الهيكلية والغريبة – والتي من المحتمل أن يتم تداركها، في حالة Stable Diffusion على الأقل، من خلال إصدار نقطة تحكم أفضل أداء (أي نموذج 4 جيجابايت المُدرّب الذي يزود النظام).

في الوقت نفسه، أشار Stability بالفعل إلى أن لديها خطة واضحة لنسخة 2 و 3 من النظام.

نظرًا لأحداث الـ 3 أشهر الماضية، من المحتمل أن يكون أي خمول شركاتي لشركة OpenAI واللاعبين المنافسين الآخرين في مجال توليد الصور قد تلاشى، مما يعني أننا يمكن أن نتوقع نفس وتيرة التقدم في مجال توليد الصور المفتوح.

نشر لأول مرة في 14 أكتوبر 2022.