زاوية Anderson

كواشف التزييف العميق تستكشف آفاقًا جديدة: نماذج الانتشار الكامن وشبكات GAN

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيركز بحث اكتشاف التزييف العميق على نماذج الانتشار الكامن مثل Stable Diffusion وDALL-E 2.
عرض المزيد
  • يركز بحث اكتشاف التزييف العميق على نماذج الانتشار الكامن مثل Stable Diffusion وDALL-E 2.
  • يقدم Blade Runner كاشف GAN جاهزًا للتشغيل يستخدم أنماط معالم الوجه للمنظمات محدودة الموارد.
  • يهدف DE-FAKE إلى الكشف الشامل عن الصور من نماذج الانتشار النصي إلى الصوري وإسنادها باستخدام تضمينات CLIP.

رأي  

بدأ مجتمع أبحاث كشف التزييف العميق مؤخرًا، بعدما انشغل منذ أواخر 2017 تقريبًا حصريًا بالإطار القائم على المشفّرات التلقائية الذي أثار عند ظهوره إعجاب الجمهور (واستياءه)، يهتم من منظور التحليل الجنائي الرقمي بمعماريات أقل جمودًا. وتشمل نماذج الانتشار الكامن مثل DALL-E 2 وStable Diffusion، ومخرجات الشبكات التوليدية التنافسية (GAN). ففي يونيو مثلًا، نشرت جامعة كاليفورنيا في بيركلي نتائج أبحاثها لتطوير كاشف لمخرجات DALL-E 2 التي كانت مهيمنة حينها.

يبدو أن ما يحفز هذا الاهتمام هو القفزة المفاجئة في قدرات نماذج الانتشار الكامن وتوفرها في 2022: إطلاق DALL-E 2 المغلق المصدر والمحدود الوصول في الربيع، ثم إتاحة الشفرة المصدرية لـStable Diffusion من stability.ai أواخر الصيف، وهو ما أثار ضجة كبيرة.

وقد دُرست شبكات GAN منذ زمن في هذا السياق، لكن بكثافة أقل، لأن استخدامها لإعادة إنشاء أشخاص في مقاطع فيديو مقنعة ومعقدة صعب جدًا، على الأقل مقارنة بحزم المشفّرات التلقائية الراسخة مثل FaceSwap وDeepFaceLab وقريب الأخير المخصص للبث المباشر، DeepFaceLive.

صور متحركة

في الحالتين، يبدو العامل المحفز هو احتمال طفرة تطوير تالية في تركيب الفيديو. وتميز مطلع أكتوبر وموسم المؤتمرات الكبرى في 2022 بسيل من الحلول المفاجئة وغير المتوقعة لمشكلات قديمة في تركيب الفيديو: فما إن نشر Facebook عينات من منصته لتحويل النص إلى فيديو حتى طغت Google Research على الإشادة الأولية بإعلان معماريتها الجديدة Imagen-to-Video T2V، القادرة على إنتاج فيديو عالي الدقة، وإن كان عبر شبكة من سبع طبقات لرفع الدقة فقط.

إذا كنت تؤمن بأن مثل هذه التطورات تأتي ثلاثًا، فتأمل أيضًا وعد stability.ai الغامض بأن الفيديو قادم إلى Stable Diffusion، فيما يبدو لاحقًا هذا العام. وقد قدمت Runway وعدًا مشابهًا، وهي شريكة في تطوير Stable Diffusion، لكن لا يتضح إن كانتا تقصدان النظام نفسه. كما وعدت رسالة Discord من الرئيس التنفيذي لـStability، عماد مستاق، بـ«الصوت والفيديو [و] الأبعاد الثلاثة».

مع الظهور غير المتوقع لعدة أطر جديدة لتوليد الصوت، بعضها يعتمد على الانتشار الكامن، ونموذج انتشار جديد يولد حركة طبيعية للشخصيات، بدأت تكتسب زخمًا فكرة أن الأطر الثابتة مثل GAN ونماذج الانتشار ستأخذ مكانها أخيرًا بوصفها ملحقات داعمة لأطر التحريك الخارجية.

باختصار، يبدو أن عالم التزييف العميق للفيديو بالمشفّرات التلقائية، المقيد بقدرته على استبدال الجزء الأوسط من الوجه فقط بفعالية، قد تتجاوزه بحلول مثل هذا الوقت من العام المقبل تقنيات تزييف عميق من جيل جديد قائم على الانتشار؛ وهي مقاربات رائجة ومفتوحة المصدر قد تزيف أجسامًا كاملة بل مشاهد كاملة بواقعية فوتوغرافية.

ولعل ذلك يفسر بدء مجتمع مكافحة التزييف العميق أخذ تركيب الصور بجدية، وإدراك أنه قد يخدم أغراضًا تتجاوز توليد صور شخصية مزيفة لحسابات LinkedIn؛ وحتى إن كان أقصى ما تفعله فضاءاته الكامنة العصية على التحكم فيما يخص الحركة عبر الزمن هو العمل كأداة ممتازة لتصيير الخامات، فقد يكون ذلك أكثر من كافٍ فعلًا.

Blade Runner

أحدث ورقتين تتناولان كشف التزييف العميق القائم على الانتشار الكامن وGAN على التوالي هما DE-FAKE: كشف الصور المزيفة التي تولدها نماذج الانتشار من النص إلى الصورة وتحديد مصدرها، وهي تعاون بين CISPA Helmholtz Center for Information Security وSalesforce (CRM )، وBLADERUNNER: إجراء مضاد سريع لوجوه StyleGAN الاصطناعية المولدة بالذكاء الاصطناعي، لآدم دوريان وونغ من مختبر لينكولن في MIT.

قبل شرح الطريقة الجديدة، تستعرض الورقة الثانية أساليب سابقة لتحديد ما إذا كانت الصورة من إنتاج GAN. وتركز الورقة تحديدًا على عائلة StyleGAN من NVIDIA.

تعتمد طريقة Brady Bunch، وهي ربما إشارة غير مفهومة لمن لم يشاهد التلفزيون في السبعينيات أو فاته الاقتباس السينمائي في التسعينيات، على المواضع الثابتة التي تشغلها أجزاء معينة من وجه GAN بسبب طبيعة عملية الإنتاج التكرارية والقالبية لكشف المحتوى المزيف.

طريقة Brady Bunch التي عرضها بث ويب لمعهد SANS في 2022: يضع مولد وجوه GAN ملامح معينة بتجانس غير معقول، ما يكشف في بعض الحالات المنشأ الاصطناعي للصورة.

طريقة Brady Bunch التي عرضها بث ويب لمعهد SANS في 2022: يضع مولد وجوه GAN ملامح معينة بتجانس غير معقول، ما يكشف في بعض الحالات المنشأ الاصطناعي للصورة. المصدر: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

ومن العلامات المفيدة المعروفة أيضًا عجز StyleGAN المتكرر عن تصيير وجوه متعددة عند الحاجة (الصورة الأولى أدناه)، وضعف تنسيق الإكسسوارات (الوسطى)، والميل إلى جعل خط الشعر بداية قبعة مرتجلة (الثالثة).

الطريقة الثالثة التي يلفت الباحث إليها هي تراكب الصور، ويمكن رؤية مثال عليها في مقالنا الصادر في أغسطس عن تشخيص اضطرابات الصحة النفسية بمساعدة الذكاء الاصطناعي. وتستخدم برامج مزج الصور مثل سلسلة CombineZ لدمج صور متعددة في صورة واحدة، ما يكشف غالبًا تشابهات بنيوية أساسية قد تدل على التركيب.

سميت المعمارية المقترحة في الورقة الجديدة، ربما خلافًا لكل نصائح تحسين محركات البحث، Blade Runner، إشارة إلى اختبار Voight-Kampff الذي يحدد ما إذا كانت الشخصيات المناوئة في سلسلة الخيال العلمي اصطناعية أم لا.

يتكون مسار المعالجة من مرحلتين. الأولى هي محلل PapersPlease، الذي يقيّم بيانات مجمعة من مواقع وجوه GAN المعروفة مثل thispersondoesnotexist.com أو generated.photos.

رغم إمكان فحص نسخة مختصرة من الشفرة في GitHub (انظر أدناه)، لا تتوفر تفاصيل كثيرة عن هذه الوحدة سوى استخدام OpenCV وDLIB لتحديد حدود الوجوه وكشفها في المواد المجموعة.

الوحدة الثانية هي كاشف AmongUs. يبحث النظام عن تنسيق مواقع العيون في الصور، وهي سمة مستمرة في مخرجات وجوه StyleGAN تتجلى في مثال Brady Bunch أعلاه. ويعمل AmongUs بكاشف قياسي ذي 68 نقطة مرجعية للوجه.

تعليقات نقاط الوجه من Intelligent Behaviour Understanding Group (IBUG)، التي تستخدم حزمة Blade Runner شفرتها لرسم النقاط المرجعية للوجه.

تعليقات نقاط الوجه من Intelligent Behaviour Understanding Group (IBUG)، التي تستخدم حزمة Blade Runner شفرتها لرسم النقاط المرجعية للوجه.

يعتمد AmongUs على نقاط مرجعية مدربة مسبقًا وفق إحداثيات Brady Bunch المعروفة من PapersPlease، ويستهدف عينات حالية متاحة عبر الويب لصور وجوه StyleGAN.

يقترح المؤلف أن Blade Runner حل جاهز للاستخدام للشركات أو المنظمات التي تفتقر إلى موارد تطوير حلول داخلية لهذا النوع من كشف التزييف العميق، وتدبير مؤقت لكسب الوقت من أجل إجراءات مضادة أكثر ديمومة.

في الواقع، لا تتوفر حاليًا في قطاع أمني بهذا التقلب والنمو السريع حلول كثيرة مصممة خصيصًا أو جاهزة من مزودي الخدمات السحابية يمكن لشركة محدودة الموارد الاعتماد عليها بثقة.

رغم ضعف Blade Runner أمام أشخاص StyleGAN المزيفين الذين يرتدون نظارات، فهذه مشكلة شائعة نسبيًا في الأنظمة المشابهة التي تتوقع تقييم حدود العيون بوصفها نقاطًا مرجعية أساسية، بينما تحجبها النظارات في هذه الحالات.

أُتيحت نسخة مختصرة من Blade Runner بشفرة مفتوحة في GitHub. وتوجد نسخة مملوكة أغنى بالميزات تعالج صورًا متعددة، بدل صورة واحدة لكل عملية في المستودع المفتوح. ويقول المؤلف إنه ينوي ترقية نسخة GitHub إلى المستوى نفسه متى سمح الوقت. ويقر أيضًا بأن StyleGAN ستتجاوز على الأرجح نقاط ضعفها الحالية المعروفة، وأن البرمجية ستحتاج إلى التطور بالتوازي معها.

DE-FAKE

تهدف معمارية DE-FAKE ليس فقط إلى الكشف الشامل عن صور نماذج الانتشار من النص إلى الصورة، بل أيضًا إلى تحديد أي نموذج انتشار كامن (LD) أنتج الصورة.

يتناول إطار الكشف الشامل في DE-FAKE الصور المحلية وإطارًا هجينًا (الأخضر) وصور العالم المفتوح (الأزرق).

يتناول إطار الكشف الشامل في DE-FAKE الصور المحلية وإطارًا هجينًا (الأخضر) وصور العالم المفتوح (الأزرق). المصدر: http://export.arxiv.org/pdf/2210.06998

بصراحة، هذه مهمة سهلة إلى حد ما حاليًا، لأن جميع نماذج LD الرائجة، المغلقة والمفتوحة المصدر، لها سمات مميزة واضحة.

وتشترك معظمها في نقاط ضعف، مثل الميل إلى اقتصاص الرؤوس، بسبب الطريقة الاعتباطية التي تدخل بها الصور غير المربعة المجموعة من الويب إلى مجموعات البيانات الضخمة التي تغذي DALL-E 2 وStable Diffusion وMidJourney:

تتطلب نماذج الانتشار الكامن، مثل نماذج الرؤية الحاسوبية عمومًا، مدخلات مربعة. لكن جمع الويب الواسع الذي يغذي LAION5B لا يتيح ميزات إضافية للتعرف على الوجوه أو غيرها والتركيز عليها؛ بل يقتص الصور بقسوة بدل إضافة حواف، وهو ما كان سيحفظ الصورة الأصلية كاملة بدقة أقل. وبعد تعلم هذه الاقتصاصات أثناء التدريب تصبح مألوفة وتتكرر كثيرًا في مخرجات أنظمة مثل Stable Diffusion.

تتطلب نماذج الانتشار الكامن، مثل نماذج الرؤية الحاسوبية عمومًا، مدخلات مربعة. لكن جمع الويب الواسع الذي يغذي LAION5B لا يتيح ميزات إضافية للتعرف على الوجوه أو غيرها والتركيز عليها؛ بل يقتص الصور بقسوة بدل إضافة حواف، وهو ما كان سيحفظ الصورة الأصلية كاملة بدقة أقل. وبعد تعلم هذه الاقتصاصات أثناء التدريب تصبح مألوفة وتتكرر كثيرًا في مخرجات أنظمة مثل Stable Diffusion. المصادر: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac وStable Diffusion.

صُممت DE-FAKE لتكون مستقلة عن الخوارزمية، وهو هدف قديم لباحثي مكافحة التزييف العميق بالمشفّرات التلقائية، ويبدو الآن قابلًا للتحقيق إلى حد كبير في أنظمة LD.

تستخدم المعمارية مكتبة OpenAI متعددة الوسائط Contrastive Language-Image Pretraining (CLIP)، وهي عنصر أساسي في Stable Diffusion وتتحول بسرعة إلى قلب الموجة الجديدة لتركيب الصور والفيديو، لاستخراج تمثيلات متجهية من صور LD المزيفة وتدريب مصنف على الأنماط والفئات المرصودة.

في سيناريو أكثر غموضًا من نوع الصندوق الأسود، عندما تكون أجزاء PNG الحاوية معلومات التوليد قد حُذفت بعمليات الرفع أو لأسباب أخرى، يستخدم الباحثون إطار BLIP من Salesforce، وهو أيضًا مكون في توزيعة واحدة على الأقل من Stable Diffusion، لاستقصاء الصور دون معلومات مسبقة وتقدير البنية الدلالية المحتملة للمطالبات التي أنشأتها.

استخدم الباحثون Stable Diffusion وLatent Diffusion (منتج مستقل) وGLIDE وDALL-E 2 لملء مجموعة بيانات تدريب واختبار بالاستعانة بـMSCOCO وFlickr30k.

استخدم الباحثون Stable Diffusion وLatent Diffusion (منتج مستقل) وGLIDE وDALL-E 2 لملء مجموعة بيانات تدريب واختبار بالاستعانة بـMSCOCO وFlickr30k.

عادة نفحص نتائج تجارب إطار جديد بتوسع، لكن نتائج DE-FAKE تبدو أنفع كمعيار مستقبلي للإصدارات اللاحقة والمشروعات المشابهة من كونها مقياسًا ذا معنى لنجاح المشروع، بالنظر إلى البيئة المتقلبة وأن نظام المقارنة في تجارب الورقة عمره نحو ثلاث سنوات، من أيام كان تركيب الصور فيها في بداياته فعلًا.

الصورتان في أقصى اليسار: إطار المقارنة السابق من 2019 يؤدي، كما هو متوقع، بصورة أسوأ من DE-FAKE (الصورتان في أقصى اليمين) عبر أنظمة LD الأربعة المختبرة.

الصورتان في أقصى اليسار: إطار المقارنة السابق من 2019 يؤدي، كما هو متوقع، بصورة أسوأ من DE-FAKE (الصورتان في أقصى اليمين) عبر أنظمة LD الأربعة المختبرة.

نتائج الفريق إيجابية للغاية لسببين: الأعمال السابقة المتاحة للمقارنة قليلة، ولا يوجد أي عمل يقدم مقارنة عادلة تغطي الأسابيع الاثني عشر فقط منذ إتاحة Stable Diffusion مفتوح المصدر.

ثانيًا، رغم تطور تركيب صور LD بوتيرة أسية، فإن مخرجات الأنظمة الحالية تسم نفسها فعليًا بنقاط ضعفها وغرائبها البنيوية القابلة للتوقع بدرجة كبيرة. ومن المرجح أن يعالج إصدار checkpoint 1.5 الأعلى أداءً، أي النموذج المدرب بحجم 4 غيغابايت الذي يشغل النظام، كثيرًا منها، في Stable Diffusion على الأقل.

في الوقت نفسه، أوضحت Stability بالفعل امتلاكها خريطة طريق واضحة لـV2 وV3. وبالنظر إلى أحداث الأشهر الثلاثة الماضية التي تصدرت العناوين، فمن المرجح أن يكون أي خمول مؤسسي لدى OpenAI ومنافسيها في تركيب الصور قد تلاشى، ما يعني إمكان توقع وتيرة تقدم مماثلة أيضًا في تركيب الصور المغلق المصدر.

 

نُشر أول مرة في 14 أكتوبر 2022.

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai