تتبع أجهزة الكشف عن التزييف العميق أرضية جديدة: نماذج الانتشار الكامن وشبكات GAN

مراجعة  

في الآونة الأخيرة ، كان مجتمع أبحاث اكتشاف التزييف العميق ، والذي ظل منذ أواخر عام 2017 مشغولاً بشكل حصري تقريبًا ببرنامج المشفر التلقائي- إطار عمل تم عرضه لأول مرة في ذلك الوقت لمثل هذا الرعب العام (و فزع) ، في الاهتمام بالطب الشرعي في أبنية أقل ركودًا ، بما في ذلك الانتشار الكامن نماذج مثل DALL-E2 و انتشار مستقر، وكذلك ناتج شبكات الخصومة التوليدية (GANs). على سبيل المثال ، في يونيو ، جامعة كاليفورنيا في بيركلي نشرت النتائج من أبحاثها في تطوير كاشف لإخراج DALL-E 2 المهيمن آنذاك.

ما يبدو أنه يقود هذا الاهتمام المتزايد هو القفزة التطورية المفاجئة في قدرة وتوافر نماذج الانتشار الكامن في عام 2022 ، مع المصدر المغلق والوصول المحدود الافراج عن من DALL-E 2 في الربيع ، تليها في أواخر الصيف المثيرة مصادر مفتوحة الانتشار المستقر من خلال الاستقرار.

كانت شبكات GAN أيضًا مدروسة منذ فترة طويلة في هذا السياق ، وإن كان بشكل أقل كثافة ، لأنه كذلك صعب جدا لاستخدامها لإقناع الناس وتفصيلهم في الاستجمام المستند إلى الفيديو ؛ على الأقل ، مقارنةً بحزم التشفير التلقائي الموقرة مثل تبديل الوجه و ديب فيس لاب - وابن عمه الذي يبث مباشرة، ديب فيس لايف.

الصور المتحركة

في كلتا الحالتين ، يبدو أن عامل الجلفنة هو احتمال حدوث سباق تنموي لاحق لـ الفيديو تميزت بداية شهر أكتوبر - وموسم المؤتمرات الرئيسية لعام 2022 - بسيل من الحلول المفاجئة وغير المتوقعة للعديد من مشاكل تركيب الفيديو القديمة: فما إن أعلن فيسبوك عن ذلك العينات المفرج عنها من نظامها الأساسي لتحويل النص إلى فيديو ، مما أدى إلى إغراق Google Research سريعًا بهذا الإشادة الأولي من خلال الإعلان عن بنية Imagen-to-Video T2V الجديدة ، القادرة على إخراج لقطات عالية الدقة (وإن كان ذلك فقط عبر شبكة مكونة من 7 طبقات من أجهزة الترقية).

إذا كنت تعتقد أن هذا النوع من الأشياء يأتي في ثلاثة أجزاء، ففكر أيضًا في الوعد الغامض الذي قدمته Stable Diffusion بأن "الفيديو قادم" إلى Stable Diffusion، على ما يبدو في وقت لاحق من هذا العام، بينما قام المطور المشارك في Stable Diffusion Runway قدم وعدا مماثلا، على الرغم من أنه من غير الواضح ما إذا كانوا يشيرون إلى نفس النظام. ال رسالة الخلاف كما وعد الرئيس التنفيذي لشركة Stability عماد مصطفي أيضًا 'الصوت والفيديو [و] ثلاثي الأبعاد'.

ماذا مع عرض غير مألوف للعديد من الجديد أطر توليد الصوت (يعتمد بعضها على الانتشار الكامن) ، ونموذج انتشار جديد يمكن أن يولد حركة شخصية أصيلة، فكرة أن الأطر "الثابتة" مثل شبكات GAN والموزعات ستحل أخيرًا محلها كداعم ملحقات لأطر الرسوم المتحركة الخارجية تكتسب قوة دفع حقيقية.

باختصار، يبدو من المرجح أن العالم المتعثر لفيديوهات التزييف العميق المعتمدة على التشفير التلقائي، والذي لا يمكنه إلا أن يحل محل الجزء المركزي من الوجه، بحلول هذا الوقت من العام المقبل ، يمكن أن يتفوق عليه جيل جديد من تقنيات التزييف العميق القائمة على الانتشار - أساليب شائعة ومفتوحة المصدر مع إمكانية التزييف الواقعي ليس فقط أجسادًا بأكملها ، ولكن مشاهد كاملة.

لهذا السبب ، ربما ، بدأ مجتمع أبحاث مكافحة التزييف العميق في أخذ تركيب الصور على محمل الجد ، وإدراك أنه قد يخدم غايات أكثر من مجرد توليد صور ملف شخصي مزيفة على LinkedIn؛ وأنه إذا كانت كل مساحاتها الكامنة المستعصية يمكن أن تحققها من حيث الحركة الزمنية ، فسيكون كذلك بمثابة عارض نسيج رائع حقًا، قد يكون هذا في الواقع أكثر من كافٍ.

شفرة عداء

أحدث ورقتين لمعالجة ، على التوالي ، الانتشار الكامن واكتشاف التزييف العميق المستند إلى GAN ، هما ، على التوالي ، DE-FAKE: اكتشاف وإسناد الصور المزيفة التي تم إنشاؤها بواسطة نماذج نشر النص إلى الصورة، وهو تعاون بين مركز CISPA Helmholtz لأمن المعلومات و Salesforce ؛ و BLADERUNNER: إجراء مضاد سريع لأوجه StyleGAN الاصطناعية (المولدة بالذكاء الاصطناعي)من آدم دوريان وونغ في مختبر لينكولن التابع لمعهد ماساتشوستس للتكنولوجيا.

قبل شرح طريقتها الجديدة، تستغرق الورقة الأخيرة بعض الوقت لفحص الطرق السابقة لتحديد ما إذا كانت الصورة قد تم إنشاؤها بواسطة GAN أم لا (تتعامل الورقة على وجه التحديد مع عائلة StyleGAN من NVIDIA).

طريقة "مجموعة برادي" - ربما مرجع لا معنى له بالنسبة لأي شخص لم يكن يشاهد التلفاز في السبعينيات، أو فاتته تعديلات الأفلام في التسعينيات - يحدد المحتوى المزيف لـ GAN بناءً على المواضع الثابتة التي من المؤكد أن أجزاء معينة من وجه GAN تشغلها، بسبب الطبيعة الروتينية والنمطية لـ "عملية الإنتاج".

طريقة "Brady Bunch" التي طرحها معهد SANS في بث على شبكة الإنترنت في عام 2022: سيقوم مولد الوجه القائم على GAN بوضع ملامح وجه معينة بشكل موحد بشكل غير محتمل، مما يخفي أصل الصورة، في حالات معينة. المصدر: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

هناك مؤشر معروف مفيد آخر وهو عدم قدرة StyleGAN المتكررة على تقديم وجوه متعددة (الصورة الأولى أدناه)، إذا لزم الأمر، فضلاً عن افتقارها إلى الموهبة في تنسيق الملحقات (الصورة الوسطى أدناه)، والميل إلى استخدام خط الشعر كبداية لقبعات مرتجلة (الصورة الثالثة أدناه).

الطريقة الثالثة التي يلفت الباحث الانتباه إليها هي تراكب الصورة (مثال يمكن رؤيته في مقالنا في أغسطس يستخدم الذكاء الاصطناعي برامج "مزج الصور" التركيبية مثل سلسلة CombineZ لدمج صور متعددة في صورة واحدة، مما يكشف غالبًا عن القواسم المشتركة الأساسية في البنية - وهو مؤشر محتمل على التوليف.

الهيكل المقترح في الورقة الجديدة بعنوان (ربما ضد جميع نصائح تحسين محركات البحث) شفرة عداء، بالإشارة إلى اختبار Voight-Kampff وهو ما يحدد ما إذا كان الأعداء في امتياز الخيال العلمي "مزيفين" أم لا.

يتكون خط الأنابيب من مرحلتين ، أولهما هو محلل PapersPlease ، والذي يمكنه تقييم البيانات المأخوذة من مواقع ويب GAN-face المعروفة مثل thispersondoesnotexist.com ، أو التي تم إنشاؤها.

على الرغم من أنه يمكن فحص نسخة مختصرة من الكود في GitHub (انظر أدناه) ، يتم توفير بعض التفاصيل حول هذه الوحدة ، باستثناء OpenCV و دليب تستخدم لتحديد الوجوه واكتشافها في المواد التي تم جمعها.

الوحدة الثانية هي بيننا كاشف. صُمم النظام للبحث عن موضع العين المتناسق في الصور، وهي ميزة دائمة في مُخرَجات الوجوه في StyleGAN، كما هو مُتمثل في سيناريو "Brady Bunch" المفصل أعلاه. يعمل AmongUs بكاشف قياسي يضم 68 معلمًا.

شروح نقاط الوجه من خلال مجموعة فهم السلوك الذكي (IBUG) ، والتي يتم استخدام رمز رسم معالم الوجه في حزمة Blade Runner.

يعتمد AmongUs على المعالم المدربة مسبقًا استنادًا إلى إحداثيات "Brady bundle" المعروفة من PapersPlease، وهو مخصص للاستخدام ضد عينات حية تواجه الويب من صور الوجوه المستندة إلى StyleGAN.

يقترح المؤلف أن Blade Runner هو حل جاهز للاستخدام مخصص للشركات أو المنظمات التي تفتقر إلى الموارد لتطوير حلول داخلية للنوع من اكتشاف التزييف العميق الذي تمت مناقشته هنا، و"إجراء مؤقت لكسب الوقت من أجل اتخاذ تدابير مضادة أكثر استدامة".

في الواقع ، في هذا القطاع الأمني ​​المتقلب وسريع النمو ، لا يوجد الكثير من الشركات المصممة حسب الطلب or حلول البائعين السحابية غير المألوفة التي يمكن للشركة التي تعاني من نقص الموارد أن تلجأ إليها بثقة في الوقت الحالي.

على الرغم من ضعف أداء Blade Runner ضد يرتدي نظارة طبية الأشخاص المزيفون في StyleGAN ، هذه مشكلة شائعة نسبيًا عبر أنظمة مماثلة ، والتي تتوقع أن تكون قادرة على تقييم ترسيمات العين كنقاط مرجعية أساسية ، يتم حجبها في مثل هذه الحالات.

تم إصدار نسخة مخفضة من Blade Runner صدر لفتح المصدر على جيثب. يوجد إصدار خاص أكثر ثراءً بالميزات ، والذي يمكنه معالجة صور متعددة ، بدلاً من صورة واحدة لكل عملية في مستودع المصدر المفتوح. ينوي المؤلف ، كما يقول ، ترقية إصدار GitHub إلى نفس المعيار في النهاية ، كما يسمح الوقت. كما يعترف أيضًا بأن StyleGAN من المحتمل أن تتطور إلى ما هو أبعد من نقاط ضعفها المعروفة أو الحالية ، وسيحتاج البرنامج أيضًا إلى التطوير جنبًا إلى جنب.

إزالة التزييف

لا تهدف بنية DE-FAKE إلى تحقيق "الكشف الشامل" للصور التي تنتجها نماذج انتشار النص إلى الصورة فحسب، بل تهدف أيضًا إلى توفير طريقة للتمييز التي أنتج نموذج الانتشار الكامن الصورة.

يعالج إطار عمل الكشف الشامل في DE-FAKE الصور المحلية ، والإطار الهجين (الأخضر) ، وصور العالم المفتوح (الأزرق). المصدر: http://export.arxiv.org/pdf/2210.06998

لأكون صادقًا ، في الوقت الحالي ، هذه مهمة سهلة إلى حد ما ، نظرًا لأن جميع نماذج صعوبة التعلم الشائعة - مغلقة أو مفتوحة المصدر - لها خصائص مميزة مميزة.

بالإضافة إلى ذلك ، يشترك معظمهم في بعض نقاط الضعف الشائعة ، مثل الاستعداد لقطع الرؤوس ، بسبب طريقة تعسفية أن الصور غير المربعة التي تم كشطها على شبكة الإنترنت يتم استيعابها في مجموعات البيانات الضخمة التي توفرها أنظمة الطاقة مثل DALL-E 2 و Stable Diffusion و MidJourney:

تتطلب نماذج الانتشار الكامن، شأنها شأن جميع نماذج الرؤية الحاسوبية، إدخالاً مربع الشكل؛ إلا أن عملية استخراج البيانات من الويب التي تُغذي مجموعة بيانات LAION5B لا تُقدم أي "إضافات فاخرة" مثل القدرة على تمييز الوجوه (أو أي شيء آخر) والتركيز عليها، وتُقصّ الصور بشكل مُفرط بدلاً من حشوها (مما يُحافظ على صورة المصدر كاملةً، ولكن بدقة أقل). بمجرد تدريبها، تُصبح هذه "التعديلات" مُوحدة، وتحدث بكثرة في مُخرجات أنظمة الانتشار الكامن مثل الانتشار المُستقر. المصادر: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac and Stable Diffusion.

تم تصميم DE-FAKE ليكون حياديًا في الخوارزمية ، وهو هدف عزيز منذ فترة طويلة للباحثين في مجال مكافحة التزييف العميق بالتشفير التلقائي ، وفي الوقت الحالي ، هدف يمكن تحقيقه تمامًا فيما يتعلق بأنظمة LD.

تستخدم الهندسة المعمارية تدريب اللغة التبايني للصورة المسبق من OpenAI (CLIP) مكتبة متعددة الوسائط - عنصر أساسي في الانتشار المستقر، وسرعان ما أصبحت قلب الموجة الجديدة من أنظمة تركيب الصور/الفيديو - كطريقة لاستخراج التضمينات من صور LD "المزورة" وتدريب المصنف على الأنماط والفئات المرصودة.

في سيناريو "الصندوق الأسود" الأكثر، حيث تم تجريد أجزاء PNG التي تحتوي على معلومات حول عملية التوليد منذ فترة طويلة من خلال عمليات التحميل ولأسباب أخرى، يستخدم الباحثون Salesforce إطار عمل BLIP (أيضًا أحد مكونات مرة على الأقل استخدام تقنيات مثل (توزيع الانتشار المستقر) لاستطلاع الصور بشكل "أعمى" لمعرفة البنية الدلالية المحتملة للمطالبات التي أنشأتها.

استخدم الباحثون Stable Diffusion و Latent Diffusion (منتج منفصل بحد ذاته) و GLIDE و DALL-E 2 لملء مجموعة بيانات للتدريب والاختبار تستفيد من MSCOCO و Flickr30k.

في العادة، ننظر بشكل موسع إلى نتائج تجارب الباحثين من أجل إطار عمل جديد؛ ولكن في الحقيقة، يبدو أن نتائج DE-FAKE من المرجح أن تكون أكثر فائدة كمعيار مستقبلي للتكرارات اللاحقة والمشاريع المماثلة، بدلاً من كونها مقياسًا ذا مغزى لنجاح المشروع، نظرًا للبيئة المتقلبة التي تعمل فيها، وأن النظام الذي تتنافس ضده في تجارب الورقة يبلغ من العمر ما يقرب من ثلاث سنوات - من الوقت الذي كان فيه مشهد تركيب الصور ناشئًا حقًا.

الصورتان في أقصى اليسار: الإطار السابق "المتحدى"، الذي نشأ في عام 2019، كان من المتوقع أن يكون أداؤه أقل جودة ضد DE-FAKE (الصورتان في أقصى اليمين) عبر أنظمة LD الأربعة التي تم اختبارها.

إن نتائج الفريق إيجابية للغاية لسببين: هناك القليل من العمل السابق الذي يمكن مقارنته به (ولا يوجد على الإطلاق أي عمل يقدم مقارنة عادلة، أي أنها تغطي اثني عشر أسبوعًا فقط منذ إصدار Stable Diffusion للمصدر المفتوح).

ثانيًا ، كما هو مذكور أعلاه ، على الرغم من أن مجال تركيب صورة LD يتطور بسرعة أسية ، إلا أن محتوى مخرجات العروض الحالية يضع علامات مائية على نفسه بشكل فعال من خلال أوجه القصور والغرابة الهيكلية (والتي يمكن التنبؤ بها للغاية) - والتي من المحتمل أن يتم إصلاح العديد منها ، في حالة الانتشار المستقر على الأقل ، عن طريق إصدار نقطة تفتيش 1.5 ذات أداء أفضل (أي النموذج المدرب 4 جيجا بايت الذي يعمل على تشغيل النظام).

في الوقت نفسه ، أشار Stability بالفعل إلى أن لديه خارطة طريق واضحة لـ V2 و V3 للنظام. نظرًا للأحداث التي احتلت العناوين الرئيسية في الأشهر الثلاثة الماضية ، فمن المرجح أن أي سبات شركة من جانب OpenAI واللاعبين المنافسين الآخرين في مساحة تركيب الصور قد تبخر ، مما يعني أنه يمكننا توقع وتيرة سريعة مماثلة من التقدم أيضًا في مساحة تركيب الصورة مغلقة المصدر.

نُشر لأول مرة في 14 أكتوبر 2022.