زاوية Anderson

معلومات العمق يمكن أن تكشف التزييف العميق في الوقت الفعلي

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةتُمكّن خرائط العمق من الكشف الفوري عن التزييف العميق على الشبكات خفيفة الوزن مثل…
عرض المزيد
  • تُمكّن خرائط العمق من الكشف الفوري عن التزييف العميق على الشبكات خفيفة الوزن مثل MobileNet.
  • تكشف عدم دقة عمق الوجه المحيطي عن التزييف العميق حتى للهويات غير المعروفة.
  • تتفوق خرائط العمق الرمادية وحدها على الصور الملونة الكاملة في دقة تصنيف التزييف العميق.

أظهرت أبحاث جديدة من إيطاليا أن معلومات العمق المستخرجة من الصور يمكن أن تكون أداة مفيدة لاكتشاف عمليات التزوير – حتى في الوقت الفعلي.

في حين أن معظم الأبحاث حول اكتشاف عمليات التزوير في السنوات الخمس الماضية ركزت على تحديد العيوب (والتي يمكن تخفيفها من خلال تقنيات محسنة أو الخلط بينها وبين ضغط الفيديو الرديء)، الإضاءة المحيطة، السمات البيومترية، الاضطراب الزمني، وحتى الحدس البشري، فإن الدراسة الجديدة هي الأولى التي تشير إلى أن معلومات العمق يمكن أن تكون قرينة قيمة لاكتشاف محتوى عمليات التزوير.

أمثلة على خرائط العمق المشتقة، والفرق في معلومات العمق الإدراكية بين الصور الحقيقية والصور المزيفة. مصدر: https://arxiv.org/pdf/2208.11074.pdf

أمثلة على خرائط العمق المشتقة، والفرق في معلومات العمق الإدراكية بين الصور الحقيقية والصور المزيفة. مصدر: https://arxiv.org/pdf/2208.11074.pdf

من المهم أن أطر الكشف المطورة للدراسة الجديدة تعمل جيدًا جدًا على شبكة خفيفة مثل Xception، وتعمل بمستوى مقبول على MobileNet، وتعترف الورقة الجديدة بأن انخفاض زمن الاستدلال المقدم من خلال هذه الشبكات يمكن أن يسمح باكتشاف عمليات التزوير في الوقت الفعلي ضد الاتجاه الجديد نحو الاحتيال المباشر، كما هو موضح في الهجوم الأخير على Binance.

يمكن تحقيق اقتصاد أكبر في وقت الاستدلال لأن النظام لا يحتاج إلى صور ملونة كاملة لتحديد الفرق بين خرائط العمق الحقيقية والمزيفة، بل يمكنه العمل بكفاءة ملحوظة باستخدام صور بتدرجات الرمادي فقط لمعلومات العمق.

يقول المؤلفون: ‘هذه النتيجة تشير إلى أن العمق في هذه الحالة يضيف مساهمة أكثر صلة إلى التصنيف من العيوب اللونية.’

تمثل النتائج جزءًا من موجة جديدة من أبحاث اكتشاف عمليات التزوير الموجهة ضد أنظمة التركيب الوجهي في الوقت الفعلي مثل DeepFaceLive – وهو مركز للجهد الذي تسارع في الأشهر 3-4 الماضية، في أعقاب تحذير مكتب التحقيقات الفيدرالي في مارس بشأن خطر الفيديو والصوت المزيفين في الوقت الفعلي.

الورقة، التي تحمل عنوان DepthFake: استراتيجية قائمة على العمق لاكتشاف فيديوهات عمليات التزوير، تأتي من خمسة باحثين في جامعة روما سابينزا.

حالات الحواف

خلال التدريب، تتمثل نماذج عمليات التزوير القائمة على ال autoencoder في الأولوية لمناطق الوجه الداخلية، مثل العيون والأنف والفم. في معظم الحالات، عبر التوزيعات المفتوحة مثل DeepFaceLab وFaceSwap (كلاهما مشتق من الشفرة الأصلية على Reddit لعام 2017 قبل حذفه)، لا تصبح الخطوط الخارجية للوجه محددة جيدًا حتى مرحلة متأخرة من التدريب، ومن غير المحتمل أن تتطابق مع جودة التركيب في منطقة الوجه الداخلية.

من دراسة سابقة، نرى تصورًا لخرائط 'الوضوح' للوجه. مصدر: https://arxiv.org/pdf/2203.01318.pdf

من دراسة سابقة، نرى تصورًا لخرائط ‘الوضوح’ للوجه. مصدر: https://arxiv.org/pdf/2203.01318.pdf

عادةً، هذا ليس مهمًا، لأن ميلنا للاهتمام أولًا بالعيون وتحديد الأولويات نحو الخارج مع تناقص مستوى الاهتمام يعني أننا غير محتمل أن نزعج من هذه الانخفاضات في جودة الهامش – خاصة إذا كنا نتحدث مباشرة مع الشخص الذي يزيف هوية أخرى، مما يؤدي إلى أعراف اجتماعية و قيود المعالجة غير موجودة عند تقييم مقاطع فيديو التزييف العميق التي أُنتجت مسبقًا.

ومع ذلك، يمكن اكتشاف نقص التفاصيل أو الدقة في المناطق المتأثرة عند أطراف الوجه المزيف خوارزميًا. في مارس، أُعلن عن نظام يركز على أطراف الوجه. لكنه يحتاج إلى كمية من بيانات التدريب تفوق المتوسط، لذلك يقتصر على المشاهير الذين يُرجح ظهورهم في مجموعات بيانات الوجوه الشائعة، مثل ImageNet، المستخدمة في تقنيات الرؤية الحاسوبية وكشف التزييف العميق الحالية.

في المقابل، يستطيع النظام الجديد المسمى DepthFake العمل عمومًا حتى على هويات مغمورة أو غير معروفة، عبر تمييز جودة معلومات خرائط العمق المقدرة في الفيديو الحقيقي والمزيف.

الغوص العميق

تزداد معلومات خرائط العمق بشكل متزايد في الهواتف الذكية، بما في ذلك تطبيقات الاستريو المدعومة بالذكاء الاصطناعي التي تُظهر فائدة خاصة في دراسات الرؤية الحاسوبية. في الدراسة الجديدة، استخدم المؤلفون نموذج FaceDepth في جامعة أيرلندا الوطنية، وهو شبكة التفافية للترميز وفك الترميز يمكنها تقدير خرائط العمق من الصور المصدرة المفردة.

نموذج FaceDepth في العمل. مصدر: https://tinyurl.com/3ctcazma

نموذج FaceDepth في العمل. مصدر: https://tinyurl.com/3ctcazma

بعد ذلك، يتم استخراج جزء من صورة الوجه بمقاس 224×224 بكسل من الصورة الأصلية وخرائط العمق المشتقة. هذا يسمح للعملية بنسخ المحتوى الأساسي دون تغيير حجمه؛ هذا مهم، لأن خوارزميات تغيير الحجم القياسية سوف تؤثر سلبًا على جودة المناطق المستهدفة.

باستخدام هذه المعلومات، من مصادر حقيقية ومزيفة، قام الباحثون بتدريب شبكة عصبية التفافية (CNN) قادرة على التمييز بين الحالات الحقيقية والمزيفة، بناءً على الفرق في جودة خرائط العمق.

خط أنابيب مفاهيمي ل DepthFake.

خط أنابيب مفاهيمي ل DepthFake.

نموذج FaceDepth مدرب على بيانات حقيقية واصطناعية باستخدام دالة هجينة توفر تفاصيل أكبر في الهوامش الخارجية للوجه، مما يجعله مناسبًا جيدًا لـ DepthFake. يستخدم مثيل MobileNet كمستخرج للميزات، وتم تدريبه مع صور مدخلة بحجم 480×640 وخرائط عمق بحجم 240×320. تمثل كل خريطة عمق إحدى قنوات الإدخال الأربع المستخدمة في مميّز المشروع الجديد.

يتم دمج خريطة العمق تلقائيًا في الصورة الأصلية لتقديم صورة RGBD تحتوي على معلومات العمق، مثل تلك التي يمكن أن تنتجها كاميرات الهواتف الذكية الحديثة.

التدريب

تم تدريب النموذج على شبكة Xception مسبقًا مدربة على ImageNet، على الرغم من أن الهيكل يتطلب بعض التكيف لاستيعاب معلومات العمق الإضافية مع الحفاظ على تهيئة الأوزان الصحيحة.

بالإضافة إلى ذلك، كان هناك اختلاف في مجالات القيم بين معلومات العمق وما يتوقعه الشبكة، مما استلزم من الباحثين تطبيع القيم إلى 0-255.

خلال التدريب، تم تطبيق الانعكاس والدوران فقط. في العديد من الحالات، سوف يتم تقديم اضطرابات بصرية مختلفة إلى الشبكة من أجل تطوير استدلال قوي، لكن الحاجة إلى الحفاظ على معلومات خريطة العمق الحساسة والمحدودة عند أطراف الوجه في الصور المصدرية أجبرت الباحثين على تبني نظام مبسط.

تم تدريب النظام أيضًا على صور بسيطة بتدرجات الرمادي ذات قناتين، من أجل تحديد مدى تعقيد الصور المصدرة المطلوبة للحصول على خوارزمية قابلة للعمل.

تم إجراء التدريب عبر واجهة برمجة تطبيقات TensorFlow على NVIDIA GTX 1080 مع 8GB من VRAM، باستخدام محسّن ADAMAX، لمدة 25 دورة، مع حجم باكت يبلغ 32. تم تثبيت دقة المدخلات عند 224×224 خلال القص، وتم إنجاز كشف الوجه واستخلاصه باستخدام مكتبة dlib بلغة C++.

النتائج

تم اختبار دقة النتائج ضد عمليات التزوير، Face2Face، FaceSwap، Neural Texture، وبيانات كاملة مع مدخلات RGB وRGBD، باستخدام إطار FaceForensic++.

النتائج على الدقة عبر أربعة طرق عمليات التزوير، وضد البيانات الكاملة غير المنقسمة. يتم تقسيم النتائج بين تحليل الصور الأصلية RGB، والصور نفسها مع خريطة عمق مدمجة. أفضل النتائج بالخط العريض، مع أرقام النسبة المئوية أدناه تظهر مدى تحسين معلومات خريطة العمق للنتائج.

النتائج على الدقة عبر أربعة طرق عمليات التزوير، وضد البيانات الكاملة غير المنقسمة. يتم تقسيم النتائج بين تحليل الصور الأصلية RGB، والصور نفسها مع خريطة عمق مدمجة. أفضل النتائج بالخط العريض، مع أرقام النسبة المئوية أدناه تظهر مدى تحسين معلومات خريطة العمق للنتائج.

في جميع الحالات، تحسن قناة العمق أداء النموذج عبر جميع التكوينات. تحصل Xception على أفضل النتائج، مع MobileNet القوي قريبًا. حول هذا، يقول المؤلفون:

‘من المثير ملاحظة أن MobileNet أقل قليلًا من Xception وتفوق على ResNet50 الأعمق. هذا نتيجة ملحوظة عند النظر إلى هدف تقليل أوقات الاستدلال لتطبيقات الوقت الفعلي. بينما هذه ليست المساهمة الرئيسية لهذا العمل، لا نزال نعتبره نتيجة مشجعة لتطورات مستقبلية.’

يلاحظ الباحثون أيضًا ميزة متسقة لمدخلات RGBD وصور بتدرجات الرمادي ذات قناتين أكثر من RGB والصور العادية بتدرجات الرمادي، مشيرين إلى أن تحويل تقديرات العمق إلى تدرجات الرمادي، والتي هي رخيصة حسابيًا، تتيح للنموذج الحصول على نتائج محسنة مع موارد محلية محدودة جدًا، مما يسهل تطوير اكتشاف عمليات التزوير في الوقت الفعلي بناءً على معلومات العمق.

 

نشر لأول مرة في 24 أغسطس 2022.

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai