زاوية Anderson
معلومات العمق يمكن أن تكشف عن عمليات التزوير في الوقت الفعلي
أضف Unite.AI إلى مصادرك المفضلة على Google
أظهرت أبحاث جديدة من إيطاليا أن معلومات العمق المستخرجة من الصور يمكن أن تكون أداة مفيدة لاكتشاف عمليات التزوير – حتى في الوقت الفعلي.
في حين أن معظم الأبحاث حول اكتشاف عمليات التزوير في السنوات الخمس الماضية ركزت على تحديد العيوب (والتي يمكن تخفيفها من خلال تقنيات محسنة أو الخلط بينها وبين ضغط الفيديو الرديء)، الإضاءة المحيطة، السمات البيومترية، الاضطراب الزمني، وحتى الحدس البشري، فإن الدراسة الجديدة هي الأولى التي تشير إلى أن معلومات العمق يمكن أن تكون شفرة قيمة لاكتشاف محتوى عمليات التزوير.
أمثلة على خرائط العمق المشتقة، والفرق في معلومات العمق الإدراكية بين الصور الحقيقية والصور المزيفة. مصدر: https://arxiv.org/pdf/2208.11074.pdf
من الناحية الحاسوبية، تتمثل الإطارات التي تم تطويرها للدراسة الجديدة في عملها جيدًا على شبكة خفيفة مثل Xception، وتقبل جيدًا على MobileNet، وتعترف الورقة الجديدة بأن انخفاض زمن الاستدلال المقدم من خلال هذه الشبكات يمكن أن يسمح باكتشاف عمليات التزوير في الوقت الفعلي ضد الاتجاه الجديد نحو الاحتيال المباشر، كما هو موضح في الهجوم الأخير على Binance.
يمكن تحقيق اقتصاد أكبر في وقت الاستدلال لأن النظام لا يحتاج إلى صور ملونة كاملة لتحديد الفرق بين خرائط العمق الحقيقية والمزيفة، بل يمكنه العمل بكفاءة ملحوظة باستخدام صور grayscale فقط لمعلومات العمق.
يقول المؤلفون: ‘هذا النتيجة تشير إلى أن العمق في هذه الحالة يضيف مساهمة أكثر صلة إلى التصنيف من العيوب اللونية.’
تمثل النتائج جزءًا من موجة جديدة من أبحاث اكتشاف عمليات التزوير الموجهة ضد أنظمة التركيب الوجهي في الوقت الفعلي مثل DeepFaceLive – وهو مركز للجهد الذي تسارع في الأشهر 3-4 الماضية، في أعقاب تحذير مكتب التحقيقات الفيدرالي في مارس بشأن خطر الفيديو والصوت المزيفين في الوقت الفعلي.
الورقة، التي تحمل عنوان DepthFake: استراتيجية قائمة على العمق لاكتشاف فيديوهات عمليات التزوير، تأتي من خمسة باحثين في جامعة روما سابينزا.
حالات الحواف
خلال التدريب، تتمثل نماذج عمليات التزوير القائمة على ال autoencoder في الأولوية لمناطق الوجه الداخلية، مثل العيون والأنف والفم. في معظم الحالات، عبر التوزيعات المفتوحة مثل DeepFaceLab وFaceSwap (كلاهما مشتق من الкод الأصلي على Reddit قبل حذفه)، لا تصبح الخطوط الخارجية للوجه محددة جيدًا حتى مرحلة متأخرة من التدريب، ومن غير المحتمل أن تتطابق مع جودة التركيب في منطقة الوجه الداخلية.
من دراسة سابقة، نرى تصورًا لخرائط ‘الوضوح’ للوجه. مصدر: https://arxiv.org/pdf/2203.01318.pdf
عادةً، هذا ليس مهمًا، لأن ميلنا للاهتمام أولًا بالعيون وتحديد الأولويات ‘往外’ على مستويات انخفاض اهتمام يعني أننا غير محتمل أن نزعج من هذه الانخفاضات في جودة الهامش – خاصة إذا كنا نتحدث مباشرة مع الشخص الذي يزيف هوية أخرى، مما يؤدي إلى تطبيقات اجتماعية و قيود المعالجة غير موجودة عند تقييم مقاطع فيديو عمليات التزوير ‘المحسنة’.
然而، يمكن اكتشاف نقص التفاصيل أو الدقة في المناطق المتأثرة من الوجه المزيف خوارزميًا. في مارس، تم الإعلان عن نظام يعتمد على منطقة الوجه المحيطة.
الغوص العميق
تزداد معلومات خرائط العمق بشكل متزايد في الهواتف الذكية، بما في ذلك تطبيقات الاستريو المدعومة بالذكاء الاصطناعي التي تُظهر فائدة خاصة في دراسات الرؤية الحاسوبية. في الدراسة الجديدة، استخدم المؤلفون نموذج FaceDepth في جامعة أيرلندا الوطنية، وهو شبكة معمولة فك ترميز يمكنه تقدير خرائط العمق من الصور المصدرة المفردة.
نموذج FaceDepth في العمل. مصدر: https://tinyurl.com/3ctcazma
بعد ذلك، يتم استخراج جزء من صورة الوجه بمقاس 224×224 بكسل من الصورة الأصلية وخرائط العمق المشتقة. هذا يسمح للعملية بنسخ المحتوى الأساسي دون تغيير حجمه؛ هذا مهم، لأن خوارزميات تغيير الحجم القياسية سوف تؤثر سلبًا على جودة المناطق المستهدفة.
باستخدام هذه المعلومات، من مصادر حقيقية ومزيفة، قام الباحثون بتدريب شبكة عصبية خفيفة قادرة على التمييز بين الحالات الحقيقية والمزيفة، بناءً على الفرق في جودة خرائط العمق.
خط أنابيب مفاهيمي ل DepthFake.
نموذج FaceDepth مدرب على بيانات حقيقية واصطناعية باستخدام دالة هجينة توفر تفاصيل أكبر في الهوامش الخارجية للوجه، مما يجعله مناسبًا جيدًا لـ DepthFake. يستخدم مثيل MobileNet كمستخرج للميزات، وتم تدريبه مع صور مدخلة بحجم 480×640 وخرائط عمق بحجم 240×320. تمثل كل خريطة عمق ربع القنوات الأربعة المستخدمة في مشروع التمييز.
يتم دمج خريطة العمق تلقائيًا في الصورة الأصلية لتقديم صورة RGBD تحتوي على معلومات العمق، مثل تلك التي يمكن أن تنتجها كاميرات الهواتف الذكية الحديثة.
التدريب
تم تدريب النموذج على شبكة Xception مسبقًا مدربة على ImageNet، على الرغم من أن الهيكل يتطلب بعض التكيف لاستيعاب معلومات العمق الإضافية مع الحفاظ على تهيئة الأوزان الصحيحة.
بالإضافة إلى ذلك، كان هناك اختلاف في مجالات القيم بين معلومات العمق وما يتوقعه الشبكة، مما استلزم من الباحثين تطبيع القيم إلى 0-255.
خلال التدريب، تم تطبيق فقط翻转 وال دوران. في العديد من الحالات، سوف يتم تقديم اضطرابات بصرية مختلفة إلى الشبكة من أجل تطوير استدلال قوي، لكن الحاجة إلى الحفاظ على معلومات خريطة العمق الحساسة والمحدودة في الصور المصدرة أجبرت الباحثين على تبني نظام مبسط.
تم تدريب النظام أيضًا على grayscale بسيط ذو قناة مزدوجة، من أجل تحديد مدى تعقيد الصور المصدرة المطلوبة للحصول على خوارزمية قابلة للعمل.
تم إجراء التدريب عبر واجهة برمجة تطبيقات TensorFlow على NVIDIA GTX 1080 مع 8GB من VRAM، باستخدام محسّن ADAMAX، لمدة 25 دورة، مع حجم باكت يبلغ 32. تم تثبيت دقة المدخلات عند 224×224 خلال القص، وتم إنجاز كشف الوجه واستخلاصه باستخدام مكتبة dlib C++.
النتائج
تم اختبار دقة النتائج ضد عمليات التزوير، Face2Face، FaceSwap، Neural Texture، وبيانات كاملة مع مدخلات RGB وRGBD، باستخدام إطار FaceForensic++.
النتائج على الدقة عبر أربعة طرق عمليات التزوير، وضد البيانات الكاملة غير المنقسمة. يتم تقسيم النتائج بين تحليل الصور الأصلية RGB، والصور نفسها مع خريطة عمق مدمجة. أفضل النتائج بالخط العريض، مع أرقام النسبة المئوية أدناه تظهر مدى تحسين معلومات خريطة العمق للنتائج.
في جميع الحالات، تحسن قناة العمق أداء النموذج عبر جميع التكوينات. تحصل Xception على أفضل النتائج، مع MobileNet القوي قريبًا. حول هذا، يقول المؤلفون:
‘من المثير ملاحظة أن MobileNet أقل قليلًا من Xception وتفوق على ResNet50 الأعمق. هذا نتيجة ملحوظة عند النظر إلى هدف تقليل أوقات الاستدلال لتطبيقات الوقت الفعلي. بينما هذه ليست المساهمة الرئيسية لهذا العمل، لا يزالنا نعتبره نتيجة مشجعة لتطورات مستقبلية.’
يلاحظ الباحثون أيضًا ميزة متسقة لمدخلات RGBD وgrayscale ذي قناة مزدوجة أكثر من RGB وgrayscale المباشر، مشيرين إلى أن تحويلات grayscale لمعلومات الاستدلال، والتي هي رخيصة حسابيًا، تتيح للنموذج الحصول على نتائج محسنة مع موارد محلية محدودة جدًا، مما يسهل تطوير اكتشاف عمليات التزوير في الوقت الفعلي بناءً على معلومات العمق.
نشر لأول مرة في 24 أغسطس 2022.
