زاوية Anderson

كشف التزييف العميق للمشاهير من المناطق الخارجية للوجه

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيكتشف نظام ICT التزييف العميق من خلال مقارنة هويات الوجه الداخلية والخارجية بدلاً من…
عرض المزيد
  • يكتشف نظام ICT التزييف العميق من خلال مقارنة هويات الوجه الداخلية والخارجية بدلاً من عيوب التبديل.
  • تتفوق هذه الطريقة على المنافسين في الفيديو منخفض الدقة حيث تفشل طرق الكشف القائمة على العيوب.
  • يعتمد نظام ICT على بيانات MS-Celeb-1M مما يحد من فعاليته للمشاهير الذين لديهم صور عامة وفيرة.

اقترح تعاون جديد بين مايكروسوفت (MSFT ) وجامعة صينية طريقة جديدة لتحديد عمليات التلاعب بالصور الفوتوغرافية للمشاهير، من خلال الاستفادة من نقاط الضعف في تقنيات التلاعب الحالية لتحديد الهويات التي تم “إسقاطها” على أشخاص آخرين.

تسمى هذه الطريقة مُحَوِّل الهوية المتسقة (ICT)، وتعمل عن طريق مقارنة أجزاء الوجه الخارجية (الذقن، عظام الخد، خط الشعر، وغيرها من الخطوط الخارجية) بالجزء الداخلي من الوجه. يستفيد النظام من البيانات العامة المتاحة للصور الفوتوغرافية للمشاهير، مما يحد من فعاليتها إلى المشاهير الشهيرين، الذين تتوفر صورهم بكميات كبيرة في مجموعات الرؤية الحاسوبية المتاحة على نطاق واسع وعلى الإنترنت.

مناطق تغطية التلاعب بالصور الفوتوغرافية المزيفة عبر سبع تقنيات: DeepFake في FF+؛ DeepFake في كشف التلاعب بالصور الفوتوغرافية من جوجل؛ DeepFaceLab؛ Face2Face؛ FSGAN؛ وDF-VAE. مصدر: https://arxiv.org/pdf/2203.01318.pdf

مناطق تغطية التلاعب بالصور الفوتوغرافية المزيفة عبر سبع تقنيات: DeepFake في FF+؛ DeepFake في كشف التلاعب بالصور الفوتوغرافية من جوجل؛ DeepFaceLab؛ Face2Face؛ FSGAN؛ وDF-VAE. تُقدم حزم شائعة مثل DeepFaceLab وFaceSwap تغطية مماثلة. مصدر: https://arxiv.org/pdf/2203.01318.pdf

كما توضح الصورة أعلاه، فإن الطرق الشائعة الحالية لعمليات التلاعب بالصور الفوتوغرافية مقيدة بموارد محدودة، وتعتمد على وجوه مضيفة “متوافقة” لتقليل الأدلة على استبدال الوجه.

على الرغم من أن الطرق المختلفة قد تشمل الجبهة الكاملة وجزء كبير من منطقة الذقن وعظام الخد، إلا أنها مقيدة جميعًا داخل إطار الوجه المضيف.

خريطة التلاعب بالصور الفوتوغرافية التي تبرز الهويات 'الداخلية' و'الخارجية' المحسوبة بواسطة ICT. عندما يتم تحديد تطابق للوجه الداخلي ولكن لا تتطابق الهوية الخارجية، يقيم ICT الصورة على أنها كاذبة.

خريطة التلاعب بالصور الفوتوغرافية التي تبرز الهويات ‘الداخلية’ و’الخارجية’ المحسوبة بواسطة ICT. عندما يتم تحديد تطابق للوجه الداخلي ولكن لا تتطابق الهوية الخارجية، يقيم ICT الصورة على أنها كاذبة.

في الاختبارات، أثبت ICT قدرته على كشف محتوى التلاعب بالصور الفوتوغرافية في بيئات ملائمة للتلاعب بالصور الفوتوغرافية، مثل مقاطع الفيديو منخفضة الدقة، حيث يتم تدهور محتوى الفيديو بالكامل بسبب تشويهات الضغط، مما يساعد على إخفاء الأدلة المتبقية لعملية التلاعب بالصور الفوتوغرافية – وهو ظرف يربك العديد من طرق كشف التلاعب بالصور الفوتوغرافية الأخرى.

ICT يتفوق على المنافسين في التعرف على محتوى التلاعب بالصور الفوتوغرافية. انظر الفيديو المرفق في نهاية المقال لمزيد من الأمثلة وأفضل دقة. مصدر: https://www.youtube.com/watch?v=zgF50dcymj8

ICT يتفوق على المنافسين في التعرف على محتوى التلاعب بالصور الفوتوغرافية. انظر الفيديو المرفق في نهاية المقال لمزيد من الأمثلة وأفضل دقة. انظر الفيديو المصدر المرفق في نهاية المقال لمزيد من الأمثلة. مصدر: https://www.youtube.com/watch?v=zgF50dcymj8

الورقة البحثية المعنية بعنوان حماية المشاهير بمحول الهوية المتسقة، وهي من تأليف تسعة باحثين من جامعة العلوم والتكنولوجيا في الصين، ومايكروسوفت ريسيرش آسيا، ومايكروسوفت كلاود + إيه آي.

فجوة المصداقية

هناك على الأقل سببان لماذا تتجاهل خوارزميات تبديل الوجوه الشهيرة مثل DeepFaceLab و FaceSwap المناطق الخارجية للهويات المتبادلة.

أولاً، تدريب نماذج التلاعب بالصور الفوتوغرافية يعتبر عملية استهلاكية للزمن وموارد الحاسوب، واستخدام وجوه مضيفة “متوافقة” يحرر دورات حاسوبية ودورات التدريب لتركيزها على المناطق الداخلية غير المتغيرة نسبيًا من الوجه التي نستخدمها لتمييز الهوية (منذ المتغيرات مثل التقلبات في الوزن والتغيرات الناتجة عن الشيخوخة أقل احتمالاً لتغيير هذه السمات الأساسية للوجه في المدى القصير).

ثانيًا، فإن معظم نهج التلاعب بالصور الفوتوغرافية (وهو بالتأكيد الحال مع DeepFaceLab، وهو البرنامج الذي يستخدمه الممارسون الأكثر شهرة أو إثارة للجدل) لديهم القدرة المحدودة على تكرار حواف الوجه مثل منطقة الخد والذقن، ويتأثرون بالحقيقة التي أنهم مقيدون بحقيقة أن شفرتهم الأساسية السابقة (2017) لم يعالج هذه القضية على نطاق واسع.

في الحالات التي لا تتطابق فيها الهويات جيدًا، يجب على خوارزمية التلاعب بالصور الفوتوغرافية “تعبئة” المناطق الخلفية حول الوجه، وهو ما تفعله بصورة خرقاء على أفضل تقدير، حتى في أيدي أفضل المخادعين، مثل Ctrl Shift Face، الذي استخدم إنتاجهم في دراسات الورقة.

لقطات من ديب فيك أنجزه Ctrl Shift Face، بوضع وجه جيم كاري على جاري أولدمان. يمثل أحد أفضل مخرجات DeepFaceLab والمعالجة اللاحقة آنذاك، لكن قلة الاهتمام بحواف الوجه تستلزم جهودًا هائلة في انتقاء البيانات والتدريب لمحاكاتها.

لقطات من ديب فيك أنجزه Ctrl Shift Face، بوضع وجه جيم كاري على جاري أولدمان. يمثل أحد أفضل مخرجات DeepFaceLab والمعالجة اللاحقة آنذاك، لكن قلة الاهتمام بحواف الوجه تستلزم جهودًا هائلة في انتقاء البيانات والتدريب لمحاكاتها. المصدر: https://www.youtube.com/watch?v=x8igrh1eyLk


كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai