كشف التزييف العميق اعتمادًا على السمات البيومترية الأصلية للإنسان

يقترح بحث جديد لباحثين في إيطاليا وألمانيا طريقة لاكتشاف فيديوهات التزييف العميق اعتمادًا على السلوك البيومتري للوجه والصوت، بدلًا من آثار التوليد التي تتركها أنظمة تركيب الوجوه أو حلول العلامات المائية المكلفة أو غيرها من الأساليب الأكثر تعقيدًا.

يتطلب الإطار إدخال عشرة فيديوهات حقيقية ومتنوعة على الأقل للشخص نفسه. لكنه لا يحتاج إلى تدريب أو إعادة تدريب أو زيادة بيانات باستخدام فيديوهات كل حالة على حدة، لأن نموذجه المدمج سبق أن استخلص المسافات المتجهية المحتملة بين الفيديوهات الحقيقية والمزيفة بطريقة قابلة للتطبيق على نطاق واسع.

يقوم نهج POI-Forensics على التعلم التقابلي. تُقارن المتجهات المستخلصة من المادة المرجعية لكل حالة بالمتجهات المناظرة في فيديو يحتمل تزويره، مع استخلاص السمات من مكوني الصوت والصورة في الفيديو المشكوك فيه. المصدر: https://arxiv.org/pdf/2204.03083.pdf

يعتمد النهج، المسمى POI-Forensics، على الحركات والإشارات الصوتية الفريدة للشخص الحقيقي الذي تُزوَّر هويته.

يمكن لنظام كهذا أن يتيح أطر تحقق مؤتمتة بالكامل ومعدة مسبقًا للمشاهير والسياسيين ومؤثري YouTube وغيرهم ممن تتوفر لهم مواد فيديو كثيرة. ويمكن أيضًا تكييفه ليمنح الضحايا العاديين لتقنيات التزييف العميق وسيلة محتملة لإثبات أن المواد المستخدمة في الهجمات ضدهم ليست حقيقية.

تصور للسمات المستخلصة من فيديوهات حقيقية ومزيفة لأربعة أشخاص في POI-Forensics، باستخدام إطار t-SNE.

يقول المؤلفون إن POI-Forensics يحقق مستوى جديدًا من الأداء المتقدم في كشف التزييف العميق. ففي مجموعة من مجموعات البيانات الشائعة في المجال، أُبلغ عن تحسن درجات AUC بنسبة 3٪ و10٪ و7٪ للفيديوهات عالية الجودة ومنخفضة الجودة وتلك التي تعرضت لهجمات، على الترتيب. ويعد الباحثون بنشر الشفرة البرمجية قريبًا.

أداء POI-Forensics مقارنة بأطر SOTA المنافسة pDFDC وDeepFakeTIMIT وFakeAVCelebV2 وKoDF. أُجري التدريب في كل حالة على FaceForensics++ وباستخدام ID-Reveal الخاص بالمؤلفين على VoxCeleb2. تشمل النتائج فيديوهات عالية ومنخفضة الجودة.

يذكر المؤلفون:

«يُجرى التدريب حصريًا على فيديوهات حقيقية لوجوه تتحدث، ولذلك لا يعتمد الكاشف على طريقة تلاعب بعينها ويحقق أعلى قدرة على التعميم. كما يمكن لطريقتنا كشف الهجمات أحادية الوسيط، الصوت وحده أو الفيديو وحده، والهجمات متعددة الوسائط، الصوت والفيديو معًا. وهي متينة أمام الفيديوهات منخفضة الجودة أو التالفة لاعتمادها فقط على سمات دلالية عالية المستوى».

يحمل البحث الجديد عنوان Audio-Visual Person-of-Interest DeepFake Detection، ويضم عناصر من مشروع ID-Reveal البصري السابق للمؤلفين عام 2021. وهو عمل مشترك بين جامعة فيديريكو الثاني في نابولي وجامعة ميونيخ التقنية.

سباق التسلح في التزييف العميق

لتجاوز نظام كشف كهذا، ستحتاج أنظمة التزييف العميق وتوليد البشر إلى محاكاة الإشارات البيومترية البصرية والصوتية للشخص المراد توليده على الأقل. ولا تزال هذه التكنولوجيا بعيدة بسنوات كثيرة، ومن المرجح أن تبقى ضمن الأنظمة المغلقة المكلفة والمملوكة لشركات المؤثرات البصرية، التي تتمتع بميزة تعاون الأشخاص المستهدفين ومشاركتهم، أو القائمين على إدارة تركاتهم عند محاكاة المتوفين.

ركز نهج المؤلفين السابق، ID-Reveal، بالكامل على المعلومات البصرية. المصدر: https://arxiv.org/pdf/2012.02512.pdf

لا تملك طرق التزييف العميق الناجحة والشائعة مثل FaceSwap وDeepFaceLab/Live حاليًا القدرة على إنتاج هذا المستوى الدقيق من المحاكاة البيومترية. فهي تعتمد في أفضل الأحوال على مقلدين موهوبين تُركَّب عليهم الهوية المزيفة، وفي أغلب الحالات على لقطات واقعية مناسبة لأشخاص متشابهين. كذلك فإن بنية الشفرة الأساسية لعام 2017، التي تتمتع بقدر ضئيل من التقسيم إلى وحدات وتظل المصدر الذي يعتمد عليه DFL وFaceSwap، لا تجعل إضافة هذه الوظيفة أمرًا عمليًا.

تعتمد حزمتا التزييف العميق المهيمنتان هاتان على المشفِّرات التلقائية. وقد تستخدم طرق توليد البشر البديلة شبكة توليدية خصومية (GAN) أو حقل إشعاع عصبي (NeRF) لإعادة إنشاء الهوية البشرية. لكن كلا المسارين البحثيين يحتاج إلى سنوات من العمل حتى لإنتاج فيديو بشري واقعي تمامًا.

باستثناء الصوت، أي الأصوات المزيفة، تقع المحاكاة البيومترية في مرتبة متأخرة جدًا ضمن تحديات توليد صور البشر. فإعادة إنتاج جرس الصوت البشري وخصائصه الأخرى لا تعيد إنتاج غرائبه وعلاماته الكاشفة أو طريقة الشخص الحقيقي في بناء المعنى. ولذلك، حتى إتقان محاكاة الصوت المولد بالذكاء الاصطناعي لا يتجاوز الحاجز المحتمل الذي تفرضه أصالة الخصائص البيومترية.

في Arxiv وحده، تُنشر كل أسبوع استراتيجيات وابتكارات عديدة لكشف التزييف العميق. وقد اعتمدت الأساليب الحديثة على تجانس الصوت والوجه والمدرج التكراري للأنماط الثنائية المحلية (FF-LBPH) والإدراك البشري للتزييف الصوتي وتحليل حدود الوجه ومراعاة تدهور جودة الفيديو والباليستيات الجنائية، وغيرها كثير.

تحليل المدرجات التكرارية المجزأة من أحدث التقنيات المطروحة لتحسين كشف التزييف العميق. المصدر: https://arxiv.org/pdf/2203.09928.pdf

النهج والبيانات والبنية

يتبع POI-Forensics نهجًا متعدد الوسائط للتحقق من الهوية، مستفيدًا من السمات البيومترية اللينة القائمة على إشارات بصرية وصوتية. ويضم شبكتي صوت وفيديو منفصلتين تستخلصان بيانات متجهية مميزة، يمكن مقارنتها بالسمات المناظرة المستخلصة من فيديو مشتبه في كونه مزيفًا.

البنية المفاهيمية لـPOI-Forensics.

يمكن إجراء تحليلات منفصلة للصوت أو الفيديو وأخرى مدمجة على المقاطع المستهدفة للوصول إلى مؤشر تشابه POI. وتستند دالة الخسارة التقابلية المستخدمة إلى تعاون أكاديمي عام 2021 بين Google Research وجامعة بوسطن وSnap Inc. (SNAP ) ومعهد MIT.

قُسمت مجموعة البيانات الأساسية حسب هوية الأشخاص. استُخدمت بيانات 4608 أشخاص للتدريب، وبقيت بيانات 512 شخصًا للتحقق. واستُبعدت هويات الأشخاص الخمسمئة المستخدمين في FakeAVCelebV2، إحدى مجموعات الاختبار المبينة أدناه، للحصول على نتائج غير متحيزة.

دُربت الشبكتان مدة 12 حقبة، بواقع 2304 دفعات في كل حقبة. وتحتوي كل دفعة على 8×8 مقاطع فيديو، أي ثمانية مقاطع لكل شخص من ثمانية أشخاص مختلفين. واستُخدم محسّن Adam مع اضمحلال الأوزان المنفصل بمعدل تعلم 10⁻⁴ واضمحلال أوزان قدره 0.01.

الاختبار والنتائج

شملت مجموعات اختبار المشروع النسخة التمهيدية من مجموعة تحدي كشف التزييف العميق، التي تضم عمليات تبديل وجوه لـ68 شخصًا، اختير منهم 44 شخصًا لديهم أكثر من تسعة فيديوهات ذات صلة، بإجمالي 920 فيديو حقيقيًا و2925 مزيفًا؛ وDeepFake-TIMIT، وهي مجموعة قائمة على GAN تضم 320 فيديو لـ32 شخصًا، بإجمالي قدره 290 فيديو حقيقيًا و580 مزيفًا لا تقل مدة كل منها عن أربع ثوان؛ وFakeAVCelebV2، التي تضم 500 فيديو حقيقي من VoxCeleb2 ونحو 20 ألف فيديو مزيف من مجموعات مختلفة، أُضيف إليها صوت مستنسخ مزيف باستخدام SV2TTS لتحقيق التوافق؛ وKoDF الكورية، التي زُورت فيها هويات 403 أشخاص باستخدام FaceSwap وDeepFaceLab وFSGAN وثلاثة نماذج حركة من الرتبة الأولى (FOMM).

تضم المجموعة الأخيرة أيضًا مخرجات تركيب الوجوه المدفوع بالصوت ATFHP ومخرجات Wav2Lip. واستخدم المؤلفون مجموعة مشتقة تضم 276 فيديو حقيقيًا و544 فيديو مزيفًا.

شملت المقاييس المساحة تحت منحنى ROC (AUC) ومعدل إنذارات كاذبة تقريبيًا قدره 10٪. وقد يشكل هذا مصدر قلق في الأطر التي تتضمن بيانات مزيفة وتتدرب عليها، لكن هذا القلق يُتجنب، وفق الشرح، لأن POI-Forensics لا يأخذ إلا الفيديوهات الحقيقية مدخلات له.

قورنت الطرق بكاشف التزييف العميق Seferbekov، الذي احتل المركز الأول في تحدي كشف التزييف العميق على Kaggle؛ وFTCN، أي الشبكة الالتفافية الزمنية بالكامل، وهي تعاون بين جامعة شيامن الصينية وMicrosoft (MSFT ) Research Asia؛ وLipForensics، وهو عمل مشترك عام 2021 بين إمبريال كوليدج لندن وFacebook؛ وID-Reveal، وهو مشروع سابق لعدد من باحثي الورقة الجديدة لا يستخدم الصوت، ويجمع نماذج ثلاثية الأبعاد قابلة للتشوه مع سيناريو لعبة خصومية لكشف المخرجات المزيفة.

في النتائج المعروضة في الجدول السابق، تفوق POI-Forensics على المتصدر المرجعي Seferbekov بنسبة 2.5٪ في AUC و1.5٪ في الدقة. وكانت المنافسة أكثر تقاربًا على مجموعات أخرى عند استخدام فيديوهات عالية الجودة.

لكن النهج الجديد تفوق بوضوح على جميع الطرق المرجعية المنافسة في الفيديوهات منخفضة الجودة، وهي السيناريو الأرجح لخداع من يشاهدون الفيديوهات عرضًا في سياقات العالم الحقيقي.

يؤكد المؤلفون:

«في هذا السيناريو الصعب، تواصل الأساليب القائمة على الهوية وحدها تقديم أداء جيد، لأنها تعتمد على سمات دلالية عالية المستوى متينة نسبيًا أمام تدهور الصور».

وبالنظر إلى أن POI-Forensics يستخدم الفيديو الحقيقي وحده مادة مرجعية، يمكن القول إن الإنجاز يزداد أهمية. وهو يشير إلى أن استخدام الخصائص البيومترية الأصلية لضحايا التزييف العميق المحتملين مسار جدير بالاتباع للخروج من حرب الآثار الاصطناعية الباردة بين برمجيات التزييف وحلول كشفه.

في اختبار أخير، أضاف الباحثون ضوضاء خصومية إلى المدخلات، وهي طريقة يمكنها خداع المصنفات بموثوقية. وما زالت طريقة إشارة التدرج السريع القديمة نسبيًا فعالة بصفة خاصة في هذا الصدد.

كما هو متوقع، خفضت استراتيجيات الهجوم الخصومي معدلات النجاح في جميع الطرق ومجموعات البيانات، وتراوح مقدار انخفاض AUC بين 10٪ و38٪. لكن POI-Forensics ونهج المؤلفين السابق ID-Reveal وحدهما حافظا على أداء معقول تحت الهجوم، مما يشير إلى أن السمات عالية المستوى المرتبطة بالخصائص البيومترية اللينة شديدة المقاومة لمحاولات الإفلات من كشف التزييف العميق.

يخلص المؤلفون إلى القول:

«نعتقد عمومًا أن طريقتنا خطوة أولى؛ وبصفة خاصة، يمثل استخدام السمات الدلالية الأعلى مستوى مسارًا واعدًا للبحوث المقبلة. ويمكن كذلك إثراء التحليل متعدد الوسائط بمزيد من المعلومات من مجالات أخرى، مثل البيانات النصية».

نُشر لأول مرة في 8 أبريل 2022.