طريقة بيانات فورنسيكية لجيل جديد من Deepfakes

على الرغم من أن عمليات التزييف العميق للأفراد الخاصين أصبحت مخاوف عامة متزايدة وتحظر بشكل متزايد في مناطق مختلفة، إلا أن إثبات أن نموذجًا تم إنشاؤه بواسطة المستخدم – مثل نموذج يسمح بمضايقة انتقامية – تم تدريبه بشكل خاص على صور شخص معين يظل تحديًا شديدًا.

لتوضيح المشكلة: عنصر أساسي في هجوم التزييف العميق هو الادعاء الكاذب بأن صورة أو فيديو يُظهر شخصًا معينًا. ببساطة القول إن شخصًا في فيديو هو هوية #A، بدلاً من مجرد شبه، يكفي لإنشاء ضرر، ولا يلزم أي ذكاء اصطناعي في هذا السيناريو.

ومع ذلك، إذا قام المهاجم بإنشاء صور أو فيديوهات باستخدام نماذج تم تدريبها على بيانات شخص حقيقي، فإن أنظمة التعرف على الوجوه في وسائل الإعلام الاجتماعية ومحركات البحث ستربط المحتوى المزيف تلقائيًا بالضحية – دون الحاجة إلى أسماء في المنشورات أو البيانات الوصفية. الصور والفيديوهات التي تم إنشاؤها بواسطة الذكاء الاصطناعي وحدها تضمن الرابط.

كلما كانت مظهر الشخص متميزًا، أصبح ذلك أمرًا لا مفر منه، حتى يظهر المحتوى المزيف في عمليات البحث عن الصور و最終يًا يصل إلى الضحية.

الوجه لوجه

أكثر الطرق شيوعًا لنشر نماذج تركز على الهوية هي حاليًا من خلال التكيف منخفض الرتبة (LoRA)، حيث يقوم المستخدم بتدريب عدد صغير من الصور لعدة ساعات ضد أوزان نموذج أساسي أكبر مثل الانتشار المستقر (للسطوح بشكل رئيسي) أو Hunyuan Video لعمليات التزييف العميق للفيديو.

أكثر الأهداف شيوعًا لل LoRAs، بما في ذلك الجيل الجديد من LoRAs القائمة على الفيديو، هي المشاهير النساء، حيث يتعرضن لهذا النوع من المعاملة مع انتقاد أقل من الجمهور مقارنة بالضحايا “المجهولين”، بسبب افتراض أن هذه الأعمال المشتقة مغطاة بموجب “الاستخدام العادل” (على الأقل في الولايات المتحدة وأوروبا).

تسيطر المشاهير النساء على قوائم LoRA و Dreambooth في بوابة civit.ai. يوجد أكثر من 66,000 تحميل لل LoRA الأكثر شعبية حاليًا، وهو عدد كبير بالنظر إلى أن استخدام الذكاء الاصطناعي لا يزال يُعتبر “نشاطًا هامشيًا”.

لا يوجد منتدى عام للضحايا “المجهولين” الذين تم تزييفهم، الذين يظهرون فقط في وسائل الإعلام عندما تظهر قضايا الملاحقة القضائية، أو يتحدث الضحايا في منصات شعبية.

ومع ذلك، في كلا السيناريوهين، فإن النماذج المستخدمة في تزييف الهويات قد “مصّرت” بيانات التدريب الخاصة بهم بشكل كامل في الفضاء اللاتنتي للنموذج بحيث يصعب تحديد الصور الأصلية المستخدمة.

إذا كان من الممكن القيام بذلك ضمن هامش خطأ مقبول، فإن هذا سيسمح بمقاضاة أولئك الذين يشاركون LoRAs، منذ أنه يثبت ليس فقط النية لتزييف هوية معينة (أي هوية شخص “مجهول” معين، حتى لو لم يذكر الجاني اسمهم خلال عملية التشهير)، ولكن أيضًا يعرّض المرفق لتهم انتهاك حقوق النشر، حيث يطبق ذلك.

سيكون هذا مفيدًا في الولايات القضائية التي تفتقر إلى التنظيم القانوني لتكنولوجيا التزييف العميق أو التي تتقدم ببطء.

مكشوف

الهدف من تدريب نموذج أساسي، مثل نموذج متعدد الجيجابايت الذي قد يقوم المستخدم بتحميله من Hugging Face، هو أن يصبح النموذج معممًا وجيدًا. يتضمن هذا التدريب على عدد كافٍ من الصور المتنوعة، وبإعدادات مناسبة، وتنتهي قبل أن “يتجاوز” النموذج البيانات.

نموذج مفرط في التدريب قد رأى البيانات العديد من المرات (زائدة) خلال عملية التدريب بحيث سيتميل إلى إعادة إنتاج صور شبيهة جدًا، مما يكشف عن مصدر بيانات التدريب.

يمكن إعادة إنتاج هوية ‘Ann Graham Lotz’ بشكل شبه كامل في نموذج Stable Diffusion V1.5. الإعادة هي شبه متطابقة مع بيانات التدريب (على اليسار في الصورة أعلاه). مصدر: https://arxiv.org/pdf/2301.13188

然而، يتم التخلص من النماذج المفرطة في التدريب بشكل عام من قبل منشئيها بدلاً من توزيعها، لأنها في أي حال غير مناسبة للغرض. لذلك هذا هو مكافأة فورنسيكية غير محتملة. في أي حال، ينطبق المبدأ بشكل أكبر على التدريب المكلف وذو الحجم الكبير لنماذج الأساس، حيث قد تجعل إصدارات متعددة من نفس الصورة التي دخلت إلى مجموعة بيانات كبيرة بعض صور التدريب سهلة الاستدعاء (انظر الصورة والمثال أعلاه).

الأمور مختلفة قليلاً في حالة نماذج LoRA و Dreambooth (على الرغم من أن Dreambooth قد فقد شعبية بسبب حجم الملفات الكبير). هنا، يختار المستخدم عددًا محدودًا جدًا من الصور المتنوعة لموضوع ما، ويتدرب على LoRA باستخدامها.

على اليسار، خرج من Hunyuan Video LoRA. على اليمين، البيانات التي جعلت الشبه ممكنًا (الصور المستخدمة بتصريح الشخص المتصور).

في كثير من الأحيان، سيكون LoRA مدربًا على كلمة فاعلة، مثل [اسم المشهور]. ومع ذلك، في كثير من الأحيان، فإن الموضوع المحدد المدرب سوف يظهر في الإخراج المولد حتى بدون مثل هذه التحفيزات، لأن LoRA جيدًا (أي غير مفرط في التدريب) ما زال “متمسكًا” بالمواد التي تم تدريبه عليها، وسيتميل إلى تضمينها في أي إخراج.

هذا التحيز، بالاشتراك مع عدد الصور المحدود الذي هو مثالي لمجموعة بيانات LoRA، يعرّض النموذج للتحليل الفورنسيكي، كما سنرى.

كشف البيانات

تتناول هذه الأمور في ورقة جديدة من الدنمارك، وتقدم منهجية لتحديد الصور الأصلية (أو مجموعات الصور الأصلية) في هجوم عضوية أسود (MIA). تتضمن التقنية على الأقل استخدام نماذج مدربة مخصصة مصممة للمساعدة في كشف بيانات الأصل عن طريق إنشاء “تزييفات” خاصة بهم:

أمثلة على صور “مزيفة” تم إنشاؤها بواسطة النهج الجديد، عند مستويات متزايدة من توجيه التصنيف الحر (CFG)، حتى نقطة الدمار. مصدر: https://arxiv.org/pdf/2502.11619

على الرغم من أن العمل، بعنوان هجمات عضوية لصور الوجه ضد نماذج الانتشار اللاتنتي المعدلة بدقة، هو مساهمة مثيرة للاهتمام في الأدب حول هذا الموضوع، إلا أنه ورقة غير قابلة للوصول ومكتوبة بشكل مقتضب ويتطلب فك الشفرة الكثير.

بمعنى آخر، إذا قام شخص ما بتعديل نموذج الذكاء الاصطناعي على صور وجهك، فإن طريقة المؤلفين يمكن أن تساعد في إثبات ذلك من خلال البحث عن علامات واضحة للتحيز في الصور المولدة بواسطة النموذج.

في البداية، يتم تعديل نموذج الذكاء الاصطناعي على مجموعة من صور الوجه، مما يجعله أكثر احتمالاً لإعادة إنتاج تفاصيل من هذه الصور في الإخراج.

بعد ذلك، يتم تدريب وضع هجوم على النموذج باستخدام صور مولدة بواسطة النموذج المستهدف كأمثلة إيجابية (أعضاء مشبوهون في مجموعة التدريب) وصور أخرى من مجموعة بيانات مختلفة كأمثلة سلبية (غير أعضاء).

من خلال تعلم الفرق الدقيق بين هذه المجموعات، يمكن للنموذج الهجومي التنبؤ بwhether صورة معينة كانت جزءًا من مجموعة بيانات التدريب الأصلية.

الهجوم أكثر فعالية في الحالات التي تم فيها تعديل النموذج بشكل كبير، مما يعني أن كلما كان النموذج أكثر تخصيصًا، أصبح من الأسهل تحديد ما إذا كانت صور معينة تم استخدامها.

كما وجد المؤلفون أن إضافة علامات مائية مرئية إلى صور التدريب تجعل الكشف أسهل.

الهجوم ناجح في بيئة سوداء، مما يعني أنه يعمل بدون الوصول إلى تفاصيل النموذج الداخلية، فقط إلى إخراجها.

الطريقة التي تم التوصل إليها مكلفة حسابيًا، كما يعترف المؤلفون؛ ومع ذلك، فإن قيمة هذا العمل تكمن في إظهار الاتجاه للبحوث الإضافية، وإثبات أن البيانات يمكن استخراجها بتحمل مقبول؛ لذلك، نظرًا لطابعها الرائد، لا يلزم أن تعمل على هاتف ذكي في هذه المرحلة.

الطريقة والبيانات

استخدمت عدة مجموعات بيانات من جامعة الدنمارك الفنية (DTU، المؤسسة المضيفة للبحثاء الثلاثة) في الدراسة، لتعديل النموذج المستهدف ولتدريب واختبار وضع الهجوم:

DseenDTU مجموعة الصور الأساسية.

DDTU صور تم جمعها من DTU Orbit.

DseenDTU قسم من DDTU تم استخدامه لتعديل النموذج المستهدف.

DunseenDTU قسم من DDTU لم يتم استخدامه لتعديل أي نموذج توليد صور، وبدلاً من ذلك تم استخدامه لاختبار أو تدريب نموذج الهجوم.

wmDseenDTU قسم من DDTU مع علامات مائية مرئية تم استخدامه لتعديل النموذج المستهدف.

hwmDseenDTU قسم من DDTU مع علامات مائية مخفية تم استخدامه لتعديل النموذج المستهدف.

DgenDTU صور تم إنشاؤها بواسطة نموذج انتشار لاتنتي (LDM) تم تعديله على مجموعة صور DseenDTU.

استخدمت مجموعات بيانات تم جمعها من جامعة آلبورغ (AAU) في الاختبارات، جميعها مستمدة من مكتبة AU VBN:

DAAU صور تم جمعها من AAU vbn.

DseenAAU قسم من DAAU تم استخدامه لتعديل النموذج المستهدف.

DunseenAAU قسم من DAAU لم يتم استخدامه لتعديل أي نموذج توليد صور، وبدلاً من ذلك تم استخدامه لاختبار أو تدريب نموذج الهجوم.

DgenAAU صور تم إنشاؤها بواسطة نموذج LDM تم تعديله على مجموعة صور DseenAAU.

تم استخدام الجملة ‘a dtu headshot of a’ لتمهيد كل وصف.

الاختبارات

أجريت عدة تجارب لتقدير أداء هجمات العضوية ضد النموذج المستهدف. كل اختبار كان يهدف إلى تحديد ما إذا كان من الممكن شن هجوم ناجح داخل الإطار الموضح أدناه، حيث يتم تعديل النموذج المستهدف على مجموعة بيانات صور تم الحصول عليها بدون تصريح.

إطار النهج.

مع استعلام النموذج المعدل لإنشاء صور إخراج، يتم استخدام هذه الصور كأمثلة إيجابية لتدريب نموذج الهجوم، في حين يتم تضمين صور أخرى غير متعلقة كأمثلة سلبية.

يتم تدريب نموذج الهجوم باستخدام التعلم الإشرافي ويتم اختباره على صور جديدة لتحديد ما إذا كانت جزءًا من مجموعة بيانات التعديل الأصلية.

لتحديد دقة الهجوم، يتم وضع 15٪ من بيانات الاختبار جانبًا للتحقق.

نظرًا لأن النموذج المستهدف تم تعديله على مجموعة بيانات معروفة، فإن حالة العضوية الفعلية لكل صورة تم تحديدها بالفعل عند إنشاء بيانات التدريب لنموذج الهجوم.

هذا الإعداد المراقب يسمح بتقييم واضح لكفاءة نموذج الهجوم في التمييز بين الصور التي كانت جزءًا من مجموعة التعديل و那些 التي لم تكن.

للاختبارات، تم استخدام الانتشار المستقر V1.5. على الرغم من أن هذا النموذج القديم يظهر كثيرًا في الأبحاث بسبب الحاجة إلى اختبارات متسقة، والкорبس الواسع من الأعمال السابقة التي تستخدمه، إلا أن هذا هو استخدام مناسب؛ ظل V1.5 شائعًا لإنشاء LoRAs في مجتمع هواة الانتشار المستقر لوقت طويل، على الرغم من إصدارات لاحقة متعددة، وحتى على الرغم من ظهور Flux – لأن النموذج غير خاضع للرقابة.

كان نموذج الهجوم للمحققين مبنيًا على Resnet-18، مع الاحتفاظ بأوزان النموذج المسبقة التدريب.

تم استبدال طبقة ResNet-18 الأخيرة البالغ عدد خلاياها 1000 خلية بطبقة متصلة بالكامل مع خليتين.

كانت خسارة التدريب خسارة متقاطعة الفئة، وتم استخدام مُحسّن Adam.

لكل اختبار، تم تدريب نموذج الهجوم خمس مرات باستخدام بذور عشوائية مختلفة لتحديد فترات ثقة 95٪ للمقاييس الرئيسية.

تم استخدام التصنيف بدون شوط مع نموذج CLIP كقيمة أساسية.

(يرجى ملاحظة أن الجدول الرئيسي للأدلة الأولية في الورقة قاس وغامض. لذلك قمت بتحويله أدناه إلى شكل أكثر ملاءمة للمستخدم. يرجى النقر على الصورة لمشاهدتها بتحسين الجودة)

ملخص نتائج جميع الاختبارات. انقر على الصورة لمشاهدتها بتحسين الجودة

أثبت نهج الباحثين أنه الأكثر فعالية عند استهدافه نماذج معدلة، خاصة تلك التي تم تدريبها على مجموعة معينة من الصور، مثل وجه شخص معين.

ومع ذلك، في حين يمكن للهجوم تحديد ما إذا كانت مجموعة بيانات معينة تم استخدامها، يجد صعوبة في تحديد الصور الفردية داخل تلك المجموعة.

في المصطلحات العملية، هذا لا يعيق استخدام نهج مثل هذا بشكل فورنسيكي؛ في حين أن هناك قيمة قليلة في إثبات أن مجموعة بيانات مشهورة مثل ImageNet تم استخدامها في نموذج ما، فإن مهاجم شخص معين (غير مشهور) سيجد نفسه مع قلة خيارات لبيانات المصدر، وسيضطر إلى الاستفادة الكاملة من مجموعات البيانات المتاحة مثل ألبومات وسائل الإعلام الاجتماعية ومجموعات أخرى من المجموعات عبر الإنترنت.

تؤكد الورقة أيضًا أن هناك طريقة أخرى لتحسين الدقة هي استخدام صور مولدة بواسطة الذكاء الاصطناعي كـ “غير أعضاء”، بدلاً من الاعتماد فقط على الصور الحقيقية.

عامل آخر يؤثر بشكل كبير على الكشف، يلاحظ المؤلفون، هو العلامات المائية.

عندما تحتوي صور التدريب على علامات مائية مرئية، يصبح الهجوم فعالًا جدًا، في حين أن العلامات المائية المخفية لا توفر أي ميزة.

تظهر الصورة اليمنى العلامة المائية “المخفية” المستخدمة في الاختبارات.

أخيرًا، يلعب مستوى التوجيه في توليد الصور النصية دورًا، حيث وجد التوازن المثالي عند مستوى توجيه 8.

حتى بدون استخدام تحفيز مباشر، نموذج معدل ما زال ينتج إخراجًا يشبه بيانات التدريب، مما يعزز فعالية الهجوم.

الاستنتاج

من العيب أن هذه الورقة المثيرة للاهتمام كتبت بطريقة غير قابلة للوصول، لأنها يجب أن تكون مثيرة للاهتمام لمناصري الخصوصية وباحثي الذكاء الاصطناعي الهواة على حد سواء.

على الرغم من أن هجمات العضوية قد تثبت أنها أداة فورنسيكية مثيرة للاهتمام، إلا أن الأمر الأكثر أهمية ربما هو أن هذا المسار البحثي يجب أن يطور مبادئ عامة قابلة للتطبيق، لمنع انتهاء الأمر بنفس لعبة الهراء التي حدثت لاكتشاف التزييف العميق بشكل عام، عندما يؤثر إصدار نموذج جديد على الكشف وأنظمة فورنسيكية مشابهة.

منذ وجود بعض الأدلة على مبدأ توجيه أعلى مستوى تم تنظيفه في هذا البحث الجديد، يمكننا أن نتطلع إلى رؤية المزيد من العمل في هذا الاتجاه.

نُشر لأول مرة يوم الجمعة، 21 فبراير 2025