استخراج بيانات التدريب من نماذج الاستقرار المتفينة

أظهر بحث جديد من الولايات المتحدة الأمريكية طريقة لاستخراج أجزاء كبيرة من بيانات التدريب من النماذج المتفينة.

يمكن أن يوفر هذا الأدلة القانونية في الحالات التي تم فيها نسخ أسلوب فنان أو استخدام صور محمية بحقوق النشر لتدريب نماذج توليدية لشخصيات عامة أو شخصيات محمية بحقوق النشر أو محتوى آخر.

من البحث الجديد: الصور الأصلية للتدريب ظاهرة في الصف العلوي، والصور المستخرجة موضحة في الصف السفلي. مصدر: https://arxiv.org/pdf/2410.03039

تتوفر هذه النماذج على نطاق واسع ومجانية على الإنترنت، بشكل رئيسي من خلال أرشيفات المستخدمين الهائلة في civit.ai، وأقل إلى حد ما على منصة هوجينج فايس.

النماذج الجديدة التي طوّرها الباحثون تسمى FineXtract، ويزعم المؤلفون أنها تحقق نتائج متقدمة في هذه المهمة.

يلاحظ البحث:

‘[إطارنا] يعالج بنجاح تحدي استخراج بيانات التفين من نقاط التحقق العامة للنماذج المتفينة. من خلال الاستفادة من الانتقال من توزيعات النماذج المتفينة المسبقة إلى توزيعات بيانات التفين، يوجه FineXtract عملية التوليد نحو مناطق عالية الاحتمالية في توزيع بيانات التفين، مما يسمح بنجاح استخراج البيانات.’

اليمين، الصورة الأصلية المستخدمة في التدريب. ثاني اليمين، الصورة المستخرجة عبر FineXtract. الأعمدة الأخرى تمثل أساليب سابقة. يرجى الرجوع إلى ورقة البحث للحصول على صورة أفضل.

لماذا يهم الأمر

النماذج الأصلية المتدربة لنظم التوليد النصي-الصورية مثل الاستقرار المتفين وFlux يمكن تحميلها وتنفيذها من قبل المستخدمين النهائيين، باستخدام تقنيات مثل تنفيذ DreamBooth لعام 2022.

من السهل أكثر، يمكن للمستخدم إنشاء نموذج LoRA أصغر بكثير والذي يُقارب فعالية نموذج متفين كامل.

مثال على نموذج LoRA مدرب، متاح للتحميل المجاني على موقع Civitai. يمكن إنشاء مثل هذا النموذج في غضون دقائق أو ساعات قليلة، من قبل هواة باستخدام برنامج مفتوح المصدر مثبت محليًا – وعبر الإنترنت، من خلال بعض أنظمة التدريب القائمة على واجهات برمجة التطبيقات الأكثر مرونة. Source: civitai.com

منذ عام 2022 أصبح من السهل إنشاء نقاط تحقق متفينة محددة بالهوية و LoRAs، من خلال توفير عدد صغير (بمعدل 5-50) من الصور المُقترنة بالتعليقات، وتنفيذ النقطة أو LoRA محليًا على إطار مفتوح المصدر مثل Kohya ss، أو استخدام خدمات عبر الإنترنت.

لقد حصلت هذه الطريقة البسيطة من التزييف العميق على شهرة في وسائل الإعلام خلال السنوات القليلة الماضية. كما تم استهلاك عمل العديد من الفنانين في نماذج توليدية تكرر أسلوبهم. وقد اكتسب الجدل حول هذه القضايا زخمًا خلال العام والنصف الماضيين.

سهولة إنشاء أنظمة ذكاء اصطناعي تكرر عمل الفنانين الحقيقيين تسببت في غضب وحملات متنوعة خلال السنوات القليلة الماضية. مصدر: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

من الصعب إثبات أي صور تم استخدامها في نقطة تحقق متفينة أو في LoRA، لأن عملية التعميم ‘تجرد’ الهوية من مجموعات بيانات التدريب الصغيرة، ولا يُرجح أن يتم إعادة إنتاج أمثلة من بيانات التدريب (ماعدا في حالة التفويض الزائد، حيث يمكن اعتبار التدريب قد فشل).

هنا يأتي FineXtract في الصورة. من خلال مقارنة حالة ‘النموذج القالب’ للنموذج المتفين الذي قام المستخدم بتحميله إلى النموذج الذي أنشأه فيما بعد من خلال التفين أو LoRA، تمكن الباحثون من إنشاء تركيبات دقيقة جدًا لبيانات التدريب.

على الرغم من أن FineXtract كان قادرًا فقط على إعادة إنشاء 20% من البيانات من نقطة تحقق متفينة، إلا أن هذا أكثر مما يُحتاج عادةً لإثبات أن المستخدم قد استخدم مواد محمية بحقوق النشر أو محمية أو محظورة في إنتاج نموذج توليدي. في معظم الأمثلة المقدمة، تكون الصورة المستخرجة قريبة جدًا من المواد المصدر المعروفة.

بينما يتم الحاجة إلى تعليقات لاستخراج الصور المصدر، هذه ليست عائقًا كبيرًا لسببين: أ) عادةً ما يرغب المُرفق في تسهيل استخدام النموذج بين المجتمع وسيقدم عادةً أمثلة تحفيزية مناسبة؛ وب) ليس من الصعب، كما وجد الباحثون، استخراج المصطلحات الحاسمة بشكل أعمى من النموذج المتفين:

يمكن عادةً استخراج الكلمات الأساسية بشكل أعمى من النموذج المتفين باستخدام هجوم L2-PGD خلال 1000 تكرار، من تحفيز عشوائي.

غالبًا ما يتجنب المستخدمون جعل مجموعات بيانات التدريب الخاصة بهم متاحة جنبًا إلى جنب مع النموذج المدرب بالنمط “ال صندوق الأسود”. للبحث، تعاون المؤلفون مع هواة الذكاء الاصطناعي الذين قدموا في الواقع مجموعات بيانات.

الورقة الجديدة بعنوان كشف غير المرئي: توجيه نماذج التباين الشخصية لكشف بيانات التدريب، وتأتي من ثلاثة باحثين عبر جامعة كارنيجي وجامعة بوردو.

الطريقة

يتمثل “المهاجم” (في هذه الحالة، نظام FineXtract) في مقارنة توزيعات البيانات المقدرة عبر النموذج الأصلي والنموذج المتفين، في عملية يسميها المؤلفون “توجيه النموذج”.

من خلال ‘توجيه النموذج’ الذي طوّره باحثو الورقة الجديدة، يمكن تعيين سمات التفين، مما يسمح باستخراج بيانات التدريب.

يشرح المؤلفون:

‘خلال عملية التفين، تتحرك النماذج المتفينة تدريجيًا توزيعها المُتعلم من توزيعات النماذج المتفينة المسبقة نحو توزيع بيانات التفين.’

‘لذلك، نقدر تقريبيًا التوزيع المُتعلم للنماذج المتفينة.’

بهذه الطريقة، يُقدم مجموع الفرق بين النموذج الرئيسي والنموذج المتفين عملية التوجيه.

يضيف المؤلفون:

‘مع توجيه النموذج، يمكننا محاكاة “مزيّف”، يمكن استخدامه لتوجيه عملية العينة نحو منطقة الاحتمالية العالية في توزيع بيانات التفين.’

يعتمد التوجيه جزئيًا على عملية تشويش متغيرة مع مرور الوقت، مشابهة لخروج 2023 حذف المفاهيم من نماذج التباين.

تُقدم التنبؤ بالتخفيض أيضًا مقياس التوجيه المجاني للفئة (CFG) المحتمل. هذا مهم، لأن CFG يؤثر بشكل كبير على جودة الصورة وولاءها لتحفيز النص.

لتحسين دقة الصور المستخرجة، يعتمد FineXtract على التعاون المُحترم 2023 استخراج بيانات التدريب من نماذج التباين. الطريقة المستخدمة هي حساب التشابه بين كل زوج من الصور المُولدة، بناءً على عتبة محددة بواسطة درجة المُوصف الذاتي الإشرافي (SSCD).

بهذه الطريقة، يساعد خوارزمية التجميع FineXtract على تحديد مجموعة الصور المستخرجة التي تتوافق مع بيانات التدريب.

في هذه الحالة، تعاون الباحثون مع مستخدمين قدموا البيانات. يمكن القول بسهولة أن، في غياب مثل هذه البيانات، سيكون من المستحيل إثبات أن صورة معينة تم استخدامها في التدريب الأصلي. ومع ذلك، أصبح من السهل نسبيًا مطابقة الصور المُرفوعة إما ضد صور مباشرة على الويب أو صور موجودة في مجموعات بيانات منشورة، بناءً على محتوى الصورة فقط.

البيانات والاختبارات

لاختبار FineXtract، أجرى المؤلفون تجارب على نماذج متفينة قلية في السيناريوهين الأكثر شيوعًا للتفين، في نطاق المشروع: الأسلوب الفني، والتوليد القائم على الكائن (الذي يشمل بشكل فعال توليد قائم على الوجه).

اختاروا عشوائيًا 20 فنانًا (كل فنان مع 10 صور) من مجموعة WikiArt، و30 موضوعًا (كل موضوع مع 5-6 صور) من مجموعة DreamBooth، لمعالجة السيناريوهين على التوالي.

كان DreamBooth وLoRA هما أساليب التفين المستهدفة، وتم استخدام الاستقرار المتفين V1/.4 للاختبارات.

إذا لم تُرجع خوارزمية التجميع أي نتائج بعد ثلاثين ثانية، تم تعديل العتبة حتى تم إرجاع الصور.

كانت المعايير المستخدمة للصور المُولدة هي المتوسط المشترك (AS) تحت SSCD، ومعدل نجاح الاستخراج المتوسط (A-ESR) – مقياس يتوافق بشكل عام مع الأعمال السابقة، حيث يمثل الرقم 0.7 الحد الأدنى لتحديد استخراج بيانات التدريب بنجاح تام.

由于 أن الأساليب السابقة استخدمت إما التوليد المباشر للصورة من النص أو CFG، قام الباحثون بمقارنة FineXtract مع هذين الأسلوبين.

نتائج المقارنة بين FineXtract وأكثر الطرق السابقة شعبية.

يعلق المؤلفون:

‘تظهر النتائج ميزة FineXtract الكبيرة على الأساليب السابقة، مع تحسن يبلغ حوالي 0.02 إلى 0.05 في AS وازدواج معدل نجاح الاستخراج في معظم الحالات.’

لاختبار قدرة الطريقة على التعميم على بيانات جديدة، أجرى الباحثون اختبارًا آخر، باستخدام الاستقرار المتفين (V1.4)، الاستقرار المتفين XL، وAltDiffusion.

FineXtract مطبق على مجموعة من نماذج التباين. بالنسبة لمكون WikiArt، ركز الاختبار على أربع فئات في WikiArt.

كما هو موضح في النتائج أعلاه، تمكنت FineXtract من تحقيق تحسن على الأساليب السابقة في هذا الاختبار الأوسع.

مقارنة نوعية بين النتائج المستخرجة من FineXtract والأساليب السابقة. يرجى الرجوع إلى ورقة البحث للحصول على صورة أفضل.

يلاحظ المؤلفون أن عند استخدام عدد أكبر من الصور في مجموعة بيانات نموذج متفين، يحتاج خوارزمية التجميع إلى تشغيل لفترة أطول لتبقى فعالة.

كما يلاحظون أن هناك العديد من الأساليب التي تم تطويرها في السنوات الأخيرة لمنع هذا النوع من الاستخراج، تحت مسمى حماية الخصوصية. لذلك، قاموا باختبار FineXtract ضد بيانات محسنة بواسطة أساليب Cutout وRandAugment.

أداء FineXtract ضد الصور المحمية بواسطة Cutout وRandAugment.

مع أن المؤلفين يقررون أن نظامي الحماية يؤدّيان أداءً جيدًا في إخفاء مصادر بيانات التدريب، يلاحظون أن هذا يأتي على حساب انخفاض في جودة الإخراج بدرجة كبيرة لدرجة أن تجعل الحماية بلا فائدة:

صور تم إنتاجها تحت الاستقرار المتفين V1.4، متفين مع تدابير دفاعية – مما يخفض جودة الصورة بشكل كبير. يرجى الرجوع إلى ورقة البحث للحصول على صورة أفضل.

تختتم الورقة:

‘تظهر تجاربنا متانة الطريقة عبر مجموعات بيانات ومحاكيات العالم الحقيقي، مما يبرز المخاطر المحتملة لتسرب البيانات وتقديم أدلة قوية لانتهاكات حقوق النشر.’

الاستنتاج

أثبت عام 2024 أنه العام الذي زادت فيه اهتمام الشركات ببيانات التدريب “النظيفة” بشكل كبير، في مواجهة التغطية الإعلامية المستمرة لقدرة الذكاء الاصطناعي على استبدال البشر، وفرصة حماية النماذج التوليدية التي تتطلع إلى استغلالها بنفسها.

من السهل أن يُزعم أن بياناتك للتدريب نظيفة، ولكن من السهل أيضًا لتقنيات مماثلة إثبات أنها ليست كذلك – كما وجدت Runway ML وStability.ai وMidJourney (من بين آخرين) في الأيام الأخيرة.

مشاريع مثل FineXtract هي في الواقع نذير بإنتهاء عصر “الغرب المتوحش” للذكاء الاصطناعي، حيث يمكن حتى الطبيعة الغامضة لمساحة 潜 فيكون محسوبة.

* من أجل الاختصار، سنفترض ‘التنفيذ الدقيق وLoRA’ حيثما لزم الأمر.

نُشر لأول مرة يوم الإثنين، 7 أكتوبر 2024