استخراج بيانات التدريب من نماذج الانتشار المستقرة المضبوطة بدقة

يقدم بحث جديد من الولايات المتحدة طريقة لاستخراج أجزاء كبيرة من بيانات التدريب من صقل .

من الممكن أن يوفر هذا دليلاً قانونيًا في الحالات التي تم فيها نسخ أسلوب الفنان، أو حيث تم استخدام الصور المحمية بحقوق الطبع والنشر لتدريب نماذج توليدية للشخصيات العامة، أو الشخصيات المحمية بحقوق الملكية الفكرية، أو المحتوى الآخر.

من الورقة الجديدة: تظهر صور التدريب الأصلية في الصف أعلاه، وتظهر الصور المستخرجة في الصف أدناه. المصدر: https://arxiv.org/pdf/2410.03039

تتوفر مثل هذه النماذج على نطاق واسع ومجاني على الإنترنت، في المقام الأول من خلال الأرشيفات الضخمة التي يساهم بها المستخدمون في civit.ai، وبدرجة أقل، على منصة مستودع Hugging Face.

النموذج الجديد الذي طوره الباحثون يسمى فاين اكستراكتويؤكد المؤلفون أنها تحقق نتائج متطورة في هذه المهمة.

تلاحظ الورقة:

يعالج [إطار عملنا] بفعالية تحدي استخراج بيانات الضبط الدقيق من نقاط تفتيش إدارة البيانات المُعدّلة والمتاحة للعامة. من خلال الاستفادة من الانتقال من توزيعات إدارة البيانات المُدرّبة مسبقًا إلى توزيعات البيانات المُعدّلة بدقة، يُوجّه FineXtract عملية التوليد بدقة نحو المناطق عالية الاحتمالية لتوزيع البيانات المُعدّلة بدقة، مما يُمكّن من استخراج البيانات بنجاح.

أقصى اليمين، الصورة الأصلية المستخدمة في التدريب. الصورة الثانية من اليمين، المستخرجة عبر FineXtract. تمثل الأعمدة الأخرى طرقًا بديلة سابقة. يُرجى الرجوع إلى الورقة المصدرية للحصول على دقة أفضل.

لماذا يهم

استخدم أصلي نماذج مدربة لأنظمة توليد النص إلى صورة مثل انتشار مستقر و تدفق يمكن للمستخدمين النهائيين تنزيلها وضبطها بدقة باستخدام تقنيات مثل 2022 دريم بوث التنفيذ.

الأمر الأسهل هو أن المستخدم يمكنه إنشاء ملف أصغر بكثير لورا نموذج فعال تقريبًا مثل النموذج المضبوط بالكامل.

مثال على نموذج LORA مدرب، متاح للتنزيل المجاني على موقع civitai الشهير للغاية. يمكن إنشاء مثل هذا النموذج في أي وقت من دقائق إلى بضع ساعات، بواسطة المتحمسين باستخدام برامج مفتوحة المصدر مثبتة محليًا - وعبر الإنترنت، من خلال بعض أنظمة التدريب المدعومة بواجهة برمجة التطبيقات الأكثر تساهلاً. المصدر: civitai.com

منذ عام 2022، أصبح من السهل إنشاء نقاط تفتيش وLoRAs دقيقة ومحددة الهوية، من خلال توفير عدد صغير فقط (متوسط ​​5-50) من الصور الموضحة، وتدريب نقطة التفتيش (أو LoRA) محليًا، على إطار عمل مفتوح المصدر مثل كوهيا س سأو باستخدام خدمات عبر الانترنت.

لقد حققت هذه الطريقة السهلة للتزييف العميق نجاحًا كبيرًا الشهرة في وسائل الإعلام على مدى السنوات القليلة الماضية، تم استيعاب أعمال العديد من الفنانين في نماذج توليدية تحاكي أسلوبهم. وقد أثار الجدل حول هذه القضايا اكتسب زخما على مدار أشهر 18 الأخيرة.

لقد تسببت السهولة التي يمكن للمستخدمين من خلالها إنشاء أنظمة الذكاء الاصطناعي التي تحاكي أعمال الفنانين الحقيقيين في إثارة ضجة وحملات متنوعة على مدار العامين الماضيين. المصدر: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

من الصعب إثبات الصور التي تم استخدامها في نقطة تفتيش دقيقة أو في LoRA، نظرًا لأن عملية تعميم "يُجرد" الهوية من مجموعات البيانات التدريبية الصغيرة، ومن غير المرجح أن يُعيد إنتاج أمثلة من بيانات التدريب أبدًا (باستثناء حالة المفرط(حيث يمكن اعتبار التدريب فاشلاً).

وهنا يأتي دور FineXtract. بمقارنة حالة نموذج الانتشار "القالب" الذي نزّله المستخدم بالنموذج الذي أنشأه لاحقًا عبر الضبط الدقيق أو LoRA، تمكّن الباحثون من إنشاء عمليات إعادة بناء دقيقة للغاية لبيانات التدريب.

على الرغم من أن FineXtract لم يتمكن إلا من إعادة إنشاء 20% من البيانات من عملية الضبط الدقيق*، فإن هذا أكثر مما قد يكون مطلوبًا عادةً لتقديم دليل على أن المستخدم استخدم مواد محمية بحقوق الطبع والنشر أو محمية أو محظورة بطريقة أخرى في إنتاج نموذج توليدي. في معظم الأمثلة المقدمة، تكون الصورة المستخرجة قريبة للغاية من المواد المصدرية المعروفة.

في حين أن التسميات التوضيحية ضرورية لاستخراج الصور المصدرية، فإن هذا لا يشكل عائقًا كبيرًا لسببين: أ) يرغب الشخص الذي قام بالتحميل عمومًا في تسهيل استخدام النموذج بين مجتمع ما وعادةً ما يقدم أمثلة سريعة مناسبة؛ و ب) وجد الباحثون أنه ليس من الصعب استخراج المصطلحات المحورية بشكل أعمى من النموذج الدقيق:

يمكن عادةً استخراج الكلمات الأساسية بشكل أعمى من النموذج المضبوط بدقة باستخدام هجوم L2-PGD على مدى 1000 تكرار، من موجه عشوائي.

كثيرًا ما يتجنب المستخدمون إتاحة مجموعات بيانات التدريب الخاصة بهم مع نموذج التدريب المُدرَّب بأسلوب "الصندوق الأسود". في هذا البحث، تعاون المؤلفون مع خبراء في التعلم الآلي، والذين قدموا بالفعل مجموعات البيانات.

استخدم ورقة جديدة بعنوان كشف ما هو غير مرئي: توجيه نماذج الانتشار المخصصة للكشف عن بيانات التدريبويأتي هذا التقرير من ثلاثة باحثين من جامعتي كارنيجي ميلون وبوردو.

الأسلوب

يقوم "المهاجم" (في هذه الحالة، نظام FineXtract) بمقارنة توزيعات البيانات المقدرة عبر النموذج الأصلي والنموذج المعدل، في عملية يطلق عليها المؤلفون "إرشادات النموذج".

ومن خلال "التوجيه النموذجي"، الذي طوره باحثو الورقة البحثية الجديدة، يمكن رسم خريطة لخصائص الضبط الدقيق، مما يسمح باستخراج بيانات التدريب.

يشرح المؤلفون:

'أثناء عملية الضبط الدقيق، تقوم [نماذج الانتشار] بتحويل توزيعها المكتسب تدريجيًا من [توزيع] نماذج الانتشار المدربة مسبقًا نحو [توزيع] البيانات المضبوطة بدقة.

'وبالتالي، فإننا نقوم بتقريب التوزيع المكتسب من نماذج الانتشار الدقيقة بشكل معياري.'

وبهذه الطريقة، يوفر مجموع الاختلاف بين النماذج الأساسية والنماذج الدقيقة عملية التوجيه.

ويضيف المؤلفون تعليقًا آخر:

'باستخدام إرشادات النموذج، يمكننا محاكاة "مزيل الضوضاء" الزائف بفعالية، والذي يمكن استخدامه لتوجيه عملية أخذ العينات نحو منطقة الاحتمالية العالية ضمن توزيع البيانات الدقيق.'

تعتمد الإرشادات جزئيًا على عملية ضوضاء متغيرة مع مرور الوقت مماثلة لتلك الخاصة بعام 2023 نزهة محو المفاهيم من نماذج الانتشار.

يوفر التنبؤ بإزالة الضوضاء الذي تم الحصول عليه أيضًا احتمالية إرشادات خالية من التصنيف مقياس (CFG). هذا مهم، إذ يؤثر CFG بشكل كبير على جودة الصورة ودقتها عند توجيه المستخدم للنص.

لتحسين دقة الصور المستخرجة، يعتمد FineXtract على برنامج 2023 الشهير للاتعاون استخراج بيانات التدريب من نماذج الانتشارالطريقة المستخدمة هي حساب تشابه كل زوج من الصور المولدة، استنادًا إلى عتبة محددة بواسطة الوصف الذاتي الإشراف (SSCD) النتيجة.

بهذه الطريقة، تساعد خوارزمية التجميع FineXtract على تحديد مجموعة فرعية من الصور المستخرجة التي تتوافق مع بيانات التدريب.

في هذه الحالة، تعاون الباحثون مع المستخدمين الذين جعلوا البيانات متاحة. ومن المعقول أن نقول إن: غائب في حالة وجود مثل هذه البيانات، فمن المستحيل إثبات أن أي صورة تم إنشاؤها بعينها قد تم استخدامها بالفعل في التدريب في الأصل. ومع ذلك، أصبح من السهل نسبيًا الآن مطابقة الصور التي تم تحميلها إما مع الصور الحية على الويب، أو الصور الموجودة أيضًا في مجموعات البيانات المعروفة والمنشورة، استنادًا فقط إلى محتوى الصورة.

البيانات والاختبارات

لاختبار FineXtract، أجرى المؤلفون تجارب على قليلة الطلقات نماذج دقيقة تم ضبطها عبر السيناريوهين الأكثر شيوعًا للضبط الدقيق، ضمن نطاق المشروع: الأساليب الفنيةو موجه نحو الكائنات الجيل (الأخير يشمل بشكل فعال الموضوعات القائمة على الوجه).

لقد اختاروا بشكل عشوائي 20 فنانًا (كل منهم لديه 10 صور) من ويكي آرت مجموعة البيانات، و30 موضوعًا (كل منها يحتوي على 5-6 صور) من مجموعة بيانات DreamBoothلمعالجة هذه السيناريوهات المختلفة.

تم استخدام DreamBooth وLoRA كطرق ضبط دقيقة مستهدفة، وتم استخدام Stable Diffusion V1/.4 للاختبارات.

إذا لم تُرجع خوارزمية التجميع أي نتائج بعد ثلاثين ثانية، يتم تعديل الحد الأقصى حتى يتم إرجاع الصور.

كان المقياسان المستخدمان للصور المولدة هما متوسط ​​التشابه (AS) تحت SSCD، ومتوسط ​​معدل نجاح الاستخراج (A-ESR) - وهو مقياس يتماشى على نطاق واسع مع الأعمال السابقة، حيث تمثل الدرجة 0.7 الحد الأدنى للإشارة إلى استخراج ناجح تمامًا لبيانات التدريب.

وبما أن الطرق السابقة استخدمت إما إنشاء نص مباشر إلى صورة أو CFG، فقد قارن الباحثون FineXtract مع هاتين الطريقتين.

نتائج مقارنات FineXtract مع الطريقتين السابقتين الأكثر شيوعًا.

تعليق المؤلفين:

'تظهر [النتائج] ميزة كبيرة لـ FineXtract مقارنة بالطرق السابقة، مع تحسن يتراوح بين 0.02 إلى 0.05 تقريبًا في AS ومضاعفة A-ESR في معظم الحالات.'

لاختبار قدرة الطريقة على التعميم على البيانات الجديدة، أجرى الباحثون اختبارًا آخر باستخدام الانتشار المستقر (V1.4)، انتشار مستقر XLو الانتشار البديل.

تم تطبيق FineXtract عبر مجموعة من نماذج الانتشار. بالنسبة لمكون WikiArt، ركز الاختبار على أربع فئات في WikiArt.

كما هو موضح في النتائج المعروضة أعلاه، تمكن FineXtract من تحقيق تحسن على الطرق السابقة أيضًا في هذا الاختبار الأوسع.

مقارنة نوعية بين النتائج المستخرجة من FineXtract والأساليب السابقة. يرجى الرجوع إلى الورقة المصدرية للحصول على دقة أفضل.

لاحظ المؤلفون أنه عند استخدام عدد متزايد من الصور في مجموعة البيانات لنموذج مضبوط بدقة، يجب تشغيل خوارزمية التجميع لفترة زمنية أطول حتى تظل فعالة.

كما لاحظوا أنه تم تطوير مجموعة متنوعة من الأساليب في السنوات الأخيرة بهدف إعاقة هذا النوع من الاستخراج، تحت رعاية حماية الخصوصية. لذلك، قاموا باختبار FineXtract على البيانات المعززة بواسطة انقطع و RandAugment الأساليب.

أداء FineXtract ضد الصور المحمية؛ بواسطة Cutout وRandAugment.

في حين يعترف المؤلفون بأن نظامي الحماية يعملان بشكل جيد للغاية في إخفاء مصادر بيانات التدريب، إلا أنهم يلاحظون أن هذا يأتي على حساب انخفاض حاد في جودة الإخراج لدرجة تجعل الحماية بلا معنى:

الصور التي تم إنتاجها باستخدام تقنية Stable Diffusion V1.4، تم ضبطها بدقة باستخدام تدابير دفاعية – مما أدى إلى انخفاض جودة الصورة بشكل كبير. يرجى الرجوع إلى ورقة المصدر للحصول على دقة أفضل.

وتخلص الورقة إلى:

"توضح تجاربنا قوة هذه الطريقة عبر مجموعات البيانات المختلفة ونقاط التفتيش في العالم الحقيقي، مما يسلط الضوء على المخاطر المحتملة لتسرب البيانات ويوفر أدلة قوية على انتهاكات حقوق النشر."

خاتمة

لقد أثبت عام 2024 أنه العام الذي يتزايد فيه اهتمام الشركات ببيانات التدريب "النظيفة" بشكل كبير، في مواجهة التغطية الإعلامية المستمرة لميل الذكاء الاصطناعي إلى استبدال البشر، واحتمال الحماية القانونية للنماذج التوليدية التي يحرصون هم أنفسهم على استغلالها.

من السهل الادعاء بأن بيانات التدريب الخاصة بك نظيفة، ولكن أصبح من السهل أيضًا بالنسبة للتقنيات المماثلة أن تثبت أنها ليست كذلك - كما فعلت Runway ML وStability.ai وMidJourney (من بين شركات أخرى). اكتشف في الايام الاخيرة.

يمكن القول إن مشاريع مثل FineXtract هي بمثابة نذير النهاية المطلقة لعصر "الغرب المتوحش" للذكاء الاصطناعي، حيث يمكن حتى محاسبة الطبيعة الغامضة ظاهريًا للفضاء الكامن المدرب.

* من أجل الراحة، سنفترض الآن "الضبط الدقيق وLoRA"، حيثما كان ذلك ضروريًا.

نُشرت لأول مرة يوم الاثنين 7 أكتوبر 2024