كيف تعرف متى تكون أنظمة 합성 الصور بإنتاج مواد “أصلية” حقًا

اقترح دراسة جديدة من كوريا الجنوبية طريقة لتحديد ما إذا كانت أنظمة 合成 الصور تنتج صورًا جديدة حقًا أو “متغيرات صغيرة” على بيانات التدريب ، مما قد يخيب هدف هذه الهياكل (مثل إنتاج صور جديدة وأصلية).

في كثير من الأحيان ، يقترح البحث ، يكون الأمر الأخير صحيحًا ، لأن المقاييس الحالية التي تستخدمها هذه الأنظمة لتحسين القدرات التوليدية خلال التدريب مجبرة على تفضيل الصور التي هي قريبة نسبيًا من الصور المصدر (الغير مزيفة) في مجموعة البيانات.

بعد كل شيء ، إذا كانت الصورة المولدة “قريبة بصريًا” من بيانات المصدر ، فمن المحتمل أن تسجل نتائج أفضل للاختبارات من حيث “الصدق” أكثر من “الأصالة” ، لأنها “مخلصة” – حتى لو كانت غير ملهمة.

في قطاع لا يزال في مرحلة الطفولة ولا يزال غير مألوف ، قد يُظهر هذا أن يكون قضية قانونية مهمة ، إذا تبين أن المحتوى التخيلي التجاري لا يختلف بما فيه الكفاية عن مواد المصدر المملوكة (التي غالبًا ما تكون محمية بحقوق الطبع والنشر) التي يتم حاليًا السماح لها بالتدفق إلى قطاع البحث في شكل مجموعات بيانات مأخوذة من الويب (لقد أصبحت إمكانية المطالبات بالانتهاك المحتملة من هذا النوع بارزة نسبيًا مؤخرًا فيما يتعلق بذكاء Microsoft GitHub Co-Pilot).

فيما يتعلق bằng الإخراج المتزايد للوضوح والدقة من أنظمة مثل OpenAI’s DALL-E 2 ، و Google’s Imagen ، و China’s CogView (بالإضافة إلى DALL-E mini ذو المواصفات الأقل) ، هناك طرق قليلة لمعرفة أصالة الصورة المولدة.

في الواقع ، البحث عن بعض الصور الشائعة من الصور الجديدة التي تم إصدارها بواسطة DALL-E 2 غالبًا ما يؤدي فقط إلى المزيد من تلك الصور ، حسب محرك البحث.

Uploading a complete 9-image DALL-E 2 output group only leads to more DALL-E 2 output groups, because the grid structure is the strongest feature. Separating and uploading the first image (from this Twitter post of 8th يونيو 2022, from the ‘Weird Dall-E Generations’ account) causes Google to fixate on the basketball in the picture, taking the image-based search down a semantic blind alley. For the same image-based search, Yandex seems at least to be doing some actual pixel-based deconstruction and feature-matching.

على الرغم من أن Yandex أكثر احتمالًا لاستخدام الميزات الفعلية (أي الميزات المشتقة والحسابية للصورة ، وليس بالضرورة ميزات الوجه للأشخاص) والميزات البصرية (بدلاً من الميزات الدلالية) للصورة المرسلة للعثور على صور مشابهة ، جميع محركات البحث بالصور إما لديها بعض النية أو الممارسة التي قد تجعل من الصعب تحديد حالات التقليد من مصدر إلى مولد عبر عمليات البحث على الويب.

بالإضافة إلى ذلك ، قد لا تكون بيانات التدريب لنموذج مولد متاحة للجمهور بالكامل ، مما يعيق الفحص الشرعي لأصالة الصور المولدة.

من المثير للاهتمام ، عند إجراء بحث بالصور على واحدة من الصور التخيلية المميزة بواسطة Google في موقع Imagen المخصص ، لن يجد شيء مشابه لموضوع الصورة ، من حيث النظر إلى الصورة والبحث بلا غرض عن صور مشابهة.

Yandex ، من ناحية أخرى ، يجد مجموعة من الصور الحقيقية المتشابهة (أو على الأقل المرتبطة بصرية) من مجتمع الفن الهواة.

بشكل عام ، سيكون من الأفضل إذا كان يمكن قياس جديد أو أصالة إخراج أنظمة 合成 الصور بطريقة ما ، دون الحاجة إلى استخراج الميزات من كل صورة على الويب في وقت تدريب النموذج ، أو في مجموعات بيانات غير عامة قد تستخدم مواد مملوكة بحقوق الطبع والنشر.

مرتبط بهذه القضية ، قام باحثون من مدرسة كيم جايتشول للدراسات العليا لذكاء الاصطناعي في معهد كوريا المتقدم للعلوم والتكنولوجيا (KAIST AI) بالتعاون مع شركة NAVER Corp العالمية لتقنية المعلومات والبحث ل开发 رقم ندرة يمكن أن يساعد في تحديد الإبداعات الأكثر أصالة لأنظمة 合成 الصور.

Images here are generated via StyleGAN-FFHQ. From left to right, the columns indicate worst to best results. We can see that the ‘Truncation trick’ metric (see below) and the Realism metric have their own agendas, whilst the new ‘Rarity’ score (top row) is seeking out cohesive but original imagery (rather than just cohesive imagery). Since there are image-size limits in this article, please see the source paper for better detail and resolution. Source: https://arxiv.org/pdf/2206.08549.pdf

الورقة الجديدة بعنوان رقم ندرة: مقياس جديد لتقييم ندرة الصور المولدة ، وتأتي من ثلاثة باحثين من KAIST وثلاثة من NAVER Corp.

ما وراء الحيلة الرخيصة

من بين المقاييس السابقة التي تسعى الورقة الجديدة إلى تحسينها هي “حيلة القطع” المقترحة في عام 2019 في تعاون بين جامعة Heriot-Watt في المملكة المتحدة وشركة Google’s DeepMind.

تستخدم حيلة القطع أساسًا توزيعًا كامنًا مختلفًا للعينة أكثر من الذي تم استخدامه لتدريب نموذج التوليد.

كان الباحثون الذين طوروا هذه الطريقة مفاجئين من أنها عملت ، لكنهم يعترفون في الورقة الأصلية بأنها تقلل من تنوع الإخراج المولد. ومع ذلك ، أصبحت حيلة القطع فعالة وشائعة ، في سياق ما يمكن وصف بأنه “حيلة رخيصة” للحصول على نتائج تبدو حقيقية دون أن تدمج جميع الإمكانيات الكامنة في البيانات.

بخصوص حيلة القطع ، يلاحظ مؤلفو الورقة الجديدة ما يلي:

‘ليست حيلة القطع مصممة لإنتاج عينات نادرة في مجموعات التدريب ، ولكنها لتوليد صور نمطية أكثر استقرارًا. نحن نخمن أن النماذج التوليدية الحالية ستكون قادرة على إنتاج عينات أكثر غنى في توزيع البيانات الحقيقية إذا تمكن المولد من إنتاج عينات نادرة بشكل فعال.’

من الناحية العامة ، هناك ميل للاعتماد على المقاييس التقليدية مثل Frechet Inception Distance (FID ، والتي خضعت لانتقادات شديدة في ديسمبر 2021) ، و inception score (IS) و Kernel Inception Distance (KID) كملفات تقدم خلال تدريب نموذج التوليد ، يعلق المؤلفون كذلك:

‘تؤدي هذه مخطط التعلم إلى أن المولد لا يولّد عينات نادرة كثيرًا ، والتي هي فريدة وتتميز بميزات قوية لا تمثل جزءًا كبيرًا من توزيع الصور الحقيقية. أمثلة على العينات النادرة من مجموعات البيانات العامة تشمل أشخاصًا مع إكسسوارات مختلفة في FFHQ ، و حيوانات بيضاء في AFHQ ، و تماثيل غير شائعة في Metfaces.

‘إمكانية توليد العينات النادرة مهمة لا فقط لأنها تتعلق بقدرة النماذج التوليدية على الحواف ، ولكن أيضًا لأن الفردية تلعب دورًا مهمًا في التطبيقات الإبداعية مثل البشر الافتراضيين.

‘然而 ، النتائج النوعية لدراسات حديثة نادرًا ما تحتوي على هذه الأمثلة النادرة. نحن نخمن أن مخطط التعلم التنافسي يؤدي إلى توزيع الصور المولدة مشابه لتوزيع مجموعة التدريب. وبالتالي ، الصور التي تتميز بالفردية أو الندرة لا تمثل جزءًا كبيرًا من الصور المولدة بواسطة النماذج.’

الтехنيك

يعدّ رقم الندرة الجديد فكرة مقدمة في أعمال سابقة أخرى – استخدام K-Nearest Neighbors (KNNs) لتمثيل مصفوفات البيانات الحقيقية (المدربة) والبيانات المولدة (الخرج) في نظام合성 الصور.

بخصوص هذه الطريقة الجديدة للتحليل ، يؤكد المؤلفون:

‘نحن نخمن أن العينات العادية ستكون أقرب إلى بعضها البعض ، بينما العينات الفريدة والنادرة ستكون موزعة بازرة في فضاء الميزات.’

تظهر الصورة النتائج أعلاه أقرب جار أقرب إلى الأبعد ، في هيكل StyleGAN مدرب على FFHQ.

‘لجميع مجموعات البيانات ، العينات ذات أقرب جار أقرب تظهر صورًا نمطية وتقليدية. على العكس ، العينات ذات أكبر جار أقرب تتميز بالفردية وتختلف بشكل كبير عن الصور النمطية ذات أقرب جار أقرب.’

في النظرية ، يمكن استخدام هذا المقياس الجديد كمنفذ ، أو على الأقل إدراجه في هيكل منفذ أكثر تعقيدًا ، لتوجيه نظام التوليد بعيدًا عن التقليد الأملس نحو خوارزمية أكثر اختراعًا ، مع الحفاظ على تماسك المفاهيم الأساسية التي قد تكون حاسمة لإنتاج صور حقيقية (أي “رجل” ، “امرأة” ، “سيارة” ، “كنيسة” ، إلخ.).

المقارنات والتجارب

أجريت المقارنات بين أداء رقم الندرة و نقطة الواقعية التي قدمتها NVIDIA في عام 2019 ، ووجد أن هذا النهج يمكنه تمييز نتائج “فريدة” في مجموعة متنوعة من الإطارات ومجموعات البيانات.

على الرغم من أن النتائج الموجزة في الورقة طويلة جدًا لدرجها هنا ، يبدو أن الباحثين قد أثبتوا khả năng هذا النهج لتحديد الندرة في كل من الصور الحقيقية والمولدة في إجراء التوليد:

Select examples from the extensive visual results reproduced in the paper (see source URL above for more details). On the left, genuine examples from FFHQ that have very few near neighbors (i.e. are novel and unusual) in the original dataset; on the right, fake images generated by StyleGAN, which the new metric has identified as truly novel. Since there are image-size limits in this article, please see the source paper for better detail and resolution.

يسمح رقم الندرة الجديد ليس فقط بتحديد الإخراج المولد الجديد في هيكل معين ، ولكن أيضًا بالمقارنات بين نماذج مولدة مختلفة القوام (أي محول التشفير ، VAE ، GAN ، إلخ.).

تلاحظ الورقة أن رقم الندرة يختلف عن المقاييس السابقة من خلال التركيز على khảية إطار التوليد لإنشاء صور فريدة ونادرة ، بدلاً من المقاييس “التقليدية” التي تدرس (بصورة أكثر تقليدية) التنوع بين الأجيال خلال تدريب النموذج.

ما وراء المهام المحدودة

على الرغم من أن باحثي الورقة الجديدة قد أجروا اختبارات على إطارات مجال محدود (مثل أزواج مولد ومجموعة بيانات مصممة لإنتاج صور لأشخاص أو قطط ، على سبيل المثال) ، يمكن تطبيق رقم الندرة بشكل محتمل على أي إجراء合성 صورة حيث يُريد تحديد الأمثلة المولدة التي تستخدم التوزيعات المشتقة من بيانات التدريب ، بدلاً من زيادة الصدق (وتقليل التنوع) من خلال وضع توزيعات كامنة أجنبية ، أو الاعتماد على “حيل” أخرى التي ت妥ّف النovelty لصالح الصدق.

في الواقع ، يمكن أن يكون هذا المقياس وسيلة لتحديد نتائج حقيقية جديدة في أنظمة مثل سلسلة DALL-E ، عن طريق استخدام المسافة المعرفية بين نتيجة واضحة “مختلفة” ، وبيانات التدريب ، ونتائج من دفعات أو مدخلات مشابهة (أي دفعات الصور).

في الممارسة ، وفي غياب فهم واضح لمدى امتصاص النظام للفهم البصري والدلالي (الذي غالبًا ما يتم حظره بسبب المعرفة المحدودة حول بيانات التدريب) ، يمكن أن يكون هذا النهج وسيلة لتحديد “لحظة الإلهام” الحقيقية في نظام مولد – النقطة التي يكون فيها عدد كافٍ من مفاهيم المدخلات والبيانات قد أدى إلى شيء مخترع حقًا ، بدلاً من شيء مألوف أو قريب من بيانات المصدر.

* تحويلي لمراجع المؤلفين الداخلية إلى روابط.

نشر لأول مرة في 20 يونيو 2022.