قطاع 합성 الصور يعتمد معيارًا معيبًا، وفقًا لما تدعيه الأبحاث

كان عام 2021 عامًا من التقدم غير المسبوق والانتشار السريع في قطاع合성 الصور، مع تقديم سلسلة من الابتكارات الجديدة والتحسينات في التكنولوجيا القادرة على إعادة إنتاج الشخصيات البشرية من خلال التصيير العصبي وال facesdeepfake و مجموعة من المناهج الجديدة.

然而، يعتقد الباحثون من ألمانيا الآن أن المعيار المستخدم لتحكيم واقعية الصور الاصطناعية تلقائيًا معيب بشكل جوهري؛ وأن المئات، بل الآلاف من الباحثين حول العالم الذين يعتمدون عليه لتقليل تكلفة نتائج التقييم القائمة على البشر قد يكونون في طريق مسدود.

为了证明 كيف أن المعيار، Fréchet Inception Distance (FID)، لا يتوافق مع معايير التقييم البشرية للصور، نشر الباحثون شبكاتهم العصبية الخاصة، محسنة ل FID (التي أصبحت الآن معيارًا شائعًا). لقد وجدوا أن FID يتبع هواجسه الخاصة، بناءً على الكود التحتية له مع مهمة مختلفة تمامًا عن مهمة合성 الصور، وأنه يفشل بانتظام في تحقيق معيار “بشرية” في التمييز:

FID scores (lower is better) for images generated by various models using standard datasets and architectures. The researchers of the new paper pose the question ‘Would you agree with these rankings?’. Source: https://openreview.net/pdf?id=mLG96UpmbYz

بالإضافة إلى ادعائهم بأن FID غير مناسب لمهمته المقصودة، يشير البحث أيضًا إلى أن “العلاجات الواضحة”، مثل استبدال محركها الداخلي بمحركات منافسة، لن يغيروا الحال. يُشير المؤلفون إلى أن الأمر يقع الآن على مبادرات بحثية جديدة لتطوير معايير أفضل لتقييم “الصدق” في الصور المولدة اصطناعيًا.

الورقة الورقة تحمل عنوان Internalized Biases in Fréchet Inception Distance، وهي من تأليف Steffen Jung في معهد ماكس بلانك للإنفورماتيكا في Saarland، وMargret Keuper، أستاذة الحوسبة البصرية في جامعة Siegen.

البحث عن نظام تسجيل ل合성 الصور

كما يشير البحث الجديد، فإن التقدم في إطارات合ن الصور، مثل GANs وarchitectures encoder/decoder، قد تجاوز الأساليب التي يمكن من خلالها تقييم نتائج هذه الأنظمة. بالإضافة إلى كونها باهظة الثمن وبالتالي صعبة النمذجة، فإن التقييم البشري لنتائج هذه الأنظمة لا يوفر طريقة قابلة للتكرار وذات صلة لمعالجة التقييم.

لذلك ظهرت العديد من إطارات المعايير، بما في ذلك Inception Score (IS)، المذكورة في ورقة 2016 ورقة Improved Techniques for Training GANs، التي شارك في تأليفها Ian Goodfellow، مخترع GAN.

أدت إبطال تقييم IS كمتغير شائع لشبكات GAN متعددة في عام 2018 إلى اعتماد FID على نطاق واسع في مجتمع合ن الصور. ومع ذلك، مثل Inception Score، فإن FID يعتمد على شبكة تصنيف الصور Inception v3 من Google (IV3).

يجادل مؤلفو الورقة الجديدة بأن Fréchet Inception Distance ي传播 تحيزات ضارة في IV3، مما يؤدي إلى تصنيف غير موثوق به لجودة الصورة.

منذ أن يمكن دمج FID في إطار التعلم الآلي كمنفذ (قاضي مدمج يقرر ما إذا كان GAN يعمل جيدًا أو يجب “محاولة مرة أخرى”)، يتعين عليه تمثيل معايير الموثوقية التي سيطبقها الإنسان عند تقييم الصور.

Fréchet Inception Distance

FID يقارن كيف يتم توزيع الميزات عبر مجموعة البيانات المستخدمة لإنشاء نموذج GAN (أو وظيفة مماثلة) والناتج عن ذلك النظام.

لذلك، إذا تم تدريب إطار GAN على 10,000 صورة ل (على سبيل المثال) المشاهير، FID يقارن الصور الأصلية (الحقيقية) بالصور المزيفة التي ينتجها GAN. كلما كان معدل FID أقل، كان GAN قد اقترب من الصور الواقعية، وفقًا لمعايير FID.

From the paper, results of a GAN trained on FFHQ64, a subset of NVIDIA’s very popular FFHQ dataset. Here, though the FID score is a wonderfully low 5.38, the results are not pleasing or convincing to the average human.

المشكلة، كما يجادل المؤلفون، هي أن Inception v3، التي تؤثر افتراضاتها على Fréchet Inception Distance، لا تنظر في المكان الصحيح – على الأقل، ليس عندما يتعلق الأمر بالمهمة المحددة.

Inception V3 مدرب على تحدي تحديد الكائنات في ImageNet، وهو مهمة يمكن أن تكون متعارضة مع طريقة تطور أهداف合ن الصور في السنوات الأخيرة. IV3 يختبر متانة النموذج من خلال إجراء تعديلات على البيانات: يقلب الصور بشكل عشوائي، ويقصها إلى مقياس عشوائي بين 8-100٪، ويغير نسبة الجانب (في نطاق من 3/4 إلى 4/3)، ويقوم بإدخال تشوهات لونية عشوائية تتعلق بالسطوع والتشبع والتوازن.

وجد الباحثون الألمان أن IV3 يميل إلى تفضيل استخراج الحواف والنسيج، بدلاً من معلومات اللون والكثافة، والتي ستكون معايير أكثر معنى لتحقيق الصدق في الصور الاصطناعية؛ وأن غرضها الأصلي من الكشف عن الكائنات قد تم الاستيلاء عليه بشكل غير مناسب لمهمة غير ملائمة. يُشير المؤلفون إلى ما يلي*:

‘[Inception v3] يمتلك تحيزًا لاستخراج الميزات على أساس الحواف والنسيج بدلاً من معلومات اللون والكثافة. هذا يتوافق مع трубة تعديل البيانات الخاصة به، والتي تُدخل تشوهات لونية، لكنها تحتفظ بمعلومات التردد العالي سليمة (على عكس، على سبيل المثال، تعديل البيانات باستخدام التمويه الغاوسي).

‘نتيجة لذلك، يرث FID هذا التحيز. عندما يتم استخدامه كمتغير ترتيب، قد يفضل النماذج التوليدية التي تكرر النسيج جيدًا على النماذج التي تكرر توزيعات اللون جيدًا.’

البيانات والمنهج

لاختبار فرضياتهم، قام المؤلفون بتدريب هيكلين من هيكل GAN، DCGAN و SNGAN، على مجموعة بيانات FFHQ البشرية من NVIDIA، مع تقليل دقة الصورة إلى 64^2. تمت تسمية مجموعة البيانات المشتقة باسم FFHQ64.

تم اتباع ثلاثة إجراءات لتدريب GAN: GAN G+D، وهو شبكة مقموعة قياسية؛ GAN FID|G+D، حيث يعمل FID كمنفذ إضافي؛ وGAN FID|G، حيث يتم تشغيل GAN بالكامل بواسطة درجة FID.

فنيًا، يشير المؤلفون إلى أن خسارة FID يجب أن تثبت التدريب، وربما تكون قادرة حتى على استبدال المنفذ (كما هو الحال في #3، GAN FID|G)، مع إنتاج نتائج مرضية للإنسان.

في الواقع، النتائج مختلفة تمامًا، مع مؤشرات المؤلفين على أن النماذج التي يتم دعمها بواسطة FID “تتعلم إنتاج ميزات غير مناسبة لتطابق توزيع البيانات التدريبية. هذه الملاحظة تصبح أكثر حدة في حالة [GAN FID|G]. هنا، نلاحظ أن المنفذ الناقص يؤدي إلى توزيعات ميزات غير متسقة مكانيًا. على سبيل المثال، [SNGAN FID|G] يضيف في الغالب عيون مفردة ويعيد ترتيب الميزات الوجهية بطريقة مخيفة.

Examples of faces produced by SNGAN FID|G.

يشير المؤلفون إلى ما يلي*:

‘في حين أن المراقبين البشر سيفضلون بالتأكيد الصور التي أنتجها SNGAN D+G على SNGAN FID|G (في الحالات التي يُفضل فيها إخلاص البيانات على الفن)، نرى أن هذا لا يعكس FID. لذلك، FID لا يتوافق مع الإدراك البشري.

‘نحن نجادل بأن الميزات التمييزية المقدمة من شبكات تصنيف الصور لا تكفي لتوفير أساس لمعيار ذي معنى.’

لا يوجد بديل سهل

كما وجد المؤلفون أن استبدال Inception V3 بمحرك مشابه لم يخفف من المشكلة. عند استبدال IV3 بـ “اختيار واسع من شبكات تصنيف مختلفة”، والتي تم اختبارها ضد ImageNet-C (فرع من ImageNet مصمم لتحديد الانحرافات الشائعة والمضطربة في الصور الناتجة من إطارات合ن الصور)، لم يتمكن الباحثون من تحسين نتائجهم بشكل كبير:

‘[التحيزات] الموجودة في Inception v3 موجودة أيضًا على نطاق واسع في شبكات تصنيف أخرى. بالإضافة إلى ذلك، نرى أن شبكات مختلفة ستنتج ترتيبات مختلفة بين أنواع الفساد.’

يختتم المؤلفون الورقة بالتطلع إلى أن تطور الأبحاث الجارية معيارًا “متماشيًا مع الإنسان وغائبًا عن التحيز” قادرًا على تمكين تصنيف أكثر عدلاً لعمارة مولدات الصور.

* تأكيدات المؤلف.

نشر لأول مرة في 20 ديسمبر 2021، الساعة 1 مساءً بتوقيت جرينيتش +2.