المنفعة غير المقصودة لتحديد مساحة潜 في GAN

في محاولة لتحسين جودة ووضوح الصور التي تم إنشاؤها بواسطة الذكاء الاصطناعي، اكتشف فريق من الباحثين من الصين وأستراليا بطريقة غير مقصودة لتحكم تفاعلي في مساحة潜 في الشبكة التوليدية المعادية (GAN) – المصفوفة الحسابية الغامضة التي تقف وراء تقنيات合成 الصور الجديدة التي من المتوقع أن تحول صناعات السينما والألعاب والوسائط الاجتماعية وغيرها من القطاعات في الترفيه والبحث.

اكتشافهم، الذي هو نتيجة ثانوية للهدف المركزي للمشروع، يسمح للمستخدم باستكشاف مساحة潜 في GAN بشكل تعاوني و تفاعلي باستخدام الفأرة، كما لو كان يمر عبر مقطع فيديو أو يتصفح كتابًا.

مقتطف من مقطع الفيديو المصاحب للباحثين (انظر المرفق في نهاية المقال لمزيد من الأمثلة). لاحظ أن المستخدم يقوم بتحريك التحويلات باستخدام مؤشر “الضبط” (الزاوية العلوية اليسرى). المصدر: https://www.youtube.com/watch?v=k7sG4XY5rIc

تستخدم هذه الطريقة “خرائط حرارية” لتحديد المناطق التي يجب تحسينها في الصورة أثناء تشغيل GAN على نفس مجموعة البيانات آلاف أو مئات الآلاف من المرات. تهدف الخرائط الحرارية إلى تحسين جودة الصورة من خلال إخبار GAN بأي جزء من الصورة يحتاج إلى تحسين، بحيث يمكن أن يكون محاولة GAN التالية أفضل؛ ومع ذلك، فإن هذا يوفر أيضًا “خريطة” لمساحة 潜 بأكملها التي يمكن استكشافها عن طريق تحريك الفأرة.

الانتباه البصري المكاني من خلال GradCAM، الذي يشير إلى المناطق التي تحتاج إلى الانتباه من خلال فرض ألوان ساطعة. المصدر: https://arxiv.org/pdf/2112.00718.pdf

المقالة بعنوان تحسين توازن GAN من خلال رفع الوعي المكاني، ويأتي من باحثين في جامعة هونغ كونغ الصينية والجامعة الوطنية الأسترالية. بالإضافة إلى المقالة، يمكن العثور على مقطع الفيديو والمواد الأخرى في صفحة المشروع.

العمل masih في مرحلة 初期، ومحدود حاليًا بالصور منخفضة الدقة (256×256)، ولكنه يثبت مفهومًا يpromises لكسر “الصندوق الأسود” لمساحة 潜، ويأتي في وقت يضرب فيه العديد من مشاريع البحث على باب التحكم في合成 الصور.

على الرغم من أن هذه الصور ممتعة (ويمكنك رؤية المزيد منها، بدقة أفضل، في مقطع الفيديو المرفق في نهاية هذا المقال)، فإن ما هو أكثر أهمية هو أن المشروع قد وجد طريقة لتحسين جودة الصورة، وربما لفعل ذلك بشكل أسرع، من خلال إخبار GAN تحديدًا أين يخطئ أثناء التدريب.

لكن، كما يشير المعادي، GAN ليس كيانًا واحدًا، بل صراع غير متكافئ بين السلطة والعمل الشاق. لتفهم التحسينات التي قام بها الباحثون في هذا الصدد، دعونا ننظر إلى كيفية تصور هذا الصراع حتى الآن.

مصير المولد

إذا كنت قد تعرضت لخوف أن بعض العناصر الجديدة التي اشتريتها قد تم إنتاجها في مصنع استغلال في بلد معين، أو كنت تعمل لمدير أو عميل ي告诉ك دائمًا “افعلها مرة أخرى!” دون أن يخبرك أبدًا ما كان خطأً في محاولة سابقة، فاحفظ بعض الشفقة للمولد في الشبكة التوليدية المعادية.

المولد هو العامل الذي ساعد GANs على إنشاء صور واقعية لاشخاص غير موجودين، وترقية ألعاب فيديو قديمة إلى دقة 4k، و تحويل مقاطع فيديو قديمة إلى صيغ ملونة بدقة عالية عند 60 إطارًا في الثانية، من بين أشياء أخرى رائعة من اختراعات الذكاء الاصطناعي.

من إنشاء وجوه واقعية لاشخاص غير موجودين إلى استعادة مقاطع فيديو قديمة وتنشيط ألعاب فيديو أرشيفية، كان GAN مشغولاً في السنوات القليلة الماضية.

يتم تشغيل المولد على جميع بيانات التدريب مرة بعد مرة (مثل الصور، من أجل إنشاء GAN يمكنه إنشاء صور لاشخاص عشوائيين غير موجودين)، صورة تلو الأخرى، لمدة أيام أو حتى أسابيع، حتى يتمكن من إنشاء صور مقنعة مثل الصور الأصلية التي درسها.

كيف يعرف المولد أنه يحرز أي تقدم، كل مرة يحاول فيها إنشاء صورة أفضل من محاولة سابقة؟

المولد لديه رئيس من الجحيم.

ال opak المخادع

عملية التمييز هي إخبار المولد أنه لم ينجح في إنشاء صورة حقيقية، وطلب منه إعادة المحاولة. التمييز لا يخبر المولد ما كان خطأ في محاولة سابقة؛ إنه يأخذ نظرة خاصة على ذلك، ويقارنه بالصور المصدر (أيضًا بشكل خاص)، ويعين درجة.

الدرجة ليست كافية أبدًا. التمييز لن يتوقف عن قول إعادة المحاولة حتى يتم إيقاف الباحثين (عندما ي判断ون أن التدريب الإضافي لن ي cải thiện الإخراج).

بهذه الطريقة، في غياب أي نقد بناء، ومسلح فقط بنتيجة درجية يظل لغزًا، يجب على المولد تخمين عشوائيًا أي أجزاء أو جوانب من الصورة تسببت في درجة أعلى من المرة السابقة. هذا سوف يقوده إلى العديد من المسارات غير مرضية قبل أن يتغير شيئًا بشكل إيجابي بما يكفي للحصول على درجة أعلى.

التمييز كمدرب ومرشد

الابتكار المقدم من البحث الجديد هو أساسًا أن التمييز يشير الآن إلى المولد أي أجزاء من الصورة كانت غير مرضية، بحيث يمكن للمولد التركيز على تلك المناطق في محاولة التالية، ولا يلقي بالمناطق التي تم تقييمها أعلى.

لإصلاح عدم التكافؤ في الرؤية بين التمييز والمولد، استخدم الباحثون GradCAM كآلية قادرة على صياغة رؤية التمييز في أداة ملاحظة بصرية للمولد في محاولة التالية.

طريقة التدريب الجديدة تسمى EqGAN. من أجل الحصول على أقصى قدر من الإعادة، دمج الباحثون تقنيات وطرق موجودة في إعدادات افتراضية، بما في ذلك استخدام StyleGan2.

هندسة EqGAN. يتم محاذاة التشفير المكاني للمولد مع الوعي المكاني للتمييز، مع عينات عشوائية من خرائط الحرارة المكانية (انظر الصورة السابقة) مشفرة مرة أخرى في المولد من خلال طبقة التشفير المكاني (SEL). GradCAM هو الآلية التي يتم من خلالها جعل خرائط الانتباه للتمييز متاحة للمولد.

تنتج GradCAM خرائط حرارية (انظر الصور أعلاه) التي تعكس نقد التمييز للمحاولة الأخيرة، وتجعلها متاحة للمولد.

مرة واحدة يتم تدريب النموذج، تظل الخريطة كartifact من هذا العملية التعاونية، ولكن يمكن أيضًا استخدامها لاستكشاف الرمز 潜 النهائي بطريقة تفاعلية كما هو موضح في مقطع فيديو الباحثين (انظر أدناه).

EqGAN

استخدم المشروع عددًا من مجموعات البيانات الشهيرة، بما في ذلك مجموعة LSUN Cat و Churches، بالإضافة إلى مجموعة FFHQ. يظهر مقطع الفيديو أدناه أيضًا أمثلة على تحويل الوجه والقطة باستخدام EqGAN.

تم تحجيم جميع الصور إلى 256×256 قبل تدريب EqGAN على التنفيذ الرسمي ل StyleGAN2. تم تدريب النموذج بขนาด.batch من 64 على 8 وحدات معالجة رسومات حتى تمكنت التمييز من التعرض إلى أكثر من 25 مليون صورة.

اختبار نتائج النظام عبر عينات محددة مع مسافة فريتش إنسيبشن (FID)، أقام المؤلفون مقياسًا يسمى مؤشر عدم التوازن (DI) – درجة التي يبقى فيها التمييز بميزة معرفية على المولد، مع هدف تضييق ذلك الفجوة.

على مدى ثلاث مجموعات بيانات تم تدريبها، أظهر المقياس الجديد انخفاضًا مفيدًا بعد تشفير الوعي المكاني في المولد، مع تحسين التوازن أظهره كل من FID و DI.

يخلص الباحثون إلى:

‘نأمل أن يلهم هذا العمل المزيد من الأعمال لإعادة النظر في توازن GAN وتطوير طرق جديدة لتحسين جودة合성 الصور من خلال التلاعب بتوازن GAN. سنقوم أيضًا بإجراء مزيد من التحقيقات النظرية حول هذه القضية في العمل المستقبلي.’

ويستمر:

‘النتائج النوعية تظهر أن طريقةنا نجحت في إجبار المولد على التركيز على مناطق محددة. تجارب على مجموعات بيانات مختلفة تؤكد أن طريقةنا تقلل من عدم التوازن في تدريب GAN وتحسن بشكل كبير من جودة合성 الصور بشكل عام. النموذج الناتج مع الوعي المكاني يسمح أيضًا بتحويل الصورة الإخراجية بشكل تفاعلي.’

انظر مقطع الفيديو أدناه لمزيد من التفاصيل حول المشروع، وأمثلة إضافية لاستكشاف ديناميكي وتفاعلي لمساحة 潜 في GAN.

11:12am 4th Dec 2021 – Corrected URL for GradCAM and tidied up surrounding reference.