أداة جديدة يمكن أن تُظهر للباحثين ما يُغفل عنه في الصور بواسطة الشبكات التوليدية المعارضة

最近، فريق من الباحثين من معمل MIT-IBM Watson AI قام بإنشاء طريقة لعرض ما تُغفله الشبكات التوليدية المعارضة عند طلب توليد الصور. وقد أطلق على هذه الدراسة اسم رؤية ما لا يمكن للشبكة التوليدية توليده، وتم تقديمها مؤخرًا في المؤتمر الدولي للرؤية الحاسوبية.

الشبكات التوليدية المعارضة أصبحت أكثر متانة ومتقدمة واستخدامًا على مدى السنوات القليلة الماضية. أصبحت جيدة جدًا في تقديم صور مليئة بالتفاصيل، طالما أن الصورة محصورة في منطقة صغيرة نسبيًا. ومع ذلك، عندما يتم استخدام الشبكات التوليدية لتوليد صور لمشاهد وأماكن أكبر، فإنها لا تعمل جيدًا. في السيناريوهات التي يتم فيها طلب توليد مشاهد مليئة بالكثير من الأشياء، مثل الشوارع المزدحمة، غالبًا ما تُغفل الشبكات التوليدية العديد من الجوانب المهمة من الصورة.

وفقًا لخبر MIT، تم تطوير هذا البحث جزئيًا بواسطة ديفيد باو، طالب دراسات عليا في قسم الهندسة الكهربائية وعلوم الحاسوب في معهد ماساتشوستس للتكنولوجيا. وأوضح باو أن الباحثين يركزون عادة على تحسين ما يهتم به نظام التعلم الآلي واكتشاف كيف يمكن映سة مدخلات معينة إلى مخرجات معينة. ومع ذلك، أوضح باو أيضًا أن فهم البيانات التي يُغفل عنها بواسطة نماذج التعلم الآلي غالبًا ما يكون مهمًا بنفس القدر، وأن فريق البحث يأمل أن يلهم أداتهم الباحثين للاهتمام بالبيانات المُهملة.

كان интерес باو في الشبكات التوليدية مدفوعًا بحقيقة أن هذه الشبكات يمكن استخدامها لتحقيق الطبيعة الغامضة للشبكات العصبية واكتساب直ورة عن كيفية عمل هذه الشبكات. كان باو قد عمل في السابق على أداة يمكنها تحديد مجموعات محددة من العصبونات الاصطناعية، ووضع علامات عليها على أنها مسؤولة عن تمثيل أشياء حقيقية مثل الكتب والغيوم والأشجار. كما كان لديه خبرة في أداة تسمى GANPaint، والتي تمكن الفنانين من إزالة وإضافة ميزات محددة من الصور باستخدام الشبكات التوليدية. وفقًا لباو، كشفت تطبيق GANPaint عن مشكلة محتملة في الشبكات التوليدية، وهي مشكلة أصبحت واضحة عندما قام باو بتحليل الصور. كما قال باو لموقع MIT News:

“دائمًا ما يشجعني مستشار tôi على النظر وراء الأرقام وفحص الصور الفعلية. عندما نظرنا، ظهرت الظاهرة على الفور: الناس كانوا يتم إهمالهم بشكل انتقائي”.

في حين أن أنظمة التعلم الآلي مصممة لاستخراج الأنماط من الصور، يمكنها أيضًا أن تُهمل الأنماط ذات الصلة. قام باو وآخرون بالتجربة على تدريب الشبكات التوليدية على مشاهد داخلية وخارجية مختلفة، ولكن في جميع أنواع المشاهد، تُغفل الشبكات التوليدية تفاصيل هامة في المشاهد مثل السيارات واللافتات والبشر والدراجات الهوائية، إلخ. كان هذا صحيحًا حتى عندما كانت الأشياء المُهملة مهمة للمشهد المحدد.

افترض فريق البحث أن الشبكات التوليدية، عند تدريبها على الصور، قد تجد من الأسهل التقاط أنماط الصورة التي من السهل تمثيلها، مثل الكائنات الثابتة الكبيرة مثل المناظر الطبيعية والمباني. تتعلم هذه الأنماط على حساب الأنماط الأخرى الأكثر صعوبة في التفسير، مثل السيارات والبشر. لقد كان من المعروف جيدًا أن الشبكات التوليدية غالبًا ما تهمل التفاصيل المهمة والمعنوية عند توليد الصور، ولكن دراسة فريق MIT قد تكون أول مرة يتم فيها إظهار أن الشبكات التوليدية تهمل فئات كاملة من الأشياء في الصورة.

يشير فريق البحث إلى أن الشبكات التوليدية يمكن أن تحقق أهدافها الرقمية حتى عند إهمال الأشياء التي يهتم بها البشر عند النظر إلى الصور. إذا كانت الصور التي تم توليدها بواسطة الشبكات التوليدية ستُستخدم لتدريب أنظمة معقدة مثل المركبات ذاتية القيادة، فيجب فحص بيانات الصورة بدقة لأن هناك قلقًا حقيقيًا من أن الأشياء الحرجة مثل اللافتات والبشر والسيارات الأخرى قد تُهمل في الصور. أوضح باو أن بحثهم يُظهر لماذا لا ينبغي أن يُعتمد أداء النموذج فقط على الدقة:

“نحن بحاجة إلى فهم ما تفعله الشبكات وما لا تفعله لضمان أنها تتخذ الخيارات التي نريدها أن تتخذها”.