Nouvel outil capable de montrer aux chercheurs ce que les GANs omettent d’une image

Récemment, une équipe de chercheurs du MIT-IBM Watson AI Lab a créé une méthode pour afficher ce que un Réseau Adversatif Génératif laisse de côté d’une image lorsqu’il est invité à générer des images. L’étude a été baptisée Seeing What a GAN Cannot Generate, et elle a été présentée récemment à la Conférence internationale sur la vision par ordinateur.

Les Réseaux Adversatifs Génératifs sont devenus plus robustes, plus sophistiqués et plus largement utilisés au cours des dernières années. Ils sont devenus très bons pour rendre des images riches en détails, tant que l’image est confinée à une zone relativement petite. Cependant, lorsqu’ils sont utilisés pour générer des images de scènes et d’environnements plus grands, ils ont tendance à ne pas performer aussi bien. Dans les scénarios où les GANs sont invités à rendre des scènes remplies d’objets et d’éléments, comme une rue animée, les GANs omettent souvent de nombreux aspects importants de l’image.

Selon MIT News, la recherche a été développée en partie par David Bau, un étudiant diplômé du département de génie électrique et d’informatique du MIT. Bau a expliqué que les chercheurs se concentrent généralement sur l’amélioration de ce que les systèmes d’apprentissage automatique prennent en compte et sur la compréhension de la manière dont certaines entrées peuvent être mappées à certaines sorties. Cependant, Bau a également expliqué que la compréhension des données ignorées par les modèles d’apprentissage automatique est souvent tout aussi importante et que l’équipe de recherche espère que leurs outils inspireront les chercheurs à prêter attention aux données ignorées.

L’intérêt de Bau pour les GANs a été suscité par le fait qu’ils pourraient être utilisés pour étudier la nature de boîte noire des filets de neurones et pour acquérir une intuition de la manière dont les réseaux pourraient raisonner. Bau a précédemment travaillé sur un outil capable d’identifier des clusters spécifiques de neurones artificiels, en les étiquetant comme étant responsables de la représentation d’objets du monde réel tels que des livres, des nuages et des arbres. Bau a également travaillé sur un outil appelé GANPaint, qui permet aux artistes de supprimer et d’ajouter des fonctionnalités spécifiques à des photos en utilisant des GANs. Selon Bau, l’application GANPaint a révélé un problème potentiel avec les GANs, un problème qui est devenu apparent lorsqu’il a analysé les images. Comme Bau l’a dit à MIT News :

“Mon directeur m’a toujours encouragé à regarder au-delà des chiffres et à examiner les images réelles. Lorsque nous avons regardé, le phénomène est apparu immédiatement : les gens étaient sélectionnés de manière sélective.”

Alors que les systèmes d’apprentissage automatique sont conçus pour extraire des modèles d’images, ils peuvent également finir par ignorer des modèles pertinents. Bau et d’autres chercheurs ont expérimenté l’entraînement de GANs sur diverses scènes intérieures et extérieures, mais dans tous les types de scènes, les GANs ont omis des détails importants dans les scènes comme des voitures, des panneaux de signalisation, des personnes, des vélos, etc. Cela était vrai même lorsque les objets omis étaient importants pour la scène en question.

L’équipe de recherche a émis l’hypothèse que lorsque le GAN est entraîné sur des images, le GAN peut trouver plus facile de capturer les modèles de l’image qui sont plus faciles à représenter, tels que les grands objets stationnaires comme les paysages et les bâtiments. Il apprend ces modèles plutôt que d’autres modèles plus difficiles à interpréter, tels que les voitures et les personnes. Il est de notoriété publique que les GANs omettent souvent des détails importants et significatifs lors de la génération d’images, mais l’étude de l’équipe du MIT peut être la première fois que les GANs ont été démontrés omettant des classes d’objets entières à l’intérieur d’une image.

L’équipe de recherche note qu’il est possible pour les GANs d’atteindre leurs objectifs numériques même lorsqu’ils omettent des objets que les humains considèrent comme importants lorsqu’ils regardent des images. Si les images générées par les GANs sont destinées à être utilisées pour entraîner des systèmes complexes comme les véhicules autonomes, les données d’image doivent être soigneusement examinées car il y a une réelle préoccupation que des objets critiques comme des panneaux, des personnes et d’autres voitures pourraient être omis des images. Bau a expliqué que leur recherche montre pourquoi les performances d’un modèle ne devraient pas être basées uniquement sur la précision :

“Il nous faut comprendre ce que les réseaux font et ne font pas pour nous assurer qu’ils font les choix que nous voulons qu’ils fassent.”