Améliorer les performances de l’apprentissage automatique grâce au redimensionnement d’images basé sur les CNN

Les chercheurs de Google ont proposé une nouvelle méthode pour améliorer l’efficacité et la précision des flux de travail de formation de la vision par ordinateur basés sur des images en améliorant la façon dont les images d’un ensemble de données sont réduites à la phase de prétraitement.

Dans l’article Learning to Resize Images for Computer Vision Tasks, les chercheurs Hossein Talebi et Peyman Milanfar utilisent un CNN pour créer une nouvelle architecture hybride de redimensionnement d’images qui produit une amélioration notable des résultats de reconnaissance obtenus sur quatre ensembles de données de vision par ordinateur populaires.

Le cadre proposé pour la reconnaissance et le redimensionnement. Source: https://arxiv.org/pdf/2103.09950.pdf

L’article observe que les méthodes de redimensionnement actuellement utilisées dans les pipelines d’apprentissage automatique sont désuètes depuis des décennies et utilisent souvent des méthodes de redimensionnement basiques telles que le redimensionnement bilineaire, bicubique et voisin le plus proche – des méthodes qui traitent tous les pixels de manière indifférenciée.

En revanche, la méthode proposée augmente les données d’image via un CNN et incorpore ces entrées dans les images redimensionnées qui passeront finalement par l’architecture du modèle.

Contraintes d’image dans la formation de l’IA

Pour former un modèle qui traite des images, un cadre d’apprentissage automatique inclura une phase de prétraitement, où une variété d’images de tailles, d’espaces de couleur et de résolutions (qui contribueront à l’ensemble de données de formation) sont systématiquement coupées et redimensionnées pour obtenir des dimensions et un format cohérents.

En général, cela impliquera un compromis basé sur le format PNG, où un compromis entre le temps de traitement/les ressources, la taille du fichier et la qualité de l’image sera établi.

La plupart du temps, les dimensions finales de l’image traitée sont très petites. Ci-dessous, nous voyons un exemple de la résolution 80×80 à laquelle certains des premiers ensembles de données de deepfakes ont été générés:

Puisque les visages (et d’autres sujets possibles) ne correspondent rarement au ratio carré requis, des barres noires peuvent être ajoutées (ou de l’espace gaspillé) pour homogénéiser les images, réduisant encore les données d’image réellement utilisables:

Ici, le visage a été extrait d’une zone d’image plus grande jusqu’à ce qu’il soit coupé de manière économique pour inclure la zone du visage entière. Cependant, comme on le voit à droite, une grande partie de la zone restante ne sera pas utilisée pendant la formation, ajoutant plus de poids à l’importance de la qualité de l’image des données redimensionnées.

À mesure que les capacités des GPU ont amélioré ces dernières années, avec la nouvelle génération de cartes NVIDIA équipées de quantités croissantes de VRAM, les tailles d’image moyennes commencent à augmenter, bien que 224×224 pixels soit toujours une taille standard (par exemple, c’est la taille de l’ensemble de données ResNet-50).

Une image non redimensionnée de 224×244 pixels.

Ajuster les lots dans la VRAM

La raison pour laquelle les images doivent toutes être de la même taille est que la déscente de gradient, la méthode par laquelle le modèle s’améliore au fil du temps, nécessite des données de formation uniformes.

La raison pour laquelle les images doivent être si petites est qu’elles doivent être chargées (entièrement décompressées) dans la VRAM pendant la formation en petits lots, généralement entre 6 et 24 images par lot. Trop peu d’images par lot, et il n’y a pas suffisamment de matériel de groupe pour généraliser bien, en plus de prolonger le temps de formation; trop, et le modèle peut ne pas obtenir les caractéristiques et les détails nécessaires (voir ci-dessous).

Cette section « chargement en direct » de l’architecture de formation est appelée espace latent. C’est là que les caractéristiques sont extraites à plusieurs reprises des mêmes données (c’est-à-dire les mêmes images) jusqu’à ce que le modèle ait convergé vers un état où il a toutes les connaissances généralisées dont il a besoin pour effectuer des transformations sur des données ultérieures, non vues, de type similaire.

Ce processus prend généralement des jours, bien qu’il puisse prendre un mois ou plus de cogitation constante et intense 24/7 pour atteindre une généralisation utile. Les augmentations de la taille de la VRAM ne sont utiles qu’à un certain point, car même les petites augmentations de la résolution de l’image peuvent avoir un effet d’ordre de grandeur sur la capacité de traitement, et des effets sur la précision qui ne sont pas toujours favorables.

L’utilisation d’une capacité de VRAM plus grande pour accueillir des tailles de lot plus élevées est également une bénédiction mixte, car les vitesses de formation plus rapides obtenues par ce biais sont susceptibles d’être compensées par des résultats moins précis.

Par conséquent, puisque l’architecture de formation est si contrainte, tout ce qui peut améliorer les performances dans les limites existantes du pipeline est une réalisation notable.

Comment le redimensionnement supérieur aide

La qualité ultime d’une image qui sera incluse dans un ensemble de données de formation a été prouvée pour avoir un effet d’amélioration sur le résultat de la formation, en particulier dans les tâches de reconnaissance d’objets. En 2018, des chercheurs de l’Institut Max Planck pour les systèmes intelligents ont soutenu que le choix de la méthode de redimensionnement a un impact notable sur les performances de formation et les résultats.

De plus, des travaux antérieurs de Google (co-écrits par les auteurs de la nouvelle étude) ont constaté que la précision de classification peut être améliorée en maintenant le contrôle sur les artefacts de compression dans les images de l’ensemble de données.

L’architecture du CNN pour l’algorithme de redimensionnement proposé par Google Research.

Le modèle de CNN intégré dans le nouveau redimensionneur combine le redimensionnement bilineaire avec une fonction de connexion de saut qui peut incorporer la sortie du réseau formé dans l’image redimensionnée.

Contrairement à une architecture classique d’encodeur/décodeur, la nouvelle proposition peut agir non seulement comme un goulet d’étranglement à alimentation directe, mais également comme un goulet d’étranglement inverse pour une mise à l’échelle à une taille cible et/ou un rapport d’aspect. De plus, la méthode de redimensionnement « standard » peut être remplacée par n’importe quelle autre méthode traditionnelle appropriée, telle que Lanczos.

Détails à haute fréquence

La nouvelle méthode produit des images qui semblent « cuire » des fonctionnalités clés (qui seront finalement reconnues par le processus de formation) directement dans l’image source. En termes esthétiques, les résultats sont inhabituels:

La nouvelle méthode appliquée à quatre réseaux – Inception V2; DenseNet-121; ResNet-50; et MobileNet-V2. Les résultats de la méthode de redimensionnement d’images de Google Research produisent des images avec une agrégation de pixels évidente, anticipant les fonctionnalités clés qui seront discernées pendant le processus de formation.

Les chercheurs notent que ces expériences initiales sont exclusivement optimisées pour les tâches de reconnaissance d’images, et que lors des tests, leur « redimensionneur appris » basé sur le CNN a pu atteindre des taux d’erreur améliorés dans de telles tâches. Les chercheurs ont l’intention d’appliquer la méthode à d’autres types d’applications de vision par ordinateur basées sur des images à l’avenir.