Réduction de la taille d’images haute résolution avec l’apprentissage automatique

Des recherches récentes menées au Royaume-Uni ont proposé une méthode améliorée d’apprentissage automatique pour redimensionner les images, basée sur la valeur perçue des différentes parties du contenu de l’image, plutôt que de réduire de manière indiscriminée la dimension (et donc la qualité et les caractéristiques extractables) de tous les pixels de l’image.

Dans le cadre d’un intérêt croissant pour les systèmes de compression basés sur l’intelligence artificielle, il s’agit d’une approche qui pourrait éventuellement éclairer de nouveaux codecs pour la compression d’images en général, bien que le travail soit motivé par l’imagerie médicale, où la réduction de taille arbitraire d’images médicales haute résolution pourrait entraîner la perte d’informations susceptibles de sauver des vies.

Architecture représentative du nouveau système. Le module de déformation interstitielle produit une carte de déformation qui correspond aux zones d’intérêt de l’image. La densité et la direction des points rouges indiquent ces zones. La carte est utilisée non seulement pour la réduction de taille, mais également pour reconstruire les zones d’intérêt principal lorsque le contenu de l’image est rééchantillonné de manière non uniforme à l’autre extrémité du processus d’apprentissage. Source: https://arxiv.org/pdf/2109.11071.pdf

Le système applique la ségmentation sémantique aux images – de grands blocs, représentés comme des blocs de couleur dans l’image ci-dessus, qui englobent des entités reconnues à l’intérieur de l’image, telles que ‘route’, ‘vélo’, ‘lésion’, etc. La disposition des cartes de ségmentation sémantique est ensuite utilisée pour calculer quelles parties de la photo ne devraient pas être excessivement réduites de taille.

Intitulé Apprendre à réduire la taille pour la ségmentation d’images haute résolution, le nouvel article est une collaboration entre des chercheurs du Centre de calcul d’images médicales de l’University College de Londres et des chercheurs du département Intelligence en santé de Microsoft Cambridge.

Le monde (plutôt) basse résolution de la formation de la vision par ordinateur

La formation de systèmes de vision par ordinateur est considérablement limitée par la capacité des GPU. Les ensembles de données peuvent contenir de nombreuses milliers d’images à partir desquelles des caractéristiques doivent être extraites, mais même les GPU à portée industrielle tendent à atteindre un maximum de 24 Go de VRAM, avec des pénuries en cours affectant la disponibilité et le coût.

Cela signifie que les données doivent être fournies aux noyaux de tenseur limités du GPU en lots gérables, avec 8-16 images typiques de nombreux flux de travail de formation de la vision par ordinateur.

Il n’y a pas beaucoup de solutions évidentes: même si la VRAM était illimitée et que les architectures de processeur pouvaient supporter ce type de débit à partir du GPU sans former un goulet d’étranglement architectural, des lots très importants tendraient à dériver des caractéristiques de haut niveau au détriment des transformations plus détaillées qui peuvent être critiques pour l’utilité de l’algorithme final.

L’augmentation de la résolution des images d’entrée signifiera que vous devrez utiliser des lots plus petits pour ajuster les données dans l’espace latent du GPU de formation. Cela, à son tour, est susceptible de produire un modèle qui est « excentrique » et surajusté.

L’ajout de GPU supplémentaires ne aide pas non plus, du moins dans les architectures les plus courantes: tandis que les configurations multi-GPU peuvent accélérer les temps de formation, elles peuvent également compromettre l’intégrité des résultats de formation, comme deux usines adjacentes travaillant sur le même produit, avec seulement une ligne téléphonique pour coordonner leurs efforts.

Images redimensionnées de manière intelligente

Ce qui reste, c’est que les sections les plus pertinentes d’une image typique pour un ensemble de données de vision par ordinateur pourraient, avec la nouvelle méthode, être préservées intactes dans le redimensionnement automatique qui se produit lorsque des images haute résolution doivent être réduites de taille pour s’adapter à un pipeline d’apprentissage automatique.

Ceci est un défi distinct par rapport au problème des artefacts de perte dans les ensembles de données de vision par ordinateur, où la qualité est perdue dans les pipelines de redimensionnement automatisés car le codec de compression jette trop d’informations (généralement irrécupérables).

Plutôt, dans ce cas, même la sauvegarde dans un format d’image sans perte (tel que PNG avec compression LZW) ne peut pas récupérer les informations qui sont génériquement supprimées lors du redimensionnement (par exemple) d’une scanographie par résonance magnétique (IRM) à partir de dimensions souvent record à une résolution plus crédible de 256×256 ou 512×512 pixels.

Pour aggraver les choses, en fonction des exigences du cadre, des bordures noires seront souvent ajoutées aux images source rectangulaires comme tâche de traitement de données de routine, afin de produire un format d’entrée réellement carré pour le traitement de réseau neuronal, réduisant encore l’espace disponible pour des données potentiellement cruciales.

Les chercheurs de l’UCL et de Microsoft proposent plutôt de rendre le processus de redimensionnement plus intelligent, en utilisant effectivement ce qui a toujours été une étape générique du pipeline pour mettre en évidence les zones d’intérêt, en déchargeant une partie du fardeau interprétatif du système d’apprentissage automatique à travers lequel les images passeront finalement.

La méthode, selon les chercheurs, améliore une offre de 2019 (image ci-dessous) qui a cherché des gains similaires en se concentrant sur la qualité de l’attention aux frontières des objets.

De ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al., 2019. Source: https://arxiv.org/pdf/1907.07156.pdf

Comme le note le nouveau travail, cette approche suppose que les zones d’intérêt se rassemblent aux frontières, alors que des exemples d’imagerie médicale, tels que des régions de cancer annotées, dépendent d’un contexte de plus haut niveau et peuvent apparaître comme des détails facilement supprimés au sein de zones plus larges dans une image, plutôt qu’aux bords.

Échantillonneur apprenable

La nouvelle recherche propose un échantillonneur apprenable appelé module de déformation, qui est formé conjointement avec un module de ségmentation parallèle, et peut donc être informé des zones d’intérêt identifiées par la ségmentation sémantique, et les prioriser lors du processus de réduction de taille.

Les auteurs ont testé le système sur plusieurs ensembles de données populaires, notamment Cityscapes, DeepGlobe et un ensemble de données local d’histologie du cancer de la prostate, ‘PCa-Histo’.

Trois approches: à gauche, l’échantillonnage uniforme existant; au milieu, l’approche de bord optimal de l’article de 2019; à droite, l’architecture derrière le nouveau système, informé par la reconnaissance d’entité dans une couche de ségmentation sémantique.

Une approche similaire a été tentée pour un classificateur proposé en 2019, mais les auteurs de l’article actuel soutiennent que cette méthode ne régularise pas suffisamment les zones d’accentuation, risquant de manquer des zones vitales dans un contexte d’imagerie médicale.

Résultats

Le module de déformation dans le nouveau système est un petit réseau de neurones convolutifs (CNN), tandis que la couche de ségmentation est une architecture de CNN profonde employant HRNetV2-W48. Le réseau de parsing de scène pyramidal (PSP-net) a été utilisé comme couche de vérification de sanité pour les tests CityScapes.

Les ensembles de données susmentionnés ont été testés avec le nouveau cadre, en utilisant l’échantillonnage uniforme (la méthode habituelle), la méthode de bord optimal de 2019 et la nouvelle approche utilisant la ségmentation sémantique.

Les auteurs rapportent que la nouvelle méthode montre ‘un avantage clair pour identifier et distinguer les classes les plus importantes sur le plan clinique’, avec une augmentation de précision de 15-20 %. Ils observent en outre que la distance entre ces classes est souvent définie comme ‘le seuil entre la santé et le cancer’.

Analyse de l’intersection sur l’union (IoU) par classe à travers les trois méthodes: à gauche, échantillonnage standard; au milieu, bord optimal; et à droite, la nouvelle approche. CityScapes a été réduit à une taille de 64 x 128, avec PCaHisto réduit à 80 x 800, et DeepGlobe réduit à 300 pixels carrés.

Le rapport indique que leur méthode ‘peut apprendre une stratégie de réduction de taille, mieux préserver les informations et permettre un meilleur compromis.’, concluant que le nouveau cadre ‘peut apprendre de manière efficace où “investir” le budget limité de pixels lors de la réduction de taille pour atteindre le rendement global le plus élevé en termes de précision de ségmentation’.

L’image principale de cet article a été extraite de thispersondoesnotexist.com. Mis à jour à 15h35 GMT+2 pour erreur de texte.