Utilisation de la compression JPEG pour améliorer la formation de réseaux de neurones

Un nouvel article de recherche du Canada a proposé un cadre qui introduit délibérément la compression JPEG dans le schéma de formation d’un réseau de neurones, et parvient à obtenir de meilleurs résultats – et une meilleure résistance aux attaques adverses.

C’est une idée assez radicale, puisque la sagesse générale actuelle est que les artefacts JPEG, qui sont optimisés pour la vision humaine, et non pour l’apprentissage automatique, ont généralement un effet néfaste sur les réseaux de neurones formés sur des données JPEG.

Un exemple de la différence de clarté entre les images JPEG compressées à différents niveaux de perte (une perte plus élevée permet une taille de fichier plus petite, au détriment de la netteté et de la bande de gradient de couleur, entre autres types d’artefacts). Source: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

Un rapport de 2022 de l’Université du Maryland et de Facebook AI affirme que la compression JPEG « entraîne une pénalité de performance significative » dans la formation de réseaux de neurones, malgré des travaux antérieurs qui prétendent que les réseaux de neurones sont relativement résistants aux artefacts de compression d’image.

Un an avant cela, un nouveau courant de pensée était apparu dans la littérature: que la compression JPEG pourrait être exploitée pour améliorer les résultats de la formation de modèles.

Cependant, bien que les auteurs de cet article aient pu obtenir de meilleurs résultats dans la formation d’images JPEG de qualité variable, le modèle qu’ils proposaient était si complexe et lourd qu’il n’était pas praticable. De plus, l’utilisation par le système des paramètres d’optimisation JPEG par défaut (quantification) s’est avérée être un obstacle à l’efficacité de la formation.

Un projet ultérieur (2023’s JPEG Compliant Compression for DNN Vision) a expérimenté un système qui a obtenu de légèrement meilleurs résultats à partir d’images JPEG compressées avec l’utilisation d’un modèle de réseau de neurones profond (DNN) gelé. Cependant, geler des parties d’un modèle pendant la formation tend à réduire la polyvalence du modèle, ainsi que sa résilience plus large aux données nouvelles.

JPEG-DL

Au lieu de cela, le nouveau travail, intitulé JPEG Inspired Deep Learning, propose une architecture beaucoup plus simple, qui peut même être imposée sur des modèles existants.

Les chercheurs, de l’Université de Waterloo, déclarent:

‘Les résultats montrent que JPEG-DL surpasse de manière significative et constante le DL standard sur diverses architectures de réseaux de neurones, avec une augmentation négligeable de la complexité du modèle.

Plus précisément, JPEG-DL améliore la précision de classification de jusqu’à 20,9% sur certains ensembles de données de classification fine, tout en n’ajoutant que 128 paramètres entraînables à la pipeline DL. De plus, la supériorité de JPEG-DL sur le DL standard est encore démontrée par la robustesse accrue aux attaques adverses des modèles appris et la réduction de la taille des fichiers d’images d’entrée.’

Les auteurs soutiennent qu’un niveau de qualité de compression JPEG optimal peut aider un réseau de neurones à distinguer les sujets centraux d’une image. Dans l’exemple ci-dessous, nous voyons les résultats de base (gauche) qui fondent l’oiseau dans l’arrière-plan lorsque les caractéristiques sont obtenues par le réseau de neurones. En revanche, JPEG-DL (droite) parvient à distinguer et à délimiter le sujet de la photo.

Tests contre les méthodes de base pour JPEG-DL. Source: https://arxiv.org/pdf/2410.07081

‘Ce phénomène,’ expliquent-ils, ‘appelé “compression aide” dans le papier de [2021], est justifié par le fait que la compression peut supprimer le bruit et les caractéristiques de l’arrière-plan perturbatrices, mettant ainsi en évidence l’objet principal d’une image, ce qui aide les DNN à faire de meilleures prédictions.’

Méthode

JPEG-DL introduit un quantificateur souple différentiable, qui remplace l’opération de quantification non différentiable dans une routine d’optimisation JPEG standard.

Cela permet une optimisation basée sur le gradient des images. Ceci n’est pas possible dans la codification JPEG conventionnelle, qui utilise un quantificateur uniforme avec une opération d’arrondi qui approxime le coefficient le plus proche.

La différentiabilité du schéma de JPEG-DL permet une optimisation conjointe des paramètres du modèle de formation et de la quantification JPEG (compression). L’optimisation conjointe signifie que le modèle et les données de formation sont adaptés l’un à l’autre dans le processus de bout en bout, et qu’aucune gelée de couches n’est nécessaire.

En essence, le système personnalise la compression JPEG d’un ensemble de données (brut) pour l’adapter à la logique du processus de généralisation.

Schéma conceptuel pour JPEG-DL.

On pourrait supposer que les données brutes seraient l’alimentation idéale pour la formation; après tout, les images sont complètement décompressées dans un espace de couleur plein lorsque qu’elles sont exécutées en lots; donc quelle différence fait le format d’origine?

Eh bien, puisque la compression JPEG est optimisée pour la vision humaine, elle jette des zones de détail ou de couleur dans une manière concordante avec cet objectif. Étant donné une image d’un lac sous un ciel bleu, des niveaux de compression accrus seront appliqués au ciel, car il ne contient pas de « détail essentiel ».

D’un autre côté, un réseau de neurones manque de filtres excentriques qui nous permettent de nous concentrer sur les sujets centraux. Au lieu de cela, il est susceptible de considérer tout artefact de bande dans le ciel comme des données valables à assimiler dans son espace latent.

Bien qu’un humain rejette la bande dans le ciel, dans une image compressée lourdement (gauche), un réseau de neurones n’a aucune idée que ce contenu doit être jeté, et a besoin d’une image de meilleure qualité (droite). Source: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

Par conséquent, un niveau de compression JPEG est peu susceptible de convenir à l’ensemble du contenu d’un ensemble de données de formation, à moins qu’il ne représente un domaine très spécifique. Les images de foules nécessiteront beaucoup moins de compression que une image de focus étroit d’un oiseau, par exemple.

Les auteurs observent que ceux qui ne sont pas familiers avec les défis de la quantification, mais qui sont familiers avec les bases de l’architecture des transformateurs, peuvent considérer ces processus comme une opération d’attention, en général.

Données et tests

JPEG-DL a été évalué contre des architectures basées sur des transformateurs et des réseaux de neurones convolutionnels (CNN). Les architectures utilisées étaient EfficientFormer-L1; ResNet; VGG; MobileNet; et ShuffleNet.

Les versions ResNet utilisées étaient spécifiques à l’ensemble de données CIFAR: ResNet32, ResNet56 et ResNet110. VGG8 et VGG13 ont été choisis pour les tests basés sur VGG.

Pour les CNN, la méthodologie de formation était dérivée du travail de 2020 Contrastive Representation Distillation (CRD). Pour EfficientFormer-L1 (basé sur des transformateurs), la méthode de formation de 2023 a été utilisée.

Pour les tâches de grain fin présentées dans les tests, quatre ensembles de données ont été utilisés: Stanford Dogs; l’ensemble de données Flowers de l’Université d’Oxford; CUB-200-2011 (CalTech Birds); et Pets (‘Chats et chiens’, une collaboration entre l’Université d’Oxford et Hyderabad en Inde).

Pour les tâches de grain fin sur les CNN, les auteurs ont utilisé PreAct ResNet-18 et DenseNet-BC. Pour EfficientFormer-L1, la méthodologie décrite dans le Initializing Models With Larger Ones a été utilisée.

À travers les tâches CIFAR-100 et de grain fin, les différentes magnitudes de fréquences de transformation de cosinus discret (DCT) dans l’approche de compression JPEG ont été traitées avec l’optimiseur Adam, afin d’adapter le taux d’apprentissage pour la couche JPEG sur les modèles testés.

Dans les tests sur ImageNet-1K, à travers toutes les expériences, les auteurs ont utilisé PyTorch, avec SqueezeNet, ResNet-18 et ResNet-34 comme modèles principaux.

Pour l’évaluation de l’optimisation de la couche JPEG, les chercheurs ont utilisé la descente de gradient stochastique (SGD) au lieu d’Adam, pour une performance plus stable. Cependant, pour les tests ImageNet-1K, la méthode du papier de 2019 Learned Step Size Quantization a été employée.

Au-dessus de la précision de validation de niveau 1 pour la ligne de base par rapport à JPEG-DL sur CIFAR-100, avec des déviations standard et moyennes sur trois passes. En dessous, la précision de validation de niveau 1 sur diverses tâches de classification d’images de grain fin, sur diverses architectures de modèles, à nouveau, moyennées sur trois passes.

En commentant les résultats initiaux illustrés ci-dessus, les auteurs déclarent:

‘À travers tous les sept modèles testés pour CIFAR-100, JPEG-DL fournit des améliorations, avec des gains allant jusqu’à 1,53% en précision de niveau 1. Dans les tâches de grain fin, JPEG-DL offre une augmentation de performance substantielle, avec des améliorations allant jusqu’à 20,90% sur tous les ensembles de données en utilisant deux modèles différents.’

Les résultats pour les tests ImageNet-1K sont présentés ci-dessous:

Résultats de précision de validation de niveau 1 sur ImageNet à travers divers cadres.

Ici, le papier indique:

‘Avec une augmentation de complexité négligeable (en ajoutant 128 paramètres), JPEG-DL atteint un gain de 0,31% en précision de niveau 1 pour SqueezeNetV1.1 par rapport à la ligne de base en utilisant une seule opération de quantification.

‘En augmentant le nombre de tours de quantification à cinq, nous observons une amélioration supplémentaire de 0,20%, ce qui conduit à un gain total de 0,51% par rapport à la ligne de base.’

Les chercheurs ont également testé le système en utilisant des données compromises par les approches d’attaque adverses Fast Gradient Signed Method (FGSM) et Projected Gradient Descent (PGD).

Les attaques ont été menées sur CIFAR-100 sur deux des modèles:

Résultats de test pour JPEG-DL, contre deux cadres d’attaque adverses standard.

Les auteurs déclarent:

‘Les modèles JPEG-DL améliorent de manière significative la robustesse aux attaques adverses par rapport aux modèles DNN standard, avec des améliorations allant jusqu’à 15% pour FGSM et 6% pour PGD.’

En outre, comme illustré plus tôt dans l’article, les auteurs ont effectué une comparaison des cartes de fonctionnalités extraites en utilisant GradCAM++ – un cadre qui peut mettre en évidence les fonctionnalités extraites de manière visuelle.

Une illustration GradCAM++ pour la classification d’images de base et JPEG-DL, avec des fonctionnalités extraites mises en évidence.

Le papier note que JPEG-DL produit un résultat amélioré, et qu’il a même pu classifier une image que la ligne de base n’a pas pu identifier. En ce qui concerne l’image précédemment illustrée avec des oiseaux, les auteurs déclarent:

‘Il est évident que les cartes de fonctionnalités du modèle JPEG-DL montrent une meilleure distinction entre les informations de premier plan (l’oiseau) et l’arrière-plan par rapport aux cartes de fonctionnalités générées par le modèle de base.

‘Plus précisément, l’objet de premier plan dans les cartes de fonctionnalités JPEG-DL est enclos dans un contour bien défini, le rendant visuellement distinguishable de l’arrière-plan.

‘En revanche, les cartes de fonctionnalités du modèle de base montrent une structure plus mélangée, où le premier plan contient une énergie plus élevée dans les basses fréquences, ce qui le fait se fondre plus doucement avec l’arrière-plan.’

Conclusion

JPEG-DL est destiné à être utilisé dans des situations où des données brutes sont disponibles – mais il serait intéressant de voir si certains des principes présentés dans ce projet pourraient être appliqués à une formation de données conventionnelle, dans laquelle le contenu peut être de qualité inférieure (comme c’est souvent le cas avec des ensembles de données hyperscale extraits d’Internet).

Comme cela se présente, cela reste en grande partie un problème d’annotation, bien qu’il ait été abordé dans la reconnaissance d’images basée sur le trafic, et ailleurs.

Publié pour la première fois le jeudi 10 octobre 2024