SEER : Une avancée dans les modèles d’apprentissage automatique non supervisé pour la vision par ordinateur ?

Au cours de la dernière décennie, l’intelligence artificielle (IA) et l’apprentissage automatique (AA) ont connu des progrès considérables. Aujourd’hui, ils sont plus précis, plus efficaces et plus capables qu’ils ne l’ont jamais été. Les modèles d’IA et d’AA modernes peuvent reconnaître sans effort et avec précision les objets dans les images ou les fichiers vidéo. De plus, ils peuvent générer du texte et de la parole qui rivalisent avec l’intelligence humaine.

Les modèles d’IA et d’AA d’aujourd’hui reposent fortement sur la formation sur des ensembles de données étiquetés qui leur apprennent à interpréter un bloc de texte, à identifier des objets dans une image ou une trame vidéo et à effectuer plusieurs autres tâches.

Malgré leurs capacités, les modèles d’IA et d’AA ne sont pas parfaits, et les scientifiques travaillent à la création de modèles capables d’apprendre à partir des informations qu’ils reçoivent, et non nécessairement en fonction de données étiquetées ou annotées. Cette approche est connue sous le nom d’apprentissage non supervisé, et c’est l’une des méthodes les plus efficaces pour créer des modèles d’AA et d’IA qui ont le « bon sens » ou les connaissances de base pour résoudre des problèmes qui dépassent les capacités des modèles d’IA actuels.

L’apprentissage non supervisé a déjà montré ses résultats dans le traitement automatique des langues, car il a permis aux développeurs de former de grands modèles capables de travailler avec une énorme quantité de données et a conduit à plusieurs avancées dans les domaines de l’inférence de langage naturel, de la traduction automatique et de la réponse aux questions.

Le modèle SEER de Facebook (META ) AI vise à maximiser les capacités de l’apprentissage non supervisé dans le domaine de la vision par ordinateur. SEER ou SElf-supERvisé est un modèle d’apprentissage non supervisé de la vision par ordinateur qui compte plus d’un milliard de paramètres, et il est capable de trouver des modèles ou d’apprendre même à partir d’un groupe aléatoire d’images trouvées sur Internet sans annotations ou étiquettes appropriées.

Le besoin d’apprentissage non supervisé dans la vision par ordinateur

L’annotation de données ou l’étiquetage de données est une étape de prétraitement dans le développement de modèles d’apprentissage automatique et d’intelligence artificielle. Le processus d’annotation de données identifie les données brutes comme les images ou les trames vidéo, puis ajoute des étiquettes sur les données pour spécifier le contexte des données pour le modèle. Ces étiquettes permettent au modèle de faire des prédictions précises sur les données.

L’un des plus grands obstacles et défis que les développeurs rencontrent lorsqu’ils travaillent sur des modèles de vision par ordinateur est de trouver des données annotées de haute qualité. Les modèles de vision par ordinateur d’aujourd’hui reposent sur ces ensembles de données étiquetés pour apprendre les modèles qui leur permettent de reconnaître les objets dans l’image.

L’annotation de données et son utilisation dans le modèle de vision par ordinateur posent les défis suivants :

Gestion de la qualité des ensembles de données

Le plus grand obstacle qui se dresse devant les développeurs est d’accéder à des ensembles de données de haute qualité de manière cohérente, car des ensembles de données de haute qualité avec des étiquettes et des images claires donnent lieu à de meilleurs modèles et à une meilleure précision. Cependant, accéder à des ensembles de données de haute qualité de manière cohérente présente ses propres défis.

Gestion de la main-d’œuvre

L’étiquetage des données est souvent accompagné de problèmes de gestion de la main-d’œuvre, principalement parce qu’un grand nombre de travailleurs est nécessaire pour traiter et étiqueter de grandes quantités de données non structurées et non étiquetées, tout en garantissant la qualité. Il est donc essentiel pour les développeurs de trouver un équilibre entre qualité et quantité lors de l’étiquetage des données.

Contraintes financières

Le plus grand obstacle est probablement les contraintes financières qui accompagnent le processus d’étiquetage des données, et le coût de l’étiquetage des données est souvent un pourcentage important du coût total du projet.

Comme vous le voyez, l’annotation de données est un obstacle majeur dans le développement de modèles de vision par ordinateur avancés, en particulier lorsqu’il s’agit de développer des modèles complexes qui traitent de grandes quantités de données de formation. C’est la raison pour laquelle l’industrie de la vision par ordinateur a besoin d’un apprentissage non supervisé pour développer des modèles de vision par ordinateur complexes et avancés capables de relever des tâches qui dépassent les capacités des modèles actuels.

Avec cela dit, il existe déjà de nombreux modèles d’apprentissage non supervisé qui ont bien performé dans un environnement contrôlé, et principalement sur l’ensemble de données ImageNet. Bien que ces modèles puissent faire un bon travail, ils ne satisfont pas à la condition principale de l’apprentissage non supervisé dans la vision par ordinateur : apprendre à partir de n’importe quel ensemble de données non borné ou d’une image aléatoire, et non seulement à partir d’un ensemble de données bien défini. Lorsqu’il est mis en œuvre de manière idéale, l’apprentissage non supervisé peut aider à développer des modèles de vision par ordinateur plus précis et plus capables qui sont rentables et viables.

SEER ou SElf-supERvisé : Une introduction

Les tendances récentes dans l’industrie de l’IA et de l’AA ont indiqué que les approches de pré-formation de modèles comme l’apprentissage semi-supervisé, l’apprentissage faiblement supervisé et l’apprentissage non supervisé peuvent améliorer considérablement les performances de la plupart des modèles d’apprentissage profond pour les tâches en aval.

Il existe deux facteurs clés qui ont contribué de manière significative à l’amélioration des performances de ces modèles d’apprentissage profond.

Pré-formation sur des ensembles de données massifs

La pré-formation sur des ensembles de données massifs donne généralement lieu à une meilleure précision et à de meilleures performances, car elle expose le modèle à une grande variété de données. Un grand ensemble de données permet aux modèles de comprendre les modèles dans les données mieux, et cela se traduit finalement par de meilleures performances dans les scénarios réels.

Certains des modèles les plus performants, comme le modèle de langage GPT-3 et le modèle Wav2vec 2.0, sont formés sur des ensembles de données massifs. Le modèle de langage GPT-3 utilise un ensemble de données de pré-formation avec plus de 300 milliards de mots, tandis que le modèle Wav2vec 2.0 pour la reconnaissance de la parole utilise un ensemble de données avec plus de 53 000 heures de données audio.

Modèles avec une grande capacité

Les modèles avec un grand nombre de paramètres donnent souvent des résultats précis, car un grand nombre de paramètres permet au modèle de se concentrer uniquement sur les objets dans les données qui sont nécessaires, et non sur les interférences ou les bruits dans les données.

Les développeurs ont tenté dans le passé de former des modèles d’apprentissage non supervisé sur des ensembles de données non étiquetés ou non curés, mais avec des ensembles de données plus petits qui ne contenaient que quelques millions d’images. Mais les modèles d’apprentissage non supervisé peuvent-ils donner lieu à une grande précision lorsqu’ils sont formés sur une grande quantité de données non étiquetées et non curées ? C’est précisément la question que le modèle SEER cherche à répondre.

Le modèle SEER est un cadre d’apprentissage profond qui vise à enregistrer les images disponibles sur Internet de manière indépendante des ensembles de données curés ou étiquetés. Le cadre SEER permet aux développeurs de former de grands et de complexes modèles d’AA sur des données aléatoires sans surveillance, c’est-à-dire que le modèle analyse les données et apprend les modèles ou les informations par lui-même sans aucune entrée manuelle.

L’objectif ultime du modèle SEER est d’aider à développer des stratégies pour le processus de pré-formation qui utilisent des données non curées pour offrir des performances de pointe dans l’apprentissage de transfert. De plus, le modèle SEER vise également à créer des systèmes qui peuvent apprendre en continu à partir d’un flux ininterrompu de données de manière non supervisée.

Le cadre SEER forme des modèles à haute capacité sur des milliards d’images aléatoires et non contraintes extraites d’Internet. Les modèles formés sur ces images ne reposent pas sur les métadonnées ou les étiquettes des images pour former le modèle, ou pour filtrer les données. Récemment, l’apprentissage non supervisé a montré un grand potentiel, car la formation de modèles sur des données non curées a donné lieu à de meilleurs résultats que les modèles pré-formés supervisés pour les tâches en aval.

SEER Framework et RegNet : Quel est le lien ?

Pour analyser le modèle SEER, il se concentre sur l’architecture RegNet avec plus de 700 millions de paramètres qui correspondent à l’objectif de l’apprentissage non supervisé de SEER sur des données non curées pour deux raisons principales :

1. Ils offrent un équilibre parfait entre les performances et l’efficacité.
2. Ils sont très flexibles et peuvent être utilisés pour mettre à l’échelle un nombre de paramètres.

SEER Framework : Travaux antérieurs issus de différents domaines

Le cadre SEER vise à explorer les limites de la formation de grandes architectures de modèles dans des ensembles de données non curés ou non étiquetés en utilisant l’apprentissage non supervisé, et le modèle cherche à s’inspirer des travaux antérieurs dans le domaine.

Pré-formation non supervisée des caractéristiques visuelles

L’apprentissage non supervisé a été mis en œuvre dans la vision par ordinateur depuis un certain temps, avec des méthodes utilisant des auto-encodeurs, une discrimination au niveau des instances ou un regroupement. Récemment, les méthodes utilisant l’apprentissage par contraste ont indiqué que la pré-formation de modèles en utilisant un apprentissage non supervisé pour les tâches en aval peut donner lieu à de meilleures performances qu’une approche d’apprentissage supervisé.

Le principal enseignement tiré de l’apprentissage non supervisé des caractéristiques visuelles est que tant que vous formez sur des données filtrées, des étiquettes supervisées ne sont pas nécessaires. Le modèle SEER vise à explorer si le modèle peut apprendre des représentations précises lorsqu’il est formé sur un grand nombre d’images non curées, non étiquetées et aléatoires.

Apprentissage de caractéristiques visuelles à grande échelle

Les modèles antérieurs ont bénéficié de la pré-formation des modèles sur des ensembles de données étiquetés avec un apprentissage faiblement supervisé, un apprentissage supervisé et un apprentissage semi-supervisé sur des millions d’images filtrées. De plus, l’analyse des modèles a également indiqué que la pré-formation du modèle sur des milliards d’images donne souvent lieu à une meilleure précision que la formation du modèle à partir de zéro.

De plus, la formation du modèle à grande échelle repose généralement sur des étapes de filtration des données pour faire en sorte que les images correspondent aux concepts cibles. Ces étapes de filtration utilisent soit les prédictions d’un classifieur pré-formé, soit des hashtags qui sont souvent des synonymes des classes ImageNet . Le modèle SEER fonctionne différemment, car il vise à apprendre des caractéristiques dans n’importe quelle image aléatoire, et donc les données de formation pour le modèle SEER ne sont pas curées pour correspondre à un ensemble prédéfini de caractéristiques ou de concepts.

Mise à l’échelle des architectures pour la reconnaissance d’images

Les modèles bénéficient généralement de la formation de grandes architectures sur de meilleures caractéristiques visuelles. Il est essentiel de former de grandes architectures lorsque la pré-formation sur un grand ensemble de données est importante, car un modèle à capacité limitée sous-ajustera souvent. Cela est encore plus important lorsque la pré-formation est effectuée avec un apprentissage par contraste, car dans de tels cas, le modèle doit apprendre à faire la distinction entre les instances du jeu de données pour qu’il puisse apprendre de meilleures représentations visuelles.

Cependant, pour la reconnaissance d’images, la mise à l’échelle de l’architecture implique beaucoup plus que de simplement modifier la profondeur et la largeur du modèle, et pour construire un modèle à grande échelle efficace avec une grande capacité, une grande littérature doit être consacrée. Le modèle SEER montre les avantages de l’utilisation de la famille de modèles RegNets pour déployer l’apprentissage non supervisé à grande échelle.

SEER : Méthodes et composants utilisés

Le cadre SEER utilise diverses méthodes et composants pour pré-former le modèle et apprendre des représentations visuelles. Certaines des principales méthodes et composants utilisés par le cadre SEER sont : RegNet et SwAV. Discutons brièvement des méthodes et composants utilisés dans le cadre SEER.

Pré-formation non supervisée avec SwAV

Le cadre SEER est pré-formé avec SwAV, une approche d’apprentissage non supervisé en ligne. SwAV est une méthode de regroupement en ligne qui est utilisée pour former des réseaux de neurones convolutifs sans annotations. Le cadre SwAV fonctionne en formant un embedding qui produit des affectations de regroupement de manière cohérente entre différentes vues de la même image. Le système apprend ensuite des représentations sémantiques en exploitant des regroupements qui sont invariants par rapport aux augmentations de données.

Dans la pratique, le cadre SwAV compare les caractéristiques des différentes vues d’une image en utilisant leurs affectations de regroupement indépendantes. Si ces affectations capturent les mêmes caractéristiques ou des caractéristiques similaires, il est possible de prédire l’affectation d’une image en utilisant la représentation de caractéristiques d’une autre vue.

Le modèle SEER considère un ensemble de K regroupements, et chaque regroupement est associé à un vecteur d-dimensionnel vk. Pour un lot de B images, chaque image i est transformée en deux vues différentes : xi1 , et xi2. Les vues sont ensuite caractérisées à l’aide d’un réseau de neurones convolutifs, et cela donne lieu à deux ensembles de caractéristiques : (f11, …, fB2), et (f12, … , fB2). Chaque ensemble de caractéristiques est ensuite affecté de manière indépendante à des prototypes de regroupement à l’aide d’un solveur de transport optimal.

Le solveur de transport optimal garantit que les caractéristiques sont réparties uniformément sur les regroupements, et cela aide à éviter les solutions triviales où toutes les représentations sont cartographiées sur un seul prototype. L’affectation résultante est ensuite échangée entre les deux ensembles : l’affectation de regroupement yi1 de la vue xi1 doit être prédite en utilisant la représentation de caractéristiques fi2 de la vue xi2, et vice-versa.

Les poids des prototypes et le réseau de neurones convolutifs sont ensuite formés pour minimiser la perte pour tous les exemples. La perte de prédiction de regroupement l est essentiellement l’entropie croisée d’une softmax du produit scalaire de f et de l’affectation de regroupement.

RegNetY : Famille de modèles à efficacité d’échelle

La mise à l’échelle de la capacité du modèle et des données nécessite des architectures qui sont efficaces non seulement en termes de mémoire, mais également en termes de temps de calcul et de RegNets, et le cadre RegNets est une famille de modèles conçus spécifiquement à cette fin.

La famille d’architectures RegNet est définie par un espace de conception de réseaux de neurones convolutifs à 4 étages, où chaque étage contient une série de blocs identiques tout en garantissant que la structure de leur bloc reste fixe, principalement le bloc de goulot d’étranglement résiduel.

Le cadre SEER se concentre sur l’architecture RegNetY et ajoute une excitation et contraction à l’architecture RegNets standard dans le but d’améliorer leurs performances. De plus, le modèle RegNetY a 5 paramètres qui aident à la recherche de bonnes instances avec un nombre fixe de FLOPs qui consomment des ressources raisonnables. Le modèle SEER vise à améliorer ses résultats en mettant en œuvre directement l’architecture RegNetY sur sa tâche de pré-formation non supervisée.

L’architecture RegNetY 256GF : Le modèle SEER se concentre principalement sur l’architecture RegNetY 256GF de la famille RegNetY, et ses paramètres utilisent la règle d’échelle de l’architecture RegNets. Les paramètres sont décrits comme suit.

L’architecture RegNetY 256GF a 4 étages avec des largeurs d’étage (528, 1056, 2904, 7392) et des profondeurs d’étage (2,7,17,1) qui totalisent plus de 696 millions de paramètres. Lors de la formation sur 512 GPU V100 32GB NVIDIA , chaque itération prend environ 6125 ms pour un lot de 8 704 images. La formation du modèle sur un ensemble de données avec plus d’un milliard d’images, avec un lot de 8 704 images sur plus de 512 GPU, nécessite 114 890 itérations, et la formation dure environ 8 jours.

Optimisation et formation à grande échelle

Le modèle SEER propose plusieurs ajustements pour former des méthodes non supervisées et les adapter à une grande échelle. Ces méthodes sont :

1. Plan de taux d’apprentissage.
2. Réduction de la consommation de mémoire par GPU.
3. Optimisation de la vitesse de formation.
4. Données de pré-formation à grande échelle.

Discutons-les brièvement.

Plan de taux d’apprentissage

Le modèle SEER explore la possibilité d’utiliser deux plans de taux d’apprentissage : le plan de taux d’apprentissage en onde cosinusoïdale, et le plan de taux d’apprentissage fixe.

Le plan de taux d’apprentissage en onde cosinusoïdale est utilisé pour comparer les différents modèles de manière équitable, car il s’adapte au nombre de mises à jour. Cependant, le plan de taux d’apprentissage en onde cosinusoïdale n’est pas adapté à une formation à grande échelle, car il pondère les images différemment en fonction de leur moment de formation, et il utilise des mises à jour complètes pour la planification.

Le plan de taux d’apprentissage fixe garde le taux d’apprentissage fixe jusqu’à ce que la perte ne soit plus en diminution, puis le taux d’apprentissage est divisé par 2. L’analyse montre que le plan de taux d’apprentissage fixe fonctionne mieux, car il offre plus de flexibilité pour la formation. Cependant, comme le modèle ne forme que sur 1 milliard d’images, il utilise le plan de taux d’apprentissage en onde cosinusoïdale pour former son plus grand modèle, le RegNet 256GF.

Réduction de la consommation de mémoire par GPU

Le modèle vise également à réduire la quantité de GPU nécessaire pendant la période de formation en utilisant une précision mixte et un point de contrôle gradué. Le modèle utilise la bibliothèque NVIDIA Apex Library de niveau d’optimisation O1 pour effectuer des opérations telles que les convolutions et les GEMMs en précision à virgule flottante 16 bits. Le modèle utilise également la mise en œuvre de point de contrôle gradué de PyTorch qui échange des calculs pour de la mémoire.

De plus, le modèle supprime également toutes les activations intermédiaires effectuées pendant le passage avant, et pendant le passage arrière, il recalcule ces activations.

Optimisation de la vitesse de formation

L’utilisation d’une précision mixte pour optimiser l’utilisation de la mémoire a des avantages supplémentaires, car les accélérateurs tirent parti de la taille réduite de FP16 par rapport à FP32. Cela aide à accélérer la formation en améliorant le goulet d’étranglement de la bande passante de la mémoire.

Le modèle SEER synchronise également la couche BatchNorm à travers les GPU pour créer des groupes de processus au lieu d’utiliser une synchronisation globale qui prend généralement plus de temps. Enfin, le chargeur de données utilisé dans le modèle SEER pré-charge plus de lots de formation, ce qui conduit à un débit de données plus élevé par rapport au chargeur de données de PyTorch.

Données de pré-formation à grande échelle

Le modèle SEER utilise plus d’un milliard d’images pendant la pré-formation, et il considère un chargeur de données qui échantillonne des images aléatoires directement à partir d’Internet et d’Instagram. Puisque le modèle SEER forme ces images dans la nature et en ligne, il n’applique aucune pré-traitement sur ces images, ni ne les trie en utilisant des processus tels que la déduplication ou le filtrage des hashtags.

Il est important de noter que l’ensemble de données n’est pas statique, et les images de l’ensemble de données sont rafraîchies tous les trois mois. Cependant, le rafraîchissement de l’ensemble de données n’affecte pas les performances du modèle.

Mise en œuvre du modèle SEER

Le modèle SEER pré-forme un RegNetY 256GF avec SwAV en utilisant six cultures par image, avec chaque image ayant une résolution de 2×224 + 4×96. Pendant la phase de pré-formation, le modèle utilise un MLP à 3 couches ou un perceptron multi-couche avec des têtes de projection de dimensions 10444×8192, 8192×8192 et 8192×256.

Au lieu d’utiliser des couches BatchNorm dans la tête, le modèle SEER utilise 16 000 prototypes avec la température t fixée à 0,1. Le paramètre de régularisation Sinkhorn est fixé à 0,05, et il effectue 10 itérations de l’algorithme. Le modèle synchronise ensuite les statistiques BatchNorm à travers les GPU et crée de nombreux groupes de processus de taille 64 pour la synchronisation.

De plus, le modèle utilise un optimiseur LARS ou une mise à l’échelle adaptative de taux d’apprentissage par couche, une décroissance de poids de 10-5, des points de contrôle d’activation, et une optimisation de précision mixte O1. Le modèle est ensuite formé avec une descente de gradient stochastique en utilisant un lot de 8 192 images aléatoires réparties sur 512 GPU NVIDIA, ce qui donne lieu à 16 images par GPU.

Le taux d’apprentissage est augmenté linéairement de 0,15 à 9,6 pour les 8 000 premières mises à jour de formation. Après le réchauffement, le modèle suit un plan de taux d’apprentissage cosinusoïdal qui se dégrade jusqu’à une valeur finale de 0,0096. Au total, le modèle SEER forme plus d’un milliard d’images sur 122 000 itérations.

Résultats du cadre SEER

La qualité des caractéristiques générées par l’approche de pré-formation non supervisée est étudiée et analysée sur une variété de références et de tâches en aval. Le modèle considère également un paramètre de faible tir qui accorde un accès limité aux images et à leurs étiquettes pour les tâches en aval.

Ajustement fin de grands modèles pré-formés

Il mesure la qualité des modèles pré-formés sur des données aléatoires en les transférant sur la référence ImageNet pour la classification d’images. Les résultats de l’ajustement fin de grands modèles pré-formés sont déterminés sur les paramètres suivants.

Paramètres expérimentaux

Le modèle pré-forme 6 architectures RegNet avec des capacités différentes, à savoir RegNetY- {8,16,32,64,128,256}GF, sur plus d’un milliard d’images aléatoires et publiques d’Instagram avec SwAV. Les modèles sont ensuite ajustés pour la classification d’images sur ImageNet, qui utilise plus de 1,28 million d’images de formation standard avec des étiquettes appropriées, et a un ensemble de validation standard avec plus de 50 000 images pour l’évaluation.

Le modèle applique ensuite les mêmes techniques d’augmentation de données que celles utilisées dans SwAV, et ajuste pendant 35 époques avec un optimiseur SGD ou une descente de gradient stochastique avec un lot de 256, et un taux d’apprentissage de 0,0125 qui est réduit d’un facteur de 10 après 30 époques, avec une impulsion de 0,9 et une décroissance de poids de 10-4. Le modèle rapporte la précision en haut de 1 sur l’ensemble de validation en utilisant la culture centrale de 224×224.

Comparaison avec d’autres approches de pré-formation non supervisée

Dans le tableau suivant, le plus grand modèle pré-formé en RegNetY-256GF est comparé avec des modèles pré-formés existants qui utilisent l’approche d’apprentissage non supervisé.

Comme vous le voyez, le modèle SEER donne une précision en haut de 1 de 84,2 % sur ImageNet, et surpasse SimCLRv2, le meilleur modèle pré-formé existant, de 1 %.

De plus, le graphique suivant compare le cadre SEER avec des modèles de différentes capacités. Comme vous le voyez, quelle que soit la capacité du modèle, la combinaison du cadre RegNet avec SwAV donne lieu à des résultats précis pendant la pré-formation.

Le modèle SEER est pré-formé sur des images non curées et aléatoires, et il a l’architecture RegNet avec la méthode d’apprentissage non supervisé SwAV. Le modèle SEER est comparé au modèle SimCLRv2 et aux modèles ViT avec des architectures de réseau différentes. Enfin, le modèle est ajusté sur l’ensemble de données ImageNet, et la précision en haut de 1 est rapportée.

Impact de la capacité du modèle

La capacité du modèle a un impact significatif sur les performances du modèle pendant la pré-formation, et le graphique suivant compare cela avec l’impact lors de la formation à partir de zéro.

Il peut être clairement vu que le score de précision en haut de 1 des modèles pré-formés est supérieur aux modèles formés à partir de zéro, et la différence devient de plus en plus grande à mesure que le nombre de paramètres augmente. Il est également évident que, même si la capacité du modèle profite à la fois des modèles pré-formés et formés à partir de zéro, l’impact est plus important sur les modèles pré-formés lorsqu’il s’agit d’un grand nombre de paramètres.

Une raison possible pour laquelle la formation d’un modèle à partir de zéro pourrait sur-ajuster lors de la formation sur l’ensemble de données ImageNet est due à la petite taille de l’ensemble de données.

Apprentissage à faible tir

L’apprentissage à faible tir fait référence à l’évaluation des performances du modèle SEER dans un paramètre de faible tir, c’est-à-dire en utilisant seulement une fraction des données totales lors de la réalisation de tâches en aval.

Paramètres expérimentaux

Le cadre SEER utilise deux ensembles de données pour l’apprentissage à faible tir, à savoir Places205 et ImageNet. De plus, le modèle suppose avoir un accès limité à l’ensemble de données pendant le transfert d’apprentissage, à la fois en termes d’images et de leurs étiquettes. Ce paramètre de faible tir est différent des paramètres par défaut utilisés pour l’apprentissage non supervisé, où le modèle a accès à l’ensemble de données complet, et seul l’accès aux étiquettes d’image est limité.

Résultats sur l’ensemble de données Place205

Le graphique suivant montre l’impact de la pré-formation du modèle sur différentes parties de l’ensemble de données Place205.

L’approche utilisée est comparée à la pré-formation du modèle sur l’ensemble de données ImageNet sous supervision avec la même architecture RegNetY-128 GF. Les résultats de la comparaison sont surprenants, car il peut être observé qu’il y a un gain stable de environ 2,5 % en précision en haut de 1, quel que soit le pourcentage de données de formation disponibles pour l’ajustement sur l’ensemble de données Place205.

La différence observée entre la pré-formation supervisée et non supervisée peut être expliquée étant donné la différence dans la nature des données de formation, car les caractéristiques apprises par le modèle à partir d’images aléatoires dans la nature peuvent être plus adaptées pour classifier la scène. De plus, une distribution non uniforme des concepts sous-jacents peut s’avérer être un avantage pour la pré-formation sur un ensemble de données déséquilibré comme Place205.

Résultats sur ImageNet

Le tableau suivant compare l’approche du modèle SEER avec les approches de pré-formation non supervisée et semi-supervisée pour l’apprentissage à faible tir. Il est important de noter que toutes ces méthodes utilisent les 1,2 million d’images de l’ensemble de données ImageNet pour la pré-formation, et elles ne restreignent que l’accès aux étiquettes. En revanche, l’approche utilisée dans le modèle SEER permet au modèle de voir seulement 1 à 10 % de l’ensemble de données ImageNet.

Comme les réseaux ont vu plus d’images de la même distribution pendant la pré-formation, cela profite énormément à ces approches. Mais ce qui est impressionnant, c’est que même si le modèle SEER ne voit que 1 à 10 % de l’ensemble de données ImageNet, il est toujours capable d’atteindre une précision en haut de 1 d’environ 80 %, ce qui est légèrement inférieur à la précision des approches discutées dans le tableau ci-dessus.

Impact de la capacité du modèle

Le graphique suivant discute de l’impact de la capacité du modèle sur l’apprentissage à faible tir : à 1 %, 10 % et 100 % de l’ensemble de données ImageNet.

Il peut être observé que l’augmentation de la capacité du modèle peut améliorer la précision du modèle, car il diminue l’accès aux images et aux étiquettes de l’ensemble de données.

Transfert vers d’autres références

Pour évaluer le modèle SEER plus en détail et analyser ses performances, les caractéristiques pré-formées sont transférées vers d’autres tâches en aval.

Évaluation linéaire de la classification d’images

Le tableau suivant compare les caractéristiques du modèle SEER pré-formé RegNetY-256GF et RegNetY128-GF pré-formé sur l’ensemble de données ImageNet avec la même architecture avec et sans supervision. Pour analyser la qualité des caractéristiques, le modèle gèle les poids et utilise un classifieur linéaire sur les caractéristiques en utilisant l’ensemble de formation pour les tâches en aval. Les références suivantes sont considérées pour le processus : Open-Images (OpIm), iNaturalist (iNat), Places205 (Places) et Pascal VOC (VOC).

Détection et segmentation

Le graphique suivant compare les caractéristiques pré-formées sur la détection et la segmentation, et les évalue.

Le cadre SEER forme un modèle Mask-RCNN sur la référence COCO avec des blocs de construction RegNetY-64GF et RegNetY-128GF pré-formés. Pour les deux architectures et les tâches en aval, l’approche de pré-formation non supervisée de SEER surpasse la formation supervisée de 1,5 à 2 points AP.

Comparaison avec la pré-formation faiblement supervisée

La plupart des images disponibles sur Internet ont généralement une meta-description ou un texte alternatif, ou des descriptions, ou des géolocalisations qui peuvent fournir un avantage pendant la pré-formation. Les travaux antérieurs ont indiqué que prédire un ensemble curé ou étiqueté de hashtags peut améliorer la qualité de la prédiction des caractéristiques visuelles résultantes. Cependant, cette approche nécessite de filtrer les images, et elle fonctionne mieux uniquement lorsque des métadonnées textuelles sont présentes.

Le graphique suivant compare la pré-formation d’une architecture ResNetXt101-32dx8d formée sur des images aléatoires avec la même architecture formée sur des images étiquetées avec des hashtags et des métadonnées, et rapporte la précision en haut de 1 pour les deux.

Il peut être vu que même si le cadre SEER ne utilise pas de métadonnées pendant la pré-formation, sa précision est comparable à celle des modèles qui utilisent des métadonnées pour la pré-formation.

Études d’ablation

Une étude d’ablation est réalisée pour analyser l’impact d’un composant particulier sur les performances globales du modèle. Une étude d’ablation est effectuée en supprimant le composant du modèle, et en comprenant comment le modèle se comporte. Cela donne aux développeurs un aperçu de l’impact de ce composant particulier sur les performances du modèle.

Impact de l’architecture du modèle

L’architecture du modèle a un impact significatif sur les performances du modèle, en particulier lorsqu’il est mis à l’échelle ou que les spécifications des données de pré-formation sont modifiées.

Le graphique suivant discute de l’impact de la modification de l’architecture sur la qualité des caractéristiques pré-formées en évaluant l’ensemble de données ImageNet de manière linéaire. Les caractéristiques pré-formées peuvent être sondées directement dans ce cas, car l’évaluation ne favorise pas le modèle qui retourne une précision élevée lorsqu’il est formé à partir de zéro sur l’ensemble de données ImageNet.

Il peut être observé que pour les architectures ResNeXts et ResNet, les caractéristiques obtenues à partir de la couche pénultième fonctionnent mieux avec les paramètres actuels. En revanche, l’architecture RegNet surpasse les autres architectures.

Dans l’ensemble, il peut être conclu que l’augmentation de la capacité du modèle a un impact positif sur la qualité des caractéristiques, et il y a un gain logarithmique dans les performances du modèle.

Mise à l’échelle des données de pré-formation

Il existe deux raisons principales pour lesquelles la formation d’un modèle sur un plus grand ensemble de données peut améliorer la qualité des caractéristiques visuelles que le modèle apprend : plus d’images uniques et plus de paramètres. Discutons brièvement de la manière dont ces raisons affectent les performances du modèle.

Augmentation du nombre d’images uniques

Le graphique suivant compare deux architectures différentes, RegNet8 et RegNet16, qui ont le même nombre de paramètres, mais qui sont formées sur différents nombres d’images uniques. Le cadre SEER forme les modèles pendant des mises à jour correspondant à 1 époque pour un milliard d’images, ou 32 époques pour 32 images uniques, et avec une demi-onde cosinusoïdale d’apprentissage.

Il peut être observé que pour qu’un modèle fonctionne bien, le nombre d’images uniques qui lui sont fournies devrait idéalement être plus élevé. Dans ce cas, le modèle fonctionne bien lorsqu’il est alimenté avec des images uniques supérieures au nombre d’images de l’ensemble de données ImageNet.

Plus de paramètres

Le graphique suivant indique les performances d’un modèle formé sur un milliard d’images en utilisant l’architecture RegNet-128GF. Il peut être observé que les performances du modèle augmentent de manière constante à mesure que le nombre de paramètres augmente.

La vision par ordinateur non supervisée dans le monde réel

Jusqu’à présent, nous avons discuté de la manière dont l’apprentissage non supervisé et le modèle SEER pour la vision par ordinateur fonctionnent en théorie. Maintenant, analysons comment la vision par ordinateur non supervisée fonctionne dans les scénarios du monde réel, et pourquoi SEER est l’avenir de la vision par ordinateur non supervisée.

Le modèle SEER rivalise avec les travaux réalisés dans l’industrie du traitement automatique des langues, où des modèles de pointe utilisent des milliards de données et de paramètres, ainsi que des milliards de mots de texte pendant la pré-formation du modèle. Les performances sur les tâches en aval augmentent généralement avec une augmentation du nombre de données d’entrainement pour le modèle, et la même chose est vraie pour les tâches de vision par ordinateur.

Mais utiliser des techniques d’apprentissage non supervisé pour le traitement automatique des langues est différent de l’utilisation de l’apprentissage non supervisé pour la vision par ordinateur. C’est parce que lorsqu’on traite du texte, les concepts sémantiques sont généralement décomposés en mots distincts, mais lorsqu’on traite d’images, le modèle doit décider à quel concept appartient chaque pixel.

De plus, les différentes images ont différentes vues, et même si plusieurs images peuvent avoir le même objet, le concept peut varier de manière significative. Par exemple, considérons un ensemble de données avec des images de chat. Même si l’objet principal, le chat, est commun à toutes les images, le concept peut varier de manière significative, car le chat peut être debout dans une image, tandis qu’il peut jouer avec une balle dans l’image suivante, et ainsi de suite. Puisque les images ont souvent des concepts variables, il est essentiel pour le modèle de voir un grand nombre d’images pour saisir les différences autour du même concept.

La mise à l’échelle d’un modèle de manière réussie pour qu’il fonctionne efficacement avec des données d’images à haute dimension et complexes nécessite deux composants :

1. Un réseau de neurones convolutifs ou CNN qui est suffisamment grand pour capturer et apprendre les concepts visuels à partir d’un très grand ensemble de données d’images.
2. Un algorithme qui peut apprendre des modèles à partir d’un grand nombre d’images sans étiquettes, annotations ou métadonnées.

Le modèle SEER vise à appliquer les composants ci-dessus au domaine de la vision par ordinateur. Le modèle SEER vise à exploiter les progrès réalisés par SwAV, un cadre d’apprentissage non supervisé qui utilise le regroupement en ligne pour regrouper ou apparer des images avec des concepts visuels parallèles, et à exploiter ces similarités pour identifier des modèles de meilleure qualité.

Avec l’architecture SwAV, le modèle SEER est capable de rendre l’utilisation de l’apprentissage non supervisé dans la vision par ordinateur beaucoup plus efficace, et de réduire le temps de formation de jusqu’à 6 fois.

De plus, la formation de modèles à grande échelle, à cette échelle, sur plus d’un milliard d’images, nécessite une architecture de modèle qui est efficace non seulement en termes de temps de calcul et de mémoire, mais également en termes de précision. C’est là que les modèles RegNets entrent en jeu, car ces modèles ConvNets peuvent mettre à l’échelle des trillions de paramètres et peuvent être optimisés pour répondre aux limitations de mémoire et aux réglementations de temps de calcul.

Conclusion : Un avenir non supervisé

L’apprentissage non supervisé a été un sujet de discussion important dans l’industrie de l’IA et de l’AA depuis un certain temps, car il permet aux modèles d’IA d’apprendre des informations directement à partir d’une grande quantité de données disponibles aléatoirement sur Internet, plutôt que de compter sur des ensembles de données soigneusement curés et étiquetés qui ont pour seul but de former des modèles d’IA.

L’apprentissage non supervisé est un concept vital pour l’avenir de l’IA et de l’AA, car il a le potentiel de permettre aux développeurs de créer des modèles d’IA qui s’adaptent bien aux scénarios du monde réel et ont de multiples cas d’utilisation, plutôt que d’avoir un objectif spécifique, et SEER est un jalon dans la mise en œuvre de l’apprentissage non supervisé dans l’industrie de la vision par ordinateur.

Le modèle SEER prend la première étape dans la transformation de l’industrie de la vision par ordinateur, et en réduisant notre dépendance à l’égard des ensembles de données étiquetés. Le modèle SEER vise à éliminer le besoin d’annoter les ensembles de données qui permettra aux développeurs de travailler avec des ensembles de données diversifiés et importants. La mise en œuvre de SEER est particulièrement utile pour les développeurs qui travaillent sur des modèles qui traitent de domaines qui ont des images ou des métadonnées limitées, comme l’industrie médicale.

De plus, l’élimination des annotations humaines permettra aux développeurs de développer et de déployer le modèle plus rapidement, ce qui leur permettra de répondre plus rapidement et avec plus de précision aux situations en évolution rapide.