data2vec : un jalon dans l’apprentissage autonome

Les modèles d’apprentissage automatique ont fortement reposé sur des données étiquetées pour leur formation, et traditionnellement, la formation de modèles sur des données étiquetées donne des résultats précis. Cependant, le principal inconvénient de l’utilisation de données étiquetées est le coût élevé d’annotation qui augmente avec la taille des données de formation. Les coûts d’annotation élevés constituent un obstacle important pour les développeurs, en particulier lorsqu’ils travaillent sur un grand projet avec des quantités substantielles de données de formation.

Pour résoudre le problème d’annotation, les développeurs ont élaboré le concept de SSL ou apprentissage autonome. L’apprentissage autonome est un processus d’apprentissage automatique dans lequel le modèle se forme lui-même pour apprendre une partie de l’entrée à partir d’une autre partie de l’entrée. Un modèle d’apprentissage autonome vise à exploiter la relation entre les données au lieu d’utiliser des signaux supervisés de données étiquetées.

En plus de l’apprentissage autonome, il existe plusieurs autres méthodes et modèles pour former des modèles d’apprentissage automatique sans utiliser de données étiquetées. Cependant, la plupart de ces méthodes ont deux problèmes majeurs

1. Ils sont souvent spécialisés pour une seule modalité comme une image ou un texte.
2. Ils nécessitent une grande quantité de puissance de calcul.

Ces limitations sont un problème majeur pour lequel un esprit humain moyen est capable d’apprendre à partir d’un seul type de données beaucoup plus efficacement que d’un modèle d’apprentissage automatique qui repose sur des modèles et des données de formation distincts pour distinguer une image, un texte et un discours.

Pour résoudre le problème de modalité unique, Meta AI a publié le data2vec, le premier algorithme autonome de haute performance pour apprendre des informations de modèles à partir de trois modalités différentes : image, texte et discours. Avec la mise en œuvre de l’algorithme data2vec, la compréhension du texte peut être appliquée à un problème de segmentation d’images ou peut également être déployée dans une tâche de reconnaissance vocale.

Dans cet article, nous allons discuter en profondeur du modèle data2vec. Nous allons examiner la méthode, les travaux connexes, l’architecture et les résultats du modèle de manière plus approfondie afin que vous ayez une compréhension claire de l’algorithme data2vec.

Introduction de data2vec : l’idée fondamentale

Bien que le concept fondamental de l’apprentissage autonome soit appliqué à travers les modalités, les objectifs et les algorithmes réels diffèrent les uns des autres car ils ont été conçus en fonction d’une seule modalité. La conception d’un modèle pour une seule modalité est la raison pour laquelle le même algorithme d’apprentissage autonome ne peut pas fonctionner efficacement à travers différents types de données de formation.

Pour surmonter le défi posé par les modèles et les algorithmes de modalité unique, Meta AI a publié le data2vec, un algorithme qui utilise la même méthodologie d’apprentissage pour la vision par ordinateur, le NLP ou le discours.

L’idée fondamentale derrière l’algorithme data2vec est d’utiliser la vue masquée de l’entrée pour prévoir les représentations latentes des données d’entrée complètes dans un dispositif d’autodistillation avec l’aide de l’architecture Transformer standard. Ainsi, au lieu d’objets spécifiques à la modalité comme des images, du texte ou de la voix qui sont locaux par nature, l’algorithme data2vec prévoit des représentations latentes avec des informations provenant de l’ensemble des données de formation.

Pourquoi l’industrie de l’IA a-t-elle besoin de l’algorithme Data2Vec ?

Les modèles d’apprentissage autonome construisent des représentations des données de formation en utilisant des étiquettes annotées par l’homme, et c’est l’une des principales raisons derrière le progrès de la NLP ou de la technologie de vision par ordinateur. Ces représentations d’apprentissage autonome sont la raison pour laquelle des tâches comme la reconnaissance vocale et l’apprentissage automatique déployé des modèles d’apprentissage non supervisés.

Jusqu’à présent, ces algorithmes d’apprentissage autonome se concentrent sur des modalités individuelles qui entraînent des biais d’apprentissage et des conceptions spécifiques dans les modèles. Les modalités individuelles des algorithmes d’apprentissage autonome créent des défis dans différentes applications d’IA, notamment la vision par ordinateur et la NLP.

Par exemple, il existe un vocabulaire d’unités de discours dans le traitement du discours qui peut définir une tâche d’apprentissage autonome dans la NLP. De même, dans la vision par ordinateur, les développeurs peuvent soit régresser l’entrée, apprendre des jetons visuels discrets ou apprendre des représentations invariantes à l’augmentation des données. Bien que ces biais d’apprentissage soient utiles, il est difficile de confirmer si ces biais se généraliseront à d’autres modalités.

L’algorithme data2vec est un jalon important dans l’industrie de l’apprentissage autonome car il vise à améliorer plusieurs modalités plutôt que d’une seule. De plus, l’algorithme data2vec ne repose pas sur la reconstruction de l’entrée ou l’apprentissage par contraste.

La raison pour laquelle le monde a besoin de data2vec est que l’algorithme data2vec a le potentiel d’accélérer les progrès de l’IA et contribue au développement de modèles d’IA qui peuvent apprendre différents aspects de leur environnement de manière transparente. Les scientifiques espèrent que l’algorithme data2vec permettra de développer des modèles d’IA et de ML plus adaptables capables de réaliser des tâches avancées au-delà de ce que les modèles d’IA d’aujourd’hui peuvent faire.

Qu’est-ce que l’algorithme Data2Vec ?

Le data2vec est un cadre unifié qui vise à mettre en œuvre l’apprentissage autonome à travers différentes modalités de données, notamment les images, le discours et le texte.

L’algorithme data2vec vise à développer des modèles de ML qui peuvent apprendre les modèles généraux dans l’environnement de manière plus efficace en gardant l’objectif d’apprentissage uniforme à travers différentes modalités. Le modèle data2vec unifie l’algorithme d’apprentissage, mais il apprend toujours les représentations pour chaque modalité individuellement.

Avec l’introduction de l’algorithme data2vec, Meta AI espère qu’il rendra l’apprentissage multimodal efficace et plus simple.

Comment fonctionne l’algorithme Data2Vec ?

L’algorithme data2vec combine les apprentissages de représentations latentes cibles avec la prédiction masquée, bien qu’il utilise plusieurs couches de réseau comme cibles pour généraliser les représentations latentes. Le modèle forme spécifiquement un réseau Transformer prêt à l’emploi qui est ensuite utilisé soit en mode enseignant, soit en mode élève.

En mode enseignant, le modèle construit d’abord les représentations des données d’entrée qui servent de cibles dans la tâche d’apprentissage. En mode élève, le modèle encode une version masquée des données d’entrée qui est ensuite utilisée pour faire des prédictions sur les représentations complètes des données.

L’image ci-dessus représente comment le modèle data2vec utilise le même processus d’apprentissage pour différentes modalités. Dans la première étape, le modèle produit des représentations des données d’entrée (mode enseignant). Le modèle régresse ensuite ces représentations sur la base d’une version masquée des données d’entrée.

De plus, comme l’algorithme data2vec utilise des représentations latentes des données d’entrée, il peut être considéré comme une version simplifiée des conceptions spécifiques à la modalité comme la création de cibles appropriées en normalisant les données d’entrée ou l’apprentissage d’un ensemble fixe de jetons visuels. Mais le point de différenciation clé entre le data2vec et les autres algorithmes est que le data2vec utilise l’auto-attention pour rendre sa représentation cible contextualisée et continue. D’un autre côté, les autres modèles d’apprentissage autonome utilisent un ensemble fixe de cibles basées sur un contexte local.

Méthode de data2vec

Le modèle data2vec est formé en prédisant les représentations du modèle des données d’entrée données à partir d’une vue partielle des données d’entrée. Comme vous pouvez le voir dans la figure donnée, le visage du chien est masqué, une section particulière de la note vocale est masquée et le mot « avec » est masqué dans le texte.

Le modèle encode d’abord une version masquée de l’échantillon de formation (mode élève), puis encode la version non masquée des données d’entrée pour construire des cibles de formation avec le même modèle, mais uniquement lorsqu’il est paramétré comme la moyenne mobile exponentielle des poids du modèle (mode enseignant). De plus, les représentations cibles encodent les informations présentes dans l’échantillon de formation, et en mode élève, la tâche d’apprentissage est utilisée pour prédire ces représentations lorsqu’une vue partielle des données d’entrée est donnée.

Architecture du modèle

Le modèle data2vec utilise une architecture Transformer standard avec un codage spécifique à la modalité des données d’entrée. Pour les tâches liées à la vision par ordinateur, le modèle utilise la stratégie ViT pour encoder une image comme une séquence de patches où chaque image s’étend sur 16×16 pixels, et est alimentée comme une transformation linéaire.

De plus, pour les données de reconnaissance vocale, le modèle encode les données en utilisant un réseau de neurones convolutifs à couches multiples qui cartographie les formes d’onde 16 kHz en représentations 50 Hz. Pour traiter les données textuelles, le modèle prétraite les données pour extraire des unités de sous-mots, puis les intègre dans l’espace de distribution via des vecteurs d’intégration.

Masquage

Une fois que le modèle a intégré les données d’entrée comme une séquence de jetons, le modèle masque des parties de ces unités en les remplaçant par un jeton d’intégration, puis alimente la séquence dans le réseau Transformer . Pour la vision par ordinateur, le modèle pratique une stratégie de masquage par bloc. Les représentations latentes du discours sont utilisées pour masquer des plages de données vocales, et pour les tâches liées au langage, les jetons sont masqués.

Cibles de formation

Le modèle data2vec vise à prédire les représentations du modèle des échantillons de formation non masqués sur la base d’une codification de l’échantillon masqué qui a été alimenté à l’origine dans le modèle. Le modèle prédit les représentations uniquement pour les étapes temporelles masquées.

Le modèle prédit des représentations contextualisées qui n’encodent pas seulement l’étape temporelle particulière, mais également d’autres informations de l’échantillon car il utilise l’auto-attention dans le réseau Transformer. Les représentations contextualisées et l’utilisation du réseau Transformer sont ce qui distingue le modèle data2vec des modèles existants BERT, wav2vec, BEiT, SimMIM, MAE et MaskFeat qui prédisent des cibles sans informations contextuelles.

Voici comment le modèle data2vec paramètre le mode enseignant pour prédire les représentations de réseau qui servent ensuite de cibles.

Paramétrage de l’enseignant

Le modèle data2vec paramètre l’encodage de l’échantillon de formation non masqué en utilisant la moyenne mobile exponentielle (EMA) des paramètres du modèle (θ) où les poids du modèle dans le mode cible (△) sont les suivants

                                           ∆ ← τ∆ + (1 − τ ) θ

De plus, le modèle planifie pour τ qui augmente linéairement le paramètre de τ0 à τe (valeur cible) sur les premiers τn mises à jour. Après ces mises à jour, le modèle maintient la valeur constante jusqu’à la fin de la formation. L’utilisation de la stratégie EMA met à jour l’enseignant beaucoup plus fréquemment au début de la formation lorsque le modèle est aléatoire. À mesure que la formation progresse et que de bons paramètres ont été appris, l’enseignant est mis à jour moins fréquemment.

Les résultats montrent que le modèle est plus efficace et plus précis lorsqu’il partage les paramètres de l’encodeur de fonction et de l’encodeur de position entre le mode élève et le mode enseignant.

Cibles

La construction des cibles de formation dépend de la sortie des blocs supérieurs K du réseau enseignant pour les étapes temporelles masquées dans le mode élève. La sortie du bloc l à une étape temporelle t est notée alt. Le modèle applique ensuite une normalisation à chaque bloc pour obtenir âlt avant de moyenniser les blocs supérieurs K 

pour obtenir la cible de formation yt pour l’étape temporelle t. pour un réseau avec L blocs au total. 

Cela crée des cibles de formation que le modèle régresse lorsqu’il est en mode élève. Dans les expériences initiales, le modèle data2vec a bien performé en prédisant chaque bloc séparément avec une projection dédiée et en étant beaucoup plus efficace en même temps.

De plus, la normalisation des cibles permet également au modèle data2vec de ne pas s’effondrer dans des représentations constantes pour les étapes temporelles et d’empêcher les couches avec une normalisation élevée de dominer les fonctionnalités dans le jeu de données cible. Pour la reconnaissance vocale, le modèle utilise une normalisation d’instance sur l’échantillon d’entrée actuel sans aucun paramètre appris. C’est principalement parce que la stride sur les données d’entrée est faible, les représentations voisines sont fortement corrélées.

En outre, les chercheurs ont constaté que lorsqu’ils travaillaient avec la vision par ordinateur et la NLP, la normalisation sans paramètre faisait l’affaire de manière suffisante. Le problème peut également être résolu avec la régularisation de variance-invariance-covariance mais la stratégie mentionnée ci-dessus fonctionne suffisamment bien et ne nécessite aucun paramètre supplémentaire.

Objectif

Pour les cibles de formation contextualisées yt, le modèle utilise une perte L1 lisse pour régresser les cibles comme indiqué ci-dessous

Ici, β est en contrôle de la transition d’une perte au carré à une perte L1, et cela dépend fortement de la taille de l’écart entre la prédiction du modèle ft(x) à l’étape temporelle t. L’avantage de cette perte est qu’elle est comparativement moins sensible aux valeurs aberrantes, avec le besoin de régler le paramètre β. 

Dispositif expérimental

Le modèle data2vec est expérimenté avec deux tailles de modèle : data2vec Large et data2vec Base. Pour la stabilité numérique, les mises à jour EMA sont effectuées en fp32, et les modèles contiennent L= 12 ou L= 24 blocs Transformer avec des dimensions cachées (H) = 768 ou H= 1024.  Laissons-nous examiner en détail le dispositif expérimental pour différentes modalités et objectifs. 

Vision par ordinateur

Le modèle data2vec intègre les images de 224×224 pixels comme des patches de 16×16 pixels. Chacun de ces patches est transformé linéairement, et une séquence avec 196 représentations est alimentée dans le Transformer standard.

Le modèle suit BEiT pour masquer des blocs avec des patches adjacents avec chaque bloc ayant un minimum de 16 patches avec un rapport d’aspect aléatoire. Cependant, au lieu de masquer 40 % du patch comme dans le modèle BEiT d’origine, le modèle data2vec masque 60 % du patch pour une meilleure précision.

De plus, le modèle redimensionne aléatoirement les cultures d’images, les inverse horizontalement et applique une coloration aléatoire. Enfin, le modèle data2vec utilise la même image modifiée dans les modes enseignant et élève.

Les modèles ViT-B sont préformés pendant 800 époques, et le modèle data2vec utilise une taille de lot de 8 192 pour le modèle ViT-L et 2 048 pour le modèle ViT-B. Le modèle data2vec utilise également un programme cosinus et un programme Adam pour réchauffer le taux d’apprentissage pendant 80 époques à 0,001 pour ViT-L et pendant 40 époques à 0,001 pour ViT-B.

Pour les deux ViT-B et ViT-L, le modèle data2vec utilise β = 2, K = 6 et τ = 0,9998 comme constante sans programme. Le modèle utilise également un taux de profondeur aléatoire de 0,2.

De plus, pour ViT-L, le modèle s’entraîne pendant 1 600 époques où les 800 premières époques ont un taux d’apprentissage de 0,9998, puis le modèle réinitialise le programme d’apprentissage et continue pendant les 800 dernières époques avec un taux d’apprentissage de 0,9999.

Pour la classification d’images, le modèle utilise la moyenne du pool de sortie du dernier bloc Transformer et l’alimente dans un classificateur softmax normalisé. Le modèle affine ensuite le ViT-L pendant 50 époques et le ViT-B pendant 100 époques en utilisant le cosinus et l’Adam pour réchauffer le taux d’apprentissage.

Traitement du discours

Pour le traitement du discours, le modèle data2vec utilise le Fairseq, un kit de modélisation de séquence utilisé pour former des modèles personnalisés pour la synthèse, la traduction et la génération de texte. Le modèle prend une forme d’onde 16 kHz comme entrée qui est traitée en utilisant un encodeur de fonction, et contient des convolutions temporelles avec 512 canaux, des largeurs de noyau (10,3,3,3,3,2,2), et des pas de temps (5,2,2,2,2,2,2). 

Le résultat est la fréquence de sortie de l’encodeur étant de 50 Hz, et il a un pas de temps de 20 ms entre chaque échantillon. Le champ de réception comprend 400 échantillons d’entrée ou 25 ms d’audio. La forme d’onde brute alimentée dans l’encodeur est normalisée à une variance unitaire et une moyenne nulle. 

La stratégie de masquage utilisée par le modèle data2vec pour le modèle de base ressemble au cadre de Baevski pour l’apprentissage autonome dans la reconnaissance vocale. Le modèle échantillonne p = 0,065 pour toutes les étapes temporelles pour être les indices de début, puis procède pour marquer les dix étapes temporelles suivantes. Pour une séquence de formation typique, le processus permet presque 49 % des étapes temporelles totales d’être masquées.

Pendant la formation, le modèle data2vec anneale linéairement τ en utilisant τo = 0,999, τe = 0,9999, et τn = 30 000. Le modèle data2vec utilise l’optimiseur Adam avec le taux d’apprentissage de pointe de 5×10-4 pour le modèle de base. De plus, le modèle de base utilise un programme tri-étape qui réchauffe le taux d’apprentissage linéairement pendant les 3 % premières mises à jour, le maintient pendant les 90 % suivants, puis le fait décroître linéairement pendant les 7 % restants.

Traitement du langage naturel

Le modèle data2vec utilise le codage par paires de bytes de 50 000 types pour tokenizer l’entrée, puis le modèle apprend une intégration pour chaque type. Après que les données soient intégrées, le modèle applique la stratégie de masquage BERT à 15 % des jetons uniformément sélectionnés dans lesquels 80 % sont remplacés par des jetons de masquage appris, 10 % sont remplacés par des jetons de vocabulaire aléatoires, et les 10 % restants sont inchangés.

Pendant la préformation, le modèle utilise τo = 0,999, τe = 0,9999, et τn = 100 000, K= 10, et β = 4. Le modèle utilise l’optimiseur Adam avec un programme tri-étape de taux d’apprentissage qui réchauffe le taux d’apprentissage linéairement pendant les 5 % premières mises à jour, le maintient pendant les 80 % suivants, puis le fait décroître linéairement pendant les 15 % restants, avec un taux d’apprentissage de pointe de 2×10-4. 

De plus, le modèle s’entraîne sur 16 GPU avec une taille de lot de 256 séquences, et chaque séquence contenant environ 512 jetons. Pour le traitement en aval, le modèle est préformé dans quatre taux d’apprentissage différents : 1×10-4, 2×10-4, 3×10-4, 4×10-4, et celui qui fonctionne le mieux est sélectionné pour les tâches de traitement en aval de la NLP.

Résultats

Examinons comment le modèle data2vec se comporte lorsqu’il met en œuvre les stratégies discutées ci-dessus pour différentes modalités.

Vision par ordinateur

Pour évaluer les résultats pour la vision par ordinateur, le modèle data2vec est préformé sur les images obtenues à partir du jeu de données ImageNet-1K . Le modèle résultant est affiné en utilisant les données étiquetées du même référentiel. Comme le veut la pratique standard, le modèle est ensuite évalué en termes de précision du haut sur les données de validation.

Les résultats sont ensuite distingués sur la base d’un seul modèle autonome et de la formation d’un tokenizer visuel distinct sur des données supplémentaires, ou d’autres modèles d’apprentissage autonome.

Le tableau ci-dessous compare les performances du modèle data2vec pour la vision par ordinateur et d’autres modèles existants : ViT-L et ViT-B.

Les résultats du tableau ci-dessus peuvent être résumés comme suit.

• Le modèle data2vec surpasse les travaux antérieurs avec les deux modèles ViT-L et ViT-B dans le cadre d’un seul modèle.
• La configuration de prédiction masquée utilisée dans l’algorithme data2vec pour prédire des représentations latentes contextualisées fonctionne mieux que les méthodes qui prédisent des cibles locales comme l’ingénierie de fonctionnalités d’image, les pixels d’entrée ou les jetons visuels.
• Le modèle data2vec surpasse également les méthodes d’autodistillation qui régressent la couche finale du réseau étudiant en prenant deux versions différentes d’une image comme entrées.

Traitement audio et discours

Pour le traitement audio et du discours, le modèle data2vec est formé sur environ 960 heures de données audio obtenues à partir du jeu de données Librispeech (LS-960) . Le jeu de données contient des données audio de discours propres à partir de livres audio en anglais, et il est traité comme un référentiel standard dans l’industrie du traitement audio et du discours.

Pour analyser les performances du modèle dans différents paramètres de ressources, les chercheurs ont affiné le modèle data2vec pour utiliser différentes quantités de données étiquetées (à partir de quelques minutes à plusieurs heures) pour la reconnaissance automatique du discours. Pour analyser les performances du modèle, le data2vec est comparé à HuBERT et wav2vec 2.0, deux des algorithmes les plus populaires pour l’apprentissage de représentations audio et vocales qui reposent sur des unités de discours discretes.

Le tableau ci-dessus compare les performances du data2vec en termes de taux de mots pour la reconnaissance vocale avec d’autres modèles existants. LM représente le modèle de langage utilisé pour la décoding. Les résultats peuvent être résumés comme suit.

• Le modèle data2vec montre des améliorations pour la plupart des paramètres de données étiquetées avec le plus grand gain de 10 minutes de données étiquetées pour les modèles de base.
• Lorsqu’il s’agit de grands modèles, le modèle fonctionne beaucoup mieux sur de petits ensembles de données étiquetées et les performances sont comparables sur des ensembles de données étiquetées riches avec plus de 100 et 960 heures de données étiquetées. C’est parce que les performances généralement se stabilisent sur des ensembles de données étiquetées riches pour la plupart des modèles.
• Après avoir analysé les performances, on peut en déduire que lorsqu’il utilise des cibles contextualisées riches, il n’est pas essentiel d’apprendre des unités discrètes.
• L’apprentissage de cibles contextualisées pendant la formation améliore les performances globales de manière significative.

De plus, pour valider l’approche du data2vec pour la reconnaissance vocale, le modèle est également formé sur le référentiel AudioSet . Bien que le dispositif de préformation pour AudioSet soit similaire à Librispeech, le modèle est formé pour K= 12 et pendant plus de 200 000 mises à jour, où la taille de chaque lot est de 94,5 minutes.

Le modèle applique ensuite le cadre DeepNorm et la normalisation de couche aux cibles pour aider à stabiliser la formation. De plus, le modèle est également affiné sur des sous-ensembles équilibrés avec une taille de lot de 21,3 minutes sur 13 000 mises à jour. Le modèle utilise également le pooling softmax linéaire et le mélange avec une probabilité de 0,7. Le modèle ajoute ensuite une projection linéaire unique dans 527 classes audio uniques et définit le taux d’apprentissage de projection à 2e-4.

De plus, les paramètres préformés ont un taux d’apprentissage de 3e-5, et le modèle utilise des techniques de masquage pour affiner le jeu de données.

Le tableau ci-dessous résume les résultats, et on peut voir que le modèle data2vec est capable de surpercer un dispositif comparable avec le même affinage et les mêmes données de préformation.

Traitement du langage naturel

Pour analyser les performances du data2vec sur le texte, le modèle suit le même dispositif de formation que le BERT et préforme le modèle sur le jeu de données Wikipedia anglais avec plus de 1 million de mises à jour et une taille de lot de 256 séquences. Le modèle est évalué sur le référentiel GLUE ou évaluation générale du langage qui comprend des tâches d’inférence de langage naturel (MNLI ou inférence de langage naturel multigenre), la similarité de phrase (QQP ou paires de questions Quora, MRPC ou corpus de paragraphes de recherche Microsoft (MSFT ), et STS-B ou référentiel de similarité textuelle sémantique), l’analyse des sentiments (SST-2 ou arbre de sentiments de Stanford) et la grammaire (CoLA). 

De plus, pour affiner le modèle data2vec, les données étiquetées sont fournies par chaque tâche, et la précision moyenne est signalée sur les ensembles de développement avec 5 exécutions d’affinage. Le tableau ci-dessous résume les performances du modèle data2vec pour les tâches de NLP et les compare avec d’autres modèles.

• Les données ci-dessus montrent que le modèle data2vec surpasse le modèle de référence RoBERTa car la stratégie dans le modèle data2vec n’utilise pas de cibles aléatoires.
• Le modèle data2vec est le premier modèle de NLP préformé avec succès qui n’utilise pas d’unités discrètes comme des caractères, des mots ou des sous-mots comme cibles de formation. Au lieu de cela, le cadre data2vec prédit des représentations latentes contextualisées sur la séquence de texte non masquée complète.
• Cela aide à créer une tâche d’apprentissage dans laquelle le modèle est requis pour prédire des cibles avec des propriétés spécifiques à partir de la séquence actuelle plutôt que de prédire des représentations qui sont génériques à chaque unité de texte avec une discrétion particulière.
• De plus, l’ensemble de cibles de formation n’est pas fixe, et le modèle est libre de définir de nouvelles cibles, et il est ouvert aux paramètres de vocabulaire.

Étude d’ablation de data2vec

L’ablation est un terme utilisé pour définir la suppression d’un composant dans les systèmes d’IA et de ML. Une étude d’ablation est utilisée pour enquêter ou analyser les performances d’un modèle d’IA ou de ML en supprimant certains composants clés du modèle qui permettent aux chercheurs de comprendre la contribution de ce composant dans l’ensemble du système.

Cibles moyennées par couche

Une différence majeure entre le data2vec et les autres modèles d’apprentissage autonome est que le modèle data2vec utilise des cibles basées sur la moyenne de plusieurs couches du réseau enseignant. L’idée vient du fait que les couches supérieures du modèle wav2vec 2.0 ne fonctionnent pas bien pour les tâches en aval lorsqu’elles sont comparées aux couches moyennes du modèle.

Dans l’expérience suivante, les performances de toutes les trois modalités sont mesurées en moyennant K= 1, 2, …, 12 couches où K= 1 prédit uniquement la couche supérieure. Cependant, pour extraire un temps de retour plus rapide, le modèle data2vec forme le modèle de base avec 12 couches au total. Pour la reconnaissance vocale, le modèle est préformé sur plus de 200 000 mises à jour sur Librispeech, puis affiné sur une partition étiquetée de 10 heures de Libri-light. Pour le NLP, le modèle signale le score GLUE moyen pour l’ensemble de validation, puis préforme le modèle pendant 300 époques pour la vision par ordinateur et signale la précision du haut obtenu sur le jeu de données ImageNet.

La figure ci-dessus montre que les cibles basées sur plusieurs couches améliorent généralement lorsque seule la couche supérieure K=1 est utilisée pour toutes les modalités. Utiliser toutes les couches disponibles est une bonne pratique car les réseaux de neurones construisent des fonctionnalités sur différents types de fonctionnalités, et de nombreuses couches qui sont ensuite extraites comme des couches de fonctionnalités.

L’utilisation de fonctionnalités de plusieurs couches aide à améliorer la précision et enrichit le processus d’apprentissage autonome.

Type de fonctionnalité cible

Les blocs Transformer dans le modèle data2vec ont plusieurs couches qui peuvent toutes servir de cibles. Pour analyser comment les différentes couches affectent les performances, le modèle est préformé sur les modèles de discours de Librispeech qui utilisent différentes couches comme fonctionnalités cibles.

La figure ci-dessous indique clairement que la sortie du réseau de neurones à avant-propos ou de la FFN fonctionne idéalement, tandis que la sortie des blocs d’auto-attention ne donne pas lieu à un modèle utilisable.

Contextualisation de la cible

Les représentations de l’enseignant dans le modèle data2vec utilisent l’auto-attention sur l’ensemble de l’entrée pour produire des cibles contextualisées. C’est ce qui distingue le data2vec des autres modèles d’apprentissage autonome qui construisent une tâche d’apprentissage en reconstruisant ou en prédisant des parties locales de l’entrée. Cela pose clairement la question : le modèle data2vec nécessite-t-il des cibles contextualisées pour fonctionner bien ?

Pour répondre à la question, les chercheurs construisent des représentations cibles qui n’ont pas accès à l’ensemble des données d’entrée mais seulement à une fraction prédéterminée. Le modèle restreint ensuite le mécanisme d’auto-attention de l’enseignant qui lui permet d’accéder uniquement à une partie de l’environnement d’entrée.

La figure ci-dessous indique que les tailles de contexte plus grandes conduisent souvent à de meilleures performances, et lorsque l’ensemble de l’échantillon d’entrée est visible, cela donne la meilleure précision. Cela prouve en outre que des représentations cibles plus riches peuvent conduire à de meilleures performances.

Extracteurs de fonctionnalités spécifiques à la modalité et masquage

L’objectif principal du data2vec est de concevoir un mécanisme d’apprentissage simple qui puisse fonctionner avec différentes modalités. C’est parce que, même si les modèles et les cadres actuels ont un régime d’apprentissage unifié, ils utilisent toujours des extracteurs de fonctionnalités et des masquages spécifiques à la modalité.

Il est logique que les cadres fonctionnent principalement avec une seule modalité étant donné la nature des données d’entrée qui varie considérablement les unes des autres. Par exemple, les modèles de reconnaissance vocale utilisent une entrée à haute résolution (comme une forme d’onde 10 kHz) qui a généralement des milliers d’échantillons. La forme d’onde est ensuite traitée par le cadre en utilisant un réseau de neurones convolutifs à couches multiples pour obtenir des séquences de fonctionnalités de 50 Hz.

Cibles structurées et contextualisées

Le point de différenciation principal entre le data2vec et les autres modèles de prédiction masquée est que dans le modèle data2vec, les fonctionnalités des cibles de formation sont contextualisées. Ces fonctionnalités sont construites en utilisant l’auto-attention de l’ensemble de l’entrée masquée dans le mode enseignant.

D’autres cadres comme BYOL (Bootstrap Your Own Latent) ou DINO utilisent également des représentations latentes comme le data2vec, mais leur objectif principal est d’apprendre des représentations invariantes de transformation.

Pensées finales

Les travaux récents dans l’industrie de l’IA et du ML ont indiqué que les architectures de modèle uniformes peuvent être une approche efficace pour résoudre plusieurs modalités. Le modèle data2vec utilise une approche d’apprentissage autonome pour travailler avec trois modalités : discours, images et langage.

Le concept clé derrière le modèle data2vec est d’utiliser une vue partielle de l’entrée pour régresser les informations ou les données d’entrée contextualisées. L’approche utilisée par le cadre data2vec est efficace car le modèle fonctionne mieux que les modèles d’apprentissage autonome précédents sur le jeu de données ImageNet-1K pour les deux modèles ViT-B et ViT-L.

Le data2vec est vraiment un jalon dans l’industrie de l’apprentissage autonome car il démontre qu’une méthode d’apprentissage unique pour apprendre plusieurs modalités peut en effet rendre plus facile pour les modèles d’apprendre à travers les modalités.