L’un des défis fondamentaux dans les modèles de vision par ordinateur est la génération de masques de segmentation de haute qualité. Les progrès récents dans la formation supervisée à grande échelle ont permis la segmentation sans supervision à travers divers styles d’images. De plus, la formation sans supervision a simplifié la segmentation sans nécessiter d’annotations extensives. Malgré ces développements, la construction d’un cadre de vision par ordinateur capable de segmenter n’importe quoi dans un contexte sans supervision sans annotations reste une tâche complexe. La segmentation sémantique, un concept fondamental dans les modèles de vision par ordinateur, consiste à diviser une image en régions plus petites avec des sémantiques uniformes. Cette technique pose les bases de nombreuses tâches en aval, telles que l’imagerie médicale, l’édition d’images, la conduite autonome et bien plus encore.

Pour faire progresser le développement des modèles de vision par ordinateur, il est essentiel que la segmentation d’images ne soit pas limitée à un ensemble de données fixe avec des catégories limitées. Au lieu de cela, elle devrait agir comme une tâche fondamentale polyvalente pour diverses autres applications. Cependant, le coût élevé de la collecte d’étiquettes au niveau du pixel présente un défi important, limitant les progrès des méthodes de segmentation sans supervision et supervisée qui nécessitent aucune annotation et ne disposent pas d’un accès préalable à la cible. Cet article discutera de la façon dont les couches d’auto-attention dans les modèles de diffusion stable peuvent faciliter la création d’un modèle capable de segmenter n’importe quelle entrée dans un contexte sans supervision, même sans annotations appropriées. Ces couches d’auto-attention comprennent intrinsèquement les concepts d’objets appris par un modèle de diffusion stable pré-entraîné.

DiffSeg : Un algorithme de segmentation amélioré sans supervision en un seul essai

La segmentation sémantique est un processus qui divise une image en diverses sections, chacune partageant des sémantiques similaires. Cette technique forme la base de nombreuses tâches en aval. Traditionnellement, les tâches de vision par ordinateur sans supervision ont dépendu de la segmentation sémantique supervisée, utilisant de grands ensembles de données avec des catégories annotées et étiquetées. Cependant, la mise en œuvre de la segmentation sémantique sans supervision dans un contexte sans supervision reste un défi. Alors que les méthodes supervisées traditionnelles sont efficaces, leur coût d’étiquetage au niveau du pixel est souvent prohibitif, mettant en évidence la nécessité de développer des méthodes de segmentation sans supervision dans un contexte moins restrictif, où le modèle ne nécessite ni données annotées ni connaissance préalable des données.

Pour remédier à cette limitation, DiffSeg introduit une nouvelle stratégie de post-traitement, exploitant les capacités du cadre de diffusion stable pour construire un modèle de segmentation générique capable de transfert sans supervision sur n’importe quelle image. Les cadres de diffusion stable ont prouvé leur efficacité dans la génération d’images à haute résolution en fonction de conditions de prompt. Pour les images générées, ces cadres peuvent produire des masques de segmentation en utilisant des prompts de texte correspondants, qui incluent généralement uniquement des objets de premier plan dominants.

En revanche, DiffSeg est une méthode de post-traitement innovante qui crée des masques de segmentation en utilisant des tenseurs d’attention à partir des couches d’auto-attention dans un modèle de diffusion. L’algorithme DiffSeg est composé de trois composants clés : la fusion d’attention itérative, l’agrégation d’attention et la suppression non maximale, comme illustré dans l’image suivante.

L’algorithme DiffSeg préserve les informations visuelles à travers plusieurs résolutions en agrégeant les tenseurs d’attention 4D avec une cohérence spatiale, et en utilisant un processus de fusion itérative en échantillonnant des points ancre. Ces ancres servent de point de lancement pour la fusion des masques d’attention avec des ancres d’objets absorbés éventuellement. Le cadre DiffSeg contrôle le processus de fusion à l’aide de la méthode de divergence de KL pour mesurer la similarité entre deux cartes d’attention.

Lorsqu’il est comparé aux méthodes de segmentation sans supervision basées sur le regroupement, les développeurs n’ont pas besoin de spécifier le nombre de clusters à l’avance dans l’algorithme DiffSeg, et même sans aucune connaissance préalable, l’algorithme DiffSeg peut produire une segmentation sans utiliser de ressources supplémentaires. Dans l’ensemble, l’algorithme DiffSeg est « une méthode de segmentation sans supervision et sans essai innovante qui utilise un modèle de diffusion stable pré-entraîné, et peut segmenter des images sans ressources supplémentaires ou connaissance préalable. »

DiffSeg : Concepts fondamentaux

DiffSeg est un algorithme innovant qui s’appuie sur les connaissances des modèles de diffusion, de la segmentation sans supervision et de la segmentation sans essai.

Modèles de diffusion

L’algorithme DiffSeg s’appuie sur les connaissances acquises à partir de modèles de diffusion pré-entraînés. Les modèles de diffusion sont l’un des cadres génératifs les plus populaires pour les modèles de vision par ordinateur, et ils apprennent le processus de diffusion direct et inverse à partir d’une image de bruit gaussien isotrope échantillonnée pour générer une image. La diffusion stable est la variante la plus populaire des modèles de diffusion, et elle est utilisée pour effectuer une large gamme de tâches, notamment la segmentation supervisée, la classification sans essai, la correspondance sémantique, la segmentation efficace en termes de label et la segmentation à vocabulaire ouvert. Cependant, le seul problème avec les modèles de diffusion est qu’ils s’appuient sur des fonctionnalités visuelles à haute dimension pour effectuer ces tâches, et ils nécessitent souvent une formation supplémentaire pour tirer pleinement parti de ces fonctionnalités.

Segmentation sans supervision

L’algorithme DiffSeg est étroitement lié à la segmentation sans supervision, une pratique moderne d’IA qui vise à générer des masques de segmentation denses sans employer d’annotations. Cependant, pour offrir de bonnes performances, les modèles de segmentation sans supervision ont besoin d’une certaine formation sans supervision préalable sur l’ensemble de données cible. Les cadres d’IA basés sur la segmentation sans supervision peuvent être caractérisés en deux catégories : le regroupement à l’aide de modèles pré-entraînés, et le regroupement basé sur l’invariance. Dans la première catégorie, les cadres utilisent les fonctionnalités discriminatives apprises par les modèles pré-entraînés pour générer des masques de segmentation, tandis que les cadres de la deuxième catégorie utilisent un algorithme de regroupement générique qui optimise l’information mutuelle entre deux images pour segmenter les images en clusters sémantiques et éviter la segmentation dégénérée.

Segmentation sans essai

L’algorithme DiffSeg est étroitement lié aux cadres de segmentation sans essai, une méthode capable de segmenter n’importe quoi sans formation préalable ou connaissance des données. Les modèles de segmentation sans essai ont démontré des capacités de transfert sans essai exceptionnelles ces derniers temps, bien qu’ils nécessitent une certaine entrée de texte et des invites. En revanche, l’algorithme DiffSeg utilise un modèle de diffusion pour générer une segmentation sans interroger et synthétiser plusieurs images et sans connaître le contenu de l’objet.

DiffSeg : Méthode et architecture

L’algorithme DiffSeg utilise les couches d’auto-attention dans un modèle de diffusion stable pré-entraîné pour générer des tâches de segmentation de haute qualité.

Modèle de diffusion stable

La diffusion stable est l’un des concepts fondamentaux du cadre DiffSeg. La diffusion stable est un cadre d’IA génératif, et l’un des modèles de diffusion les plus populaires. L’une des caractéristiques principales d’un modèle de diffusion est un pass direct et un pass inverse. Dans le pass direct, une petite quantité de bruit gaussien est ajoutée à une image de manière itérative à chaque étape de temps jusqu’à ce que l’image devienne une image de bruit gaussien isotrope. Dans le pass inverse, le modèle de diffusion supprime itérativement le bruit dans l’image de bruit gaussien isotrope pour récupérer l’image originale sans bruit gaussien.

Le cadre de diffusion stable utilise un encodeur-décodeur et une conception U-Net avec une couche d’attention où il utilise un encodeur pour compresser une image dans un espace latent avec des dimensions spatiales plus petites, et utilise le décodeur pour décompresser l’image. L’architecture U-Net se compose d’une pile de blocs modulaires, où chaque bloc est composé de l’un ou l’autre des deux composants suivants : une couche de transformation, et une couche ResNet.

Composants et architecture

Les couches d’auto-attention dans les modèles de diffusion regroupent les informations des objets inhérents sous la forme de cartes d’attention spatiales, et DiffSeg est une méthode de post-traitement innovante pour fusionner les tenseurs d’attention en un masque de segmentation valide avec un pipeline composé de trois principaux composants : l’agrégation d’attention, la suppression non maximale et l’attention itérative.

Agrégation d’attention

Pour une image d’entrée qui passe à travers les couches U-Net et l’encodeur, le modèle de diffusion stable génère un total de 16 tenseurs d’attention, avec 5 tenseurs pour chaque dimension. L’objectif principal de la génération de 16 tenseurs est d’agréger ces tenseurs d’attention avec différentes résolutions en un tenseur avec la résolution la plus élevée possible. Pour atteindre cet objectif, l’algorithme DiffSeg traite les 4 dimensions différemment les unes des autres.

Sur les quatre dimensions, les deux dernières dimensions dans les capteurs d’attention ont des résolutions différentes mais sont spatialement cohérentes puisque la carte spatiale 2D du cadre DiffSeg correspond à la corrélation entre les emplacements et les emplacements spatiaux. Par conséquent, le cadre DiffSeg échantillonne ces deux dimensions de toutes les cartes d’attention à la résolution la plus élevée de toutes, 64 x 64. En revanche, les deux premières dimensions indiquent la référence de localisation des cartes d’attention, comme le montre l’image suivante.

Comme ces dimensions font référence à l’emplacement des cartes d’attention, les cartes d’attention doivent être agrégées en conséquence. De plus, pour s’assurer que la carte d’attention agrégée a une distribution valide, le cadre normalise la distribution après l’agrégation, avec chaque carte d’attention étant affectée d’un poids proportionnel à sa résolution.

Fusion d’attention itérative

Alors que l’objectif principal de l’agrégation d’attention était de calculer un tenseur d’attention, l’objectif principal est de fusionner les cartes d’attention dans le tenseur en une pile de propositions d’objets où chaque proposition individuelle contient soit la catégorie de choses, soit l’activation d’un seul objet. La solution proposée pour atteindre cet objectif est de mettre en œuvre un algorithme K-Means sur la distribution valide des tenseurs pour trouver les clusters des objets. Cependant, l’utilisation de K-Means n’est pas la solution optimale, car le regroupement K-Means nécessite que les utilisateurs spécifient le nombre de clusters à l’avance. De plus, la mise en œuvre d’un algorithme K-Means peut entraîner des résultats différents pour la même image, car il dépend de manière stochastique de l’initialisation. Pour surmonter cet obstacle, le cadre DiffSeg propose de générer une grille d’échantillonnage pour créer les propositions en fusionnant les cartes d’attention de manière itérative.

Suppression non maximale

L’étape précédente de la fusion d’attention itérative donne lieu à une liste de propositions d’objets sous la forme de cartes d’attention de probabilité où chaque proposition d’objet contient l’activation de l’objet. Le cadre utilise la suppression non maximale pour convertir la liste de propositions d’objets en un masque de segmentation valide, et le processus est une approche efficace, car chaque élément de la liste est déjà une carte de distribution de probabilité. Pour chaque emplacement spatial à travers toutes les cartes, l’algorithme prend l’indice de la probabilité la plus élevée et attribue une adhésion en fonction de l’indice de la carte correspondante.

DiffSeg : Expériences et résultats

Les cadres qui travaillent sur la segmentation sans supervision utilisent deux benchmarks de segmentation, à savoir Cityscapes et COCO-stuff-27. Le benchmark Cityscapes est un ensemble de données de conduite autonome avec 27 catégories de niveau intermédiaire, tandis que le benchmark COCO-stuff-27 est une version épurée de l’ensemble de données COCO-stuff original qui fusionne 80 choses et 91 catégories en 27 catégories. De plus, pour analyser les performances de segmentation, le cadre DiffSeg utilise l’intersection moyenne sur l’union ou mIoU et la précision des pixels ou ACC, et comme l’algorithme DiffSeg est incapable de fournir une étiquette sémantique, il utilise l’algorithme de correspondance hongroise pour attribuer un masque de vérité au sol à chaque masque prédit. Dans le cas où le nombre de masques prédits dépasse le nombre de masques de vérité au sol, le cadre prend en compte les tâches prédites non appariées comme des faux négatifs.

De plus, le cadre DiffSeg met également l’accent sur les trois travaux suivants pour exécuter l’interférence : la dépendance du langage ou LD, l’adaptation sans supervision ou UA, et l’image auxiliaire ou AX. La dépendance du langage signifie que la méthode nécessite des entrées de texte descriptives pour faciliter la segmentation de l’image, l’adaptation sans supervision fait référence à la nécessité pour la méthode d’utiliser une formation sans supervision sur l’ensemble de données cible, tandis que l’image auxiliaire fait référence à la nécessité pour la méthode d’utiliser des images supplémentaires, soit sous forme d’images synthétiques, soit sous forme d’un pool d’images de référence.

Résultats

Sur le benchmark COCO, le cadre DiffSeg inclut deux lignes de base K-Means, K-Means-S et K-Means-C. La ligne de base K-Means-C inclut 6 clusters qu’elle a calculés en moyennant le nombre d’objets dans les images qu’elle évalue, tandis que la ligne de base K-Means-S utilise un nombre spécifique de clusters pour chaque image en fonction du nombre d’objets présents dans le sol de l’image, et les résultats sur ces deux benchmarks sont présentés dans l’image suivante.

Comme on peut le voir, la ligne de base K-Means surpasse les méthodes existantes, démontrant ainsi les avantages de l’utilisation de tenseurs d’auto-attention. Ce qui est intéressant, c’est que la ligne de base K-Means-S surpasse la ligne de base K-Means-C, ce qui indique que le nombre de clusters est un hyperparamètre fondamental, et que le réglage est important pour chaque image. De plus, même en s’appuyant sur les mêmes tenseurs d’attention, le cadre DiffSeg surpasse les lignes de base K-Means, ce qui prouve la capacité du cadre DiffSeg à fournir non seulement une meilleure segmentation, mais également à éviter les inconvénients posés par l’utilisation de lignes de base K-Means.

Sur l’ensemble de données Cityscapes, le cadre DiffSeg livre des résultats similaires aux cadres qui utilisent des entrées avec une résolution inférieure à 320, tout en surpassant les cadres qui utilisent des entrées avec une résolution supérieure à 512 en termes de précision et de mIoU.

Comme mentionné précédemment, le cadre DiffSeg utilise plusieurs hyperparamètres, comme le montre l’image suivante.

L’agrégation d’attention est l’un des concepts fondamentaux utilisés dans le cadre DiffSeg, et les effets de l’utilisation de différents poids d’agrégation sont présentés dans l’image suivante, avec une résolution d’image constante.

Comme on peut l’observer, les cartes de haute résolution dans la figure (b) avec des cartes 64 x 64 donnent les segmentations les plus détaillées, bien que les segmentations aient quelques fractures visibles, tandis que les cartes de résolution inférieure 32 x 32 ont tendance à surestimer les détails, même si elles aboutissent à des segmentations plus cohérentes. Dans la figure (d), les cartes de résolution inférieure échouent à générer une segmentation, car l’image entière est fusionnée en un seul objet avec les paramètres hyper d’origine. Enfin, la figure (a) qui utilise une stratégie d’agrégation proportionnelle donne des détails améliorés et une cohérence équilibrée.

Pensées finales

La segmentation sans supervision en un seul essai est toujours l’un des plus grands défis pour les cadres de vision par ordinateur, et les modèles existants s’appuient soit sur une adaptation sans supervision non nulle, soit sur des ressources externes. Pour surmonter ce défi, nous avons discuté de la façon dont les couches d’auto-attention dans les modèles de diffusion stable peuvent permettre la construction d’un modèle capable de segmenter n’importe quelle entrée dans un contexte sans essai sans annotations appropriées, car ces couches d’auto-attention comprennent intrinsèquement les concepts d’objets appris par un modèle de diffusion stable pré-entraîné. Nous avons également discuté de DiffSeg, une stratégie de post-traitement innovante qui vise à exploiter le potentiel du cadre de diffusion stable pour construire un modèle de segmentation générique capable de transfert sans essai sur n’importe quelle image. L’algorithme repose sur la similarité inter-attention et la similarité intra-attention pour fusionner les cartes d’attention de manière itérative en masques de segmentation valides pour atteindre les performances de pointe sur les benchmarks populaires.