La lutte pour la personnalisation à zéro tir dans l’IA générative

Si vous souhaitez vous insérer dans un outil de génération d’images ou de vidéos populaires, mais que vous n’êtes pas déjà suffisamment célèbre pour que le modèle de base vous reconnaisse, vous devrez entraîner un modèle d’adaptation de bas rang (LoRA) à l’aide d’une collection de vos propres photos. Une fois créé, ce modèle LoRA personnalisé permet au modèle génératif d’inclure votre identité dans les sorties futures.

Ceci est couramment appelé personnalisation dans le secteur de la recherche sur la synthèse d’images et de vidéos. Il est apparu pour la première fois quelques mois après l’avènement de la diffusion stable en été 2022, avec le projet DreamBooth de Google Research, qui offrait des modèles de personnalisation de plusieurs gigaoctets, dans un schéma closed-source qui a été rapidement adapté par les enthousiastes et publié dans la communauté.

Les modèles LoRA ont rapidement suivi, offrant un entraînement plus facile et des tailles de fichiers beaucoup plus légères, avec un coût minimal ou nul en termes de qualité, et ont rapidement dominé la scène de la personnalisation pour la diffusion stable et ses successeurs, comme les modèles plus récents tels que Flux, et maintenant les nouveaux modèles de vidéos génératives comme Hunyuan Video et Wan 2.1.

Rinse and Repeat

Le problème est que, comme nous l’avons noté auparavant, chaque fois qu’un nouveau modèle est publié, il nécessite une nouvelle génération de LoRA pour être entraînée, ce qui représente une friction considérable pour les producteurs de LoRA, qui peuvent entraîner une gamme de modèles personnalisés pour finalement découvrir qu’une mise à jour de modèle ou un modèle plus populaire signifie qu’ils doivent recommencer à zéro.

Par conséquent, les approches de personnalisation à zéro tir sont devenues une forte tendance dans la littérature récemment. Dans ce scénario, au lieu de devoir curater un ensemble de données et entraîner votre propre sous-modèle, vous fournissez simplement une ou plusieurs photos du sujet à insérer dans la génération, et le système interprète ces sources d’entrée dans une sortie mélangée.

En dessous, nous voyons que, outre le remplacement de visage, un système de ce type (ici utilisant PuLID) peut également incorporer des valeurs d’identité dans le transfert de style:

Exemples de transfert d’identité faciale à l’aide du système PuLID. Source: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

Alors que remplacer un système laborieux et fragile comme LoRA par un adaptateur générique est une excellente idée (et populaire), c’est également un défi; l’attention extrême aux détails et la couverture obtenues dans le processus d’entraînement LoRA sont très difficiles à imiter dans un modèle de type IP-Adapter, qui doit correspondre au niveau de détail et de flexibilité de LoRA sans l’avantage préalable d’analyser un ensemble complet d’images d’identité.

HyperLoRA

Ceci étant dit, il y a un article intéressant de ByteDance proposant un système qui génère du code LoRA réel en temps réel, ce qui est actuellement unique parmi les solutions à zéro tir:

À gauche, les images d’entrée. À droite, une gamme flexible de sorties basées sur les images sources, produisant efficacement des deepfakes des acteurs Anthony Hopkins et Anne Hathaway. Source: https://arxiv.org/pdf/2503.16944

L’article indique:

‘Les techniques basées sur les adaptateurs, telles que IP-Adapter, figent les paramètres du modèle de base et emploient une architecture de plug-in pour permettre l’inférence à zéro tir, mais elles présentent souvent un manque de naturalité et d’authenticité, qui ne doivent pas être négligés dans les tâches de synthèse de portraits.

‘[Nous] introduisons une méthode de génération adaptative à paramètres efficaces, appelée HyperLoRA, qui utilise un réseau de plug-in adaptatif pour générer des poids LoRA, en combinant les performances supérieures de LoRA avec la capacité à zéro tir de l’adaptateur.

‘Grâce à notre structure de réseau soigneusement conçue et à notre stratégie d’entraînement, nous réalisons une génération de portraits personnalisés à zéro tir (prise en charge à la fois des entrées d’image unique et multiple) avec une photoréalisme, une fidélité et une édibilité élevées.’

Le système le plus utile, une fois entraîné, peut être utilisé avec l’existing ControlNet, permettant un niveau élevé de spécificité dans la génération:

Timothy Chalomet fait une apparition inattendue dans ‘The Shining’ (1980), basée sur trois photos d’entrée dans HyperLoRA, avec un masque ControlNet définissant la sortie (en concert avec une invite de texte).

En ce qui concerne la disponibilité du nouveau système pour les utilisateurs finals, ByteDance a un dossier raisonnable à cet égard, ayant publié le puissant framework de synchronisation de lèvres LatentSync, et ayant tout juste publié le framework InfiniteYou.

Négativement, l’article ne donne aucune indication d’une intention de publication, et les ressources d’entraînement nécessaires pour recréer le travail sont si exorbitantes qu’il serait difficile pour la communauté des enthousiastes de les recréer (comme ils l’ont fait avec DreamBooth).

L’article intitulé HyperLoRA: Génération adaptative à paramètres efficaces pour la synthèse de portraits est publié par sept chercheurs de ByteDance et de son département de création intelligente dédié.

Méthode

La nouvelle méthode utilise le modèle de diffusion latente stable (LDM) SDXL comme modèle de base, bien que les principes semblent applicables aux modèles de diffusion en général (cependant, les exigences d’entraînement – voir ci-dessous – pourraient les rendre difficiles à appliquer aux modèles de vidéos génératives).

Le processus d’entraînement pour HyperLoRA est divisé en trois étapes, chacune conçue pour isoler et préserver des informations spécifiques dans les poids appris. L’objectif de cette procédure est de prévenir la pollution des caractéristiques d’identité par des éléments non pertinents tels que les vêtements ou les arrière-plans, tout en atteignant une convergence rapide et stable.

Schéma conceptuel pour HyperLoRA. Le modèle est divisé en ‘Hyper ID-LoRA’ pour les caractéristiques d’identité et ‘Hyper Base-LoRA’ pour les arrière-plans et les vêtements. Cette séparation réduit les fuites de caractéristiques. Lors de l’entraînement, la base SDXL et les encodeurs sont figés, et seuls les modules HyperLoRA sont mis à jour. Lors de l’inférence, seul ID-LoRA est nécessaire pour générer des images personnalisées.

La première étape se concentre entièrement sur l’apprentissage d’un ‘Base-LoRA’ (en bas à gauche de l’image de schéma ci-dessus), qui capture les détails non pertinents à l’identité.

Pour imposer cette séparation, les chercheurs ont intentionnellement flouté le visage dans les images d’entraînement, permettant au modèle de se concentrer sur des choses telles que les arrière-plans, l’éclairage et la pose – mais pas l’identité. Cette étape de ‘réchauffement’ agit comme un filtre, supprimant les distractions de bas niveau avant que l’apprentissage des caractéristiques d’identité ne commence.

Dans la deuxième étape, un ‘ID-LoRA’ (en haut à gauche de l’image de schéma ci-dessus) est introduit. Ici, l’identité faciale est encodée à l’aide de deux voies parallèles: un Vision Transformer CLIP pour les caractéristiques structurelles et l’encodeur InsightFace AntelopeV2 pour des représentations d’identité plus abstraites.

Approche transitoire

Les caractéristiques CLIP aident le modèle à converger rapidement, mais risquent de surajuster, tandis que les embeddings Antelope sont plus stables mais plus lents à entraîner. Par conséquent, le système commence par s’appuyer davantage sur CLIP, puis phase progressivement Antelope, pour éviter l’instabilité.

Dans la dernière étape, les couches d’attention guidées par CLIP sont entièrement figées. Seuls les modules d’attention liés à AntelopeV2 continuent à s’entraîner, permettant au modèle de raffiner la préservation de l’identité sans dégrader la fidélité ou la généralité des composants précédemment appris.

Cette structure en phases est essentiellement une tentative de désentanglement. Les caractéristiques d’identité et non d’identité sont d’abord séparées, puis raffinées de manière indépendante. C’est une réponse méthodique aux modes de défaillance habituels de la personnalisation: dérive d’identité, faible édibilité et surajustement aux caractéristiques incidentes.

Pendant que vous pesez

Après que CLIP ViT et AntelopeV2 aient extrait à la fois des caractéristiques structurelles et des caractéristiques d’identité spécifiques d’un portrait donné, les caractéristiques obtenues sont ensuite passées à travers un échantillonneur de perceptron (dérivé du projet IP-Adapter) – un module basé sur un transformateur qui mappe les caractéristiques à un ensemble compact de coefficients.

Deux échantillonneurs distincts sont utilisés: un pour générer des poids Base-LoRA (qui encodent les éléments d’arrière-plan et non d’identité) et un autre pour les poids ID-LoRA (qui se concentrent sur l’identité faciale).

Schéma de la structure du réseau HyperLoRA.

Les coefficients de sortie sont ensuite combinés linéairement avec un ensemble de matrices de base LoRA apprises, produisant des poids LoRA complets sans avoir besoin de réentraîner le modèle de base.

Cette approche permet au système de générer des poids personnalisés entièrement en temps réel, en utilisant uniquement des encodeurs d’images et une projection légère, tout en exploitant la capacité de LoRA à modifier directement le comportement du modèle de base.

Données et tests

Pour entraîner HyperLoRA, les chercheurs ont utilisé un sous-ensemble de 4,4 millions d’images de visages du jeu de données LAION-2B (maintenant mieux connu comme la source de données pour les modèles de diffusion stable originaux de 2022).

InsightFace a été utilisé pour filtrer les visages non-portraits et les images multiples. Les images ont ensuite été annotées avec le système de caption BLIP-2.

En termes d’augmentation de données, les images ont été recadrées aléatoirement autour du visage, mais toujours centrées sur la région du visage.

Les rangs LoRA respectifs devaient s’adapter à la mémoire disponible dans la configuration d’entraînement. Par conséquent, le rang LoRA pour ID-LoRA a été fixé à 8, et le rang pour Base-LoRA à 4, tandis qu’une accumulation de gradient à huit étapes a été utilisée pour simuler une taille de lot plus grande que celle qui était réellement possible sur le matériel.

Les chercheurs ont entraîné les modules Base-LoRA, ID-LoRA (CLIP) et ID-LoRA (embedding d’identité) séquentiellement pendant 20 000, 15 000 et 55 000 itérations, respectivement. Lors de l’entraînement ID-LoRA, ils ont échantillonné à partir de trois scénarios de conditionnement avec des probabilités de 0,9, 0,05 et 0,05.

Le système a été mis en œuvre à l’aide de PyTorch et de Diffusers, et le processus d’entraînement complet a duré environ dix jours sur 16 GPU NVIDIA A100*.

Tests ComfyUI

Les auteurs ont construit des flux de travail dans la plate-forme de synthèse ComfyUI pour comparer HyperLoRA à trois méthodes rivales: InstantID; l’IP-Adapter, sous la forme du framework IP-Adapter-FaceID-Portrait; et le PuLID mentionné ci-dessus. Des graines cohérentes, des invites et des méthodes d’échantillonnage ont été utilisées à travers tous les cadres.

Les auteurs notent que les méthodes basées sur les adaptateurs (plutôt que sur LoRA) nécessitent généralement des échelles de guidage de classeur inférieures, tandis que LoRA (y compris HyperLoRA) est plus permissif à cet égard.

Ainsi, pour une comparaison équitable, les chercheurs ont utilisé la variante de point de contrôle fine-tuned SDXL ouverte à travers les tests. Pour les tests quantitatifs, le jeu de données d’images Unsplash-50 a été utilisé.

Métriques

Pour une référence de fidélité, les auteurs ont mesuré la similarité faciale en utilisant des distances cosinus entre les embeddings d’images CLIP (CLIP-I) et des embeddings d’identité distincts (ID Sim) extraits via CurricularFace, un modèle qui n’a pas été utilisé pendant l’entraînement.

Chaque méthode a généré quatre portraits haute résolution par identité dans l’ensemble de test, avec des résultats ensuite moyennés.

L’édibilité a été évaluée à la fois par la comparaison des scores CLIP-I entre les sorties avec et sans les modules d’identité (pour voir à quel point les contraintes d’identité ont modifié l’image); et en mesurant l’alignement de l’image-texte CLIP (CLIP-T) sur dix variations d’invite couvrant les styles de cheveux, les accessoires, les vêtements et les arrière-plans.

Les auteurs ont inclus le modèle de base Arc2Face dans les comparaisons – un modèle de base entraîné sur des légendes fixes et des régions faciales découpées.

Pour HyperLoRA, deux variantes ont été testées: l’une utilisant uniquement le module ID-LoRA, et l’autre utilisant à la fois les modules ID- et Base-LoRA, avec ce dernier pesé à 0,4. Alors que Base-LoRA améliore la fidélité, il contraint légèrement l’édibilité.

Résultats de la comparaison quantitative initiale.

Sur les tests quantitatifs, les auteurs commentent:

‘Base-LoRA aide à améliorer la fidélité mais limite l’édibilité. Bien que notre conception découple les caractéristiques d’image en différents LoRA, il est difficile d’éviter les fuites mutuelles. Nous pouvons donc ajuster le poids de Base-LoRA pour s’adapter à différents scénarios d’application.

‘Notre HyperLoRA (Full et ID) atteint la meilleure et la deuxième meilleure fidélité faciale, tandis que InstantID montre une supériorité en termes de similarité d’identité faciale mais une fidélité faciale inférieure.

‘Ces deux métriques doivent être considérées ensemble pour évaluer la fidélité, car la similarité d’identité faciale est plus abstraite et la fidélité faciale reflète davantage les détails.’

Dans les tests qualitatifs, les compromis essentiels impliqués dans la proposition fondamentale deviennent évidents (veuillez noter que nous n’avons pas l’espace pour reproduire toutes les images des résultats qualitatifs, et nous renvoyons le lecteur à l’article source pour plus d’images à meilleure résolution):

Comparaison qualitative. De haut en bas, les invites utilisées étaient: ‘chemise blanche’ et ‘oreilles de loup’ (voir l’article pour des exemples supplémentaires).

Ici, les auteurs commentent:

‘La peau des portraits générés par IP-Adapter et InstantID présente une texture générée par IA apparente, qui est un peu [sursaturée] et loin de la photoréalisme.

‘Il s’agit d’un défaut commun des méthodes basées sur les adaptateurs. PuLID améliore ce problème en affaiblissant l’intrusion dans le modèle de base, surpassant IP-Adapter et InstantID mais souffrant toujours de flou et de manque de détails.

‘En revanche, LoRA modifie directement les poids du modèle de base au lieu d’introduire des modules d’attention externes, généralement produisant des images très détaillées et photoréalistes.’

Les auteurs soutiennent que parce que HyperLoRA modifie les poids du modèle de base directement au lieu de s’appuyer sur des modules d’attention externes, il conserve la capacité non linéaire des méthodes LoRA traditionnelles, offrant potentiellement un avantage en termes de fidélité et permettant une capture améliorée de détails subtils tels que la couleur des pupilles.

Dans les comparaisons qualitatives, l’article affirme que les dispositions de HyperLoRA étaient plus cohérentes et mieux alignées sur les invites, et similaires à celles produites par PuLID, tandis que nettement supérieures à InstantID ou IP-Adapter (qui ont parfois échoué à suivre les invites ou ont produit des compositions non naturelles).

Autres exemples de générations ControlNet avec HyperLoRA.

Conclusion

Le flux constant de divers systèmes de personnalisation à zéro tir au cours des 18 derniers mois a pris une qualité de désespoir. Très peu des offres ont fait une avancée notable sur l’état de l’art; et ceux qui l’ont fait tendent à avoir des exigences d’entraînement exorbitantes et/ou des exigences d’inférence extrêmement complexes ou gourmandes en ressources.

Alors que le régime d’entraînement de HyperLoRA est tout aussi ahurissant que de nombreux récents entrées similaires, au moins on se retrouve avec un modèle qui peut gérer la personnalisation ad hoc directement.

À partir du matériel supplémentaire de l’article, nous notons que la vitesse d’inférence de HyperLoRA est meilleure que celle d’IP-Adapter, mais pire que les deux autres méthodes – et que ces chiffres sont basés sur un GPU NVIDIA V100, qui n’est pas un matériel grand public typique (bien que les derniers GPU ‘domestiques’ NVIDIA puissent correspondre ou dépasser la VRAM maximale de 32 Go du V100).

Les vitesses d’inférence des méthodes concurrentes, en millisecondes.

Il est juste de dire que la personnalisation à zéro tir reste un problème non résolu du point de vue pratique, puisque les exigences matérielles importantes de HyperLoRA sont arguables en opposition avec sa capacité à produire un modèle de base à long terme vraiment durable. * Représentant soit 640 Go ou 1280 Go de VRAM, selon le modèle utilisé (ce qui n’est pas spécifié) Publié pour la première fois lundi 24 mars 2025