Vers des LoRAs qui peuvent survivre aux mises à jour des versions de modèle

Depuis ma couverture récente de la croissance du nombre de passionnés de Hunyuan Video LoRAs (petits fichiers formés qui peuvent injecter des personnalités personnalisées dans des modèles de fond text-to-video et image-to-video à plusieurs milliards de paramètres), le nombre de LoRAs liées disponibles dans la communauté Civit a augmenté de 185 %.

Bien qu’il n’y ait pas de moyens particulièrement faciles ou peu coûteux pour créer un Hunyuan Video LoRA, le catalogue de célébrités et de LoRAs à thème de Civit grandit quotidiennement. Source: https://civitai.com/

La même communauté qui se démène pour apprendre à produire ces « personnalités ajoutées » pour Hunyuan Video (HV) est également ulcérée par la promesse de sortie d’une fonctionnalité image-to-video (I2V) dans Hunyuan Video.

En ce qui concerne la synthèse d’images humaines open source, c’est un gros problème; combiné avec la croissance des Hunyuan LoRAs, cela pourrait permettre aux utilisateurs de transformer des photos de personnes en vidéos d’une manière qui ne les dégrade pas au fur et à mesure que la vidéo se développe – ce qui est actuellement le cas dans tous les générateurs d’images à l’état de l’art, y compris Kling, Kaiber et le célèbre RunwayML:

Cliquez pour jouer. Une génération d’image à partir du modèle Gen 3 Turbo de RunwayML. Cependant, comme tous les modèles similaires et moins puissants, il ne peut pas maintenir une identité cohérente lorsque le sujet s’éloigne de la caméra, et les caractéristiques distinctives de l’image de départ deviennent une « femme de diffusion générique ». Source: https://app.runwayml.com/

En développant une LoRA personnalisée pour la personnalité en question, on pourrait, dans un flux de travail I2V HV, utiliser une photo réelle de celle-ci comme point de départ. C’est un « grain » bien meilleur que d’envoyer un nombre aléatoire dans l’espace latent du modèle et de se contenter de ce qui en résulte. On pourrait alors utiliser la LoRA, ou plusieurs LoRAs, pour maintenir la cohérence de l’identité, des coiffures, des vêtements et d’autres aspects essentiels d’une génération.

Potentiellement, la disponibilité d’une telle combinaison pourrait représenter l’un des changements les plus importants dans l’IA générative depuis le lancement de Stable Diffusion, avec une puissance générative formidable remise aux mains des enthousiastes open source, sans la régulation (ou « gatekeeping », si vous préférez) fournie par les censeurs de contenu dans les systèmes de vidéo générative populaires actuels.

Alors que j’écris, Hunyuan image-to-video est un élément non coché dans le référentiel GitHub de Hunyuan Video, avec la communauté des passionnés signalant (de manière anecdotique) un commentaire Discord d’un développeur Hunyuan, qui a apparemment déclaré que la sortie de cette fonctionnalité a été reportée à une date ultérieure dans le premier trimestre en raison du modèle étant « trop non censuré ».

La liste officielle de vérification des fonctionnalités de sortie pour Hunyuan Video. Source: https://github.com/Tencent/HunyuanVideo?tab=readme-ov-file#-open-source-plan

Exact ou non, les développeurs du référentiel ont substantiellement tenu leurs promesses pour le reste de la liste de vérification de Hunyuan, et il semble donc que Hunyuan I2V arrivera éventuellement, qu’il soit censuré, non censuré ou de quelque manière que ce soit « débloqué ».

Mais comme on peut le voir dans la liste ci-dessus, la sortie I2V est apparemment un modèle entièrement séparé – ce qui rend peu probable que l’une des LoRAs HV actuelles en plein essor à Civit et ailleurs fonctionne avec lui.

Dans ce scénario (maintenant) prévisible, les cadres de formation de LoRA tels que Musubi Tuner et OneTrainer seront soit retardés, soit réinitialisés pour prendre en charge le nouveau modèle. Entre-temps, l’un ou deux des YouTubeurs les plus technophiles (et entrepreneurs) rançonneront leurs solutions via Patreon jusqu’à ce que la scène rattrape.

La fatigue des mises à jour

Presque personne n’éprouve une fatigue des mises à jour autant qu’un enthousiaste de LoRA ou de fine-tuning, car le rythme rapide et compétitif du changement dans l’IA générative encourage les fonderies de modèles telles que Stability.ai, Tencent et Black Forest Labs à produire des modèles plus grands et (parfois) meilleurs à la fréquence maximale viable.

Étant donné que ces nouveaux et améliorés modèles auront au moins des biais et des poids différents, et plus souvent une échelle et/ou une architecture différentes, cela signifie que la communauté de fine-tuning doit ressortir ses jeux de données et répéter le processus d’entraînement fastidieux pour la nouvelle version.

C’est la raison pour laquelle une multiplicité de types de LoRA de Stable Diffusion est disponible à Civit:

Le chemin de mise à jour, visualisé dans les options de filtre de recherche à civit.ai

Puisque aucun de ces modèles LoRA légers n’est interopérable avec des versions de modèle supérieures ou inférieures, et que beaucoup d’entre eux dépendent de merges et de fine-tunes populaires à grande échelle qui s’appuient sur un modèle plus ancien, une partie importante de la communauté a tendance à rester avec une version « héritée », de la même manière que la loyauté des clients envers Windows XP a persisté des années après la fin du support officiel.

S’adapter au changement

Ce sujet me vient à l’esprit à cause d’un nouveau document de la recherche d’IA de Qualcomm, qui prétend avoir développé une méthode permettant aux LoRAs existants d’être « mis à niveau » vers une nouvelle version de modèle.

Exemple de conversion de LoRAs entre les versions de modèle. Source: https://arxiv.org/pdf/2501.16559

Ceci ne signifie pas que la nouvelle approche, intitulée LoRA-X, puisse se traduire librement entre tous les modèles du même type (c’est-à-dire les modèles text-to-image ou les grands modèles de langage [LLM]); mais les auteurs ont démontré une translittération efficace d’une LoRA de Stable Diffusion v1.5 > SDXL, et une conversion d’une LoRA pour le modèle textuel TinyLlama 3T en TinyLlama 2.5T.

LoRA-X transfère les paramètres de LoRA entre les modèles de base différents en préservant l’adaptateur dans l’espace sous-jacent du modèle source; mais seulement dans les parties du modèle qui sont suffisamment similaires entre les versions de modèle.

À gauche, un schéma de la façon dont le modèle source LoRA-X affine un adaptateur, qui est ensuite ajusté pour s’adapter au modèle cible. À droite, des images générées par les modèles cibles SD Eff-v1.0 et SSD-1B, après application d’adaptateurs transférés de SD-v1.5 et SDXL sans formation supplémentaire.

Alors que cela offre une solution pratique pour les scénarios où la réentraînement est indésirable ou impossible (comme un changement de licence sur les données de formation d’origine), la méthode est limitée aux architectures de modèle similaires, entre autres limitations.

Bien que cela soit une rare incursion dans un domaine peu étudié, nous n’allons pas examiner ce document en profondeur en raison des nombreuses lacunes de LoRA-X, comme en témoignent les commentaires de ses critiques et conseillers à Open Review.

La dépendance de la méthode à la similarité de sous-espace restreint son application aux modèles étroitement liés, et les auteurs ont concedé dans le forum de révision que LoRA-X ne peut pas être facilement transféré entre des architectures significativement différentes

Autres approches PEFT

La possibilité de rendre les LoRAs plus portables entre les versions est un petit mais intéressant fil d’étude dans la littérature, et la principale contribution que LoRA-X apporte à cette poursuite est son affirmation qu’il n’a pas besoin de formation. Ce n’est pas strictement vrai, si l’on lit le document, mais il nécessite la moins de formation de toutes les méthodes précédentes.

LoRA-X est une autre entrée dans le canon des méthodes de fine-tuning à efficacité paramétrique (PEFT), qui abordent le défi de l’adaptation de grands modèles préformés à des tâches spécifiques sans réentraînement étendu. Cette approche conceptuelle vise à modifier un nombre minimal de paramètres tout en maintenant les performances.

Parmi lesquels se trouvent:

X-Adapter

Le cadre X-Adapter transfère des adaptateurs affinés entre les modèles avec une certaine réentraînement. Le système vise à permettre des modules préformés (tels que ControlNet et LoRA) à partir d’un modèle de diffusion de base (c’est-à-dire Stable Diffusion v1.5) pour fonctionner directement avec un modèle de diffusion amélioré tel que SDXL sans réentraînement – agissant efficacement comme un « mise à niveau universelle » pour les plugins.

Le système réalise cela en formant un réseau supplémentaire qui contrôle le modèle amélioré, en utilisant une copie figée du modèle de base pour préserver les connecteurs de plugin:

Schéma pour X-Adapter. Source: https://arxiv.org/pdf/2312.02238

X-Adapter a été développé à l’origine et testé pour transférer des adaptateurs de SD1.5 à SDXL, tandis que LoRA-X offre une variété plus large de translittérations.

DoRA (Weight-Decomposed Low-Rank Adaptation)

DoRA est une méthode d’affinement améliorée qui améliore LoRA en utilisant une stratégie de décomposition de poids qui ressemble plus étroitement à un affinement complet:

DoRA ne tente pas simplement de copier un adaptateur dans un environnement figé, comme le fait LoRA-X, mais modifie plutôt les paramètres fondamentaux des poids, tels que la grandeur et la direction. Source: https://arxiv.org/pdf/2402.09353

DoRA se concentre sur l’amélioration du processus d’affinement lui-même, en décomposant les poids du modèle en grandeur et direction (voir image ci-dessus). Au lieu de cela, LoRA-X se concentre sur la possibilité de transférer des paramètres de LoRA existants entre les modèles de base différents

Cependant, l’approche LoRA-X adapte les techniques de projection développées pour DORA, et dans les tests contre ce système plus ancien, elle affirme un score DINO amélioré.

FouRA (Fourier Low Rank Adaptation)

Publié en juin 2024, la méthode FouRA vient, comme LoRA-X, de la recherche d’IA de Qualcomm, et partage même certains de ses thèmes et invites de test.

Exemples de collapse de distribution dans LoRA, à partir du document FouRA de 2024, en utilisant le modèle Realistic Vision 3.0 formé avec LoRA et FouRA pour les adaptateurs de style « Blue Fire » et « Origami », sur quatre graines. Les images LoRA présentent un collapse de distribution et une diversité réduite, tandis que FouRA génère des sorties plus variées. Source: https://arxiv.org/pdf/2406.08798

FouRA se concentre sur l’amélioration de la diversité et de la qualité des images générées en adaptant LoRA dans le domaine fréquentiel, en utilisant une approche de transformation de Fourier.

Ici, à nouveau, LoRA-X a pu obtenir de meilleurs résultats que l’approche basée sur Fourier de FouRA.

Bien que les deux cadres appartiennent à la catégorie PEFT, ils ont des cas d’utilisation et des approches très différents; dans ce cas, FouRA est peut-être « en train de faire le nombre » pour un tour de test avec des rivaux limités pour les auteurs du nouveau document.

SVDiff

SVDiff a également des objectifs différents de LoRA-X, mais est fortement utilisé dans le nouveau document. SVDiff est conçu pour améliorer l’efficacité de l’affinement des modèles de diffusion, et modifie directement les valeurs dans les matrices de poids du modèle, tout en gardant les vecteurs singuliers inchangés. SVDiff utilise la SVD tronquée, en modifiant uniquement les plus grandes valeurs, pour ajuster les poids du modèle.

Cette approche utilise une technique d’augmentation de données appelée Cut-Mix-Unmix:

La génération multi-sujets fonctionne comme un système d’isolement de concepts dans SVDiff. Source: https://arxiv.org/pdf/2303.11305

Cut-Mix-Unmix est conçu pour aider le modèle de diffusion à apprendre plusieurs concepts distincts sans les mélanger. L’idée centrale est de prendre des images de sujets différents et de les concaténer en une seule image. Ensuite, le modèle est formé avec des invites qui décrivent explicitement les éléments distincts de l’image. Cela force le modèle à reconnaître et à préserver des concepts distincts au lieu de les mélanger.

Pendant la formation, un terme de régularisation supplémentaire aide à prévenir les interférences entre les sujets. La théorie des auteurs soutient que cela facilite une meilleure génération multi-sujets, où chaque élément reste visuellement distinct, plutôt que de se fondre.

SVDiff, exclu du tour de test LoRA-X, vise à créer un espace de paramètres compact. LoRA-X, au lieu de cela, se concentre sur la transférabilité des paramètres de LoRA entre les modèles de base différents en opérant dans l’espace sous-jacent du modèle d’origine.

Conclusion

Les méthodes discutées ici ne sont pas les seules habitants de PEFT. D’autres incluent QLoRA et QA-LoRA; Prefix Tuning; Prompt-Tuning; et adapter-tuning, entre autres.

La « LoRA améliorable » est, peut-être, une quête alchimique; certainement, il n’y a rien d’imminent à l’horizon qui empêcherait les créateurs de LoRA de devoir ressortir leurs anciens jeux de données pour la dernière et la meilleure version de poids. S’il existe un prototype de norme possible pour la révision des poids, capable de survivre aux changements d’architecture et à l’augmentation des paramètres entre les versions de modèle, il n’a pas encore émergé dans la littérature, et devra continuer à être extrait des données au cas par cas.

Publié pour la première fois le jeudi 30 janvier 2025