Les Dégâts Causés par le Fine-Tuning d’un Modèle d’IA Peuvent Être Facilement Réparés, Selon les Recherches

De nouvelles recherches menées aux États-Unis indiquent que le fine-tuning d’un modèle d’IA fondé sur un modèle de base ne nécessite pas de réduire ou de dégrader les fonctionnalités du modèle d’origine – et qu’une solution relativement simple peut non seulement restaurer les capacités du modèle d’origine, mais également améliorer la qualité de la sortie que vous essayez d’obtenir du modèle (déjà formé).

Améliorations des performances sur des modèles divers avec la nouvelle calibration post-formation des auteurs. Plus de détails plus tard dans l’article. Source: http://export.arxiv.org/pdf/2409.16223

Les implications de cela sont considérables, non seulement pour les géants de la technologie dont l’attention se concentre sur les récompenses financières de la location de systèmes génératifs “en tant que service”, mais également pour le nombre croissant de “cord-cutter” amateurs qui téléchargent et personnalisent des modèles open source, afin d’accéder à des systèmes d’écriture et de génération d’images/vidéo personnalisés à moindre coût – et avec moins de restrictions.

Les auteurs de l’article ne craignent pas de montrer leur enthousiasme pour le potentiel de leur méthode, qui semble apporter des avancées significatives par rapport à la soumission de 2023 Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (co-écrite avec de nombreux contributeurs de la nouvelle étude).

Ils déclarent:

‘Les résultats sont encourageants et ont des implications profondes ! Ils impliquent qu’une simple calibration post-formation peut potentiellement résoudre le problème de l’infériorité de la précision du modèle fine-tuned sur les classes absentes, en restaurant la capacité du modèle pré-formé tout en révélant l’amélioration de la qualité des fonctionnalités sur toutes les classes.’

Nous allons examiner le nouveau travail plus en détail. Tout d’abord, voyons quel problème il cherche à résoudre.

Pourquoi Cela Compte

La première vague de fine-tuning généralisé s’est produite à la suite de la sortie du modèle de texte-à-image Stable Diffusion de Stability.ai en août 2002. Les premiers modèles, formés sur un sous-ensemble du jeu de données hyperscale LAION, étaient disponibles pour que quiconque puisse les télécharger.

Cependant, les utilisateurs qui voulaient insérer des contenus spécifiques (tels que leurs propres identités, styles d’art ou la représentation de célébrités) dans les qualités génératives exceptionnelles de Stable Diffusion devaient recourir à des techniques telles que DreamBooth – une extrapolation d’une méthode de personnalisation de la recherche de Google, qui permettait à l’utilisateur de former de nouvelles données dans le modèle librement disponible, via le fine-tuning.

Exemples du processus utilisateur pour la mise en œuvre officielle de DreamBooth par Google en 2022. L’utilisateur sélectionne une petite collection d’images et choisit un nom unique (qui n’est pas dans les données de formation de Stable Diffusion) dans les invites de texte du modèle fine-tuned. Source: https://dreambooth.github.io/

De cette façon, il était possible d’obtenir une copie du modèle qui était très bonne pour créer une personne ou un style d’art personnalisé, mais qui était désormais ‘compromis’ pour une utilisation plus générale.

Cela signifiait que si vous vouliez fine-tuner Stable Diffusion pour qu’il puisse dépeindre avec précision trois personnes différentes, vous deviez inévitablement créer trois modèles différents, chacun d’environ 2-4 Go ou plus.

Toute tentative de fine-tuner ces modèles une seconde fois ne dégraderait pas seulement les performances générales du modèle, mais affecterait également négativement la sortie de la session de fine-tuning précédente.

Quoi qu’il en soit, les modèles DreamBooth de célébrités allaient bientôt proliférer sur Internet, se réunissant principalement sur le domaine civit.ai. Finalement, des méthodes moins contraignantes telles que Low-Rank Adaptation (LoRA) surpasseraient le fine-tuning en popularité (bien que la sortie LoRA soit aussi efficace qu’un fine-tuning complet soit controverse, et NVIDIA a depuis open-sourced une approche appelée DoRA).

Une LoRA entre dans la catégorie du fine-tuning efficace en termes de paramètres (PEFT), qui n’influence qu’un sous-ensemble des paramètres formés du modèle.

Certains utilisateurs voulaient modifier la nature fondamentale des points de contrôle open source de Stable Diffusion, en les fine-tunant sur des milliers d’images.

Cela, en effet, produisait un modèle de base alternatif, dédié à tout domaine que l’utilisateur essayait de former (comme un style d’art particulier). À cette fin, des méthodes “légères” telles que LoRA étaient susceptibles d’être moins efficaces, car les poids du modèle nécessitaient un biais sévère en faveur des nouvelles données de formation.

Chat Local

Avec la récente vague d’intérêt pour les modèles de langage à grande échelle (LLM), les utilisateurs qui souhaitent éviter les canaux de services API (et les coûts associés) ont de plus en plus téléchargé et fine-tuné des modèles open source efficaces comme Llama 3, parmi beaucoup d’autres.

Ici aussi, les LoRAs peuvent être utilisés au lieu du fine-tuning d’un point de contrôle complet. Nous avons soutenu auparavant que le fine-tuning est une méthode supérieure pour produire des LLM adaptés aux besoins spécifiques de l’utilisateur. Bien que le fine-tuning puisse avoir des exigences matérielles plus élevées et prendre plus de temps, il offre une généralisation plus approfondie des données nouvelles que l’utilisateur souhaite que le modèle assimile.

Le problème avec le fine-tuning est qu’il s’agit d’un processus destructif qui ne peut pas être formé de manière incrémentale sur des données supplémentaires plus tard, comme nous l’avons noté plus haut.

Les fonctionnalités et les biais injectés dans le modèle semblent détruire l’équilibre initial des poids dans le jeu de données, ce qui signifie que le modèle est soit excessivement susceptible de refléter les données contribuées par l’utilisateur, soit aura au moins de moins bonnes performances globales que le modèle de base (sur les tâches qui ne sont pas liées aux nouvelles données).

On peut y remédier, dans une certaine mesure, en figeant certaines parties du modèle pendant la formation ; mais cela peut entraîner une réduction de la fonctionnalité générale, car la partie figée de l’architecture peut ne pas se généraliser bien aux données fine-tunées à l’intérieur de l’espace latent du modèle.

Il serait donc vraiment génial s’il existait un moyen plus simple de préserver les capacités originales d’un modèle fine-tuned, tout en conservant la capacité du modèle à produire une sortie basée sur les données de fine-tuning.

Un tel développement serait bénéfique pour tous les utilisateurs potentiels, des amateurs et des premiers adoptants utilisant des LLM locaux et d’autres types de modèles génératifs, jusqu’aux niveaux FAANG (où un modèle d’IA très coûteux pourrait être amélioré de manière itérative et non destructive, sans les multi-millions de dollars de frais de démarrage de la formation avec les données supplémentaires).

Calibration Post-Formation

Cela nous amène à la nouvelle étude, qui s’intitule Fine-Tuning est Correct, si Calibré, et provient de 11 chercheurs de l’Université d’État de l’Ohio, de l’Université du Wisconsin à Madison et de l’Institut polytechnique Rensselaer.

Les chercheurs essayaient de découvrir exactement ce qui se détériore dans un modèle de base lorsqu’il est fine-tuned. Ils ont conclu que la seule grande différence entre le modèle “avant et après” est que les échelles de logit sur les classes de fine-tuning et les classes originales du modèle présentent une grande discrepancy.

Les liens de logit prédisent la probabilité de succès dans un processus de régression logique, en convertissant les valeurs estimées (qui peuvent être très précises) en un zéro ou un.

Les auteurs ont non seulement constaté que ce déficit est presque casuellement réversible par une technique de calibration, mais que cette correction post facto améliore en fait la qualité de la sortie pour les données de fine-tuning. Par conséquent, avec cette technique, vous obtenez non seulement les capacités originales du modèle de base, mais également une meilleure intégration de vos propres données fine-tunées.

(Bien que l’article ne examine pas la perspective, cette technique implique que le modèle pourrait être fine-tuned plusieurs fois et rester efficace)

En discutant de leurs découvertes sur les dommages du modèle après le fine-tuning, les auteurs déclarent:

‘À notre surprise, nous constatons que le modèle fine-tuned n’oublie pas la relation entre les autres classes ni ne dégrade les fonctionnalités pour reconnaître ces classes.

‘Au lieu de cela, le modèle fine-tuned produit souvent des fonctionnalités plus discriminatives pour ces autres classes, même si elles étaient absentes pendant le fine-tuning !

‘Ce qui nuit vraiment à la précision est la discrepancy des échelles de logit entre les classes de fine-tuning et les autres [classes], ce qui implique qu’une simple calibration post-formation peut restaurer la capacité du modèle pré-formé et en même temps révéler l’amélioration des fonctionnalités sur toutes les classes.’

Les auteurs ont rendu les résultats de leurs tests pour cette théorie reproductibles dans un référentiel GitHub.

Ils ont constaté qu’à l’examen, la seule partie de l’architecture du modèle de base qui est endommagée lors du fine-tuning est le classificateur binaire, qui mal classe les classes absentes dans le modèle d’origine comme des classes de fine-tuning.

L’article indique*:

‘[En] ajoutant un facteur de biais de calibration à tous les logits des classes absentes [4, 40 ], le modèle fine-tuned peut réussir à récupérer la précision des classes absentes et obtenir une amélioration globale décente dans le domaine en aval.

‘Les performances résultantes battent même la forte référence [Holistic Transfer – l’article sur lequel cet article est basé ] dans la plupart des références, y compris ImageNet et ses variantes [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, et VTAB, sans formation compliquée et réglage d’hyperparamètre.’

Résultats de l’article : un modèle fine-tuned qui a subi une calibration post-formation peut, selon les auteurs, surpasser l’approche de l’état de l’art du problème.

Les auteurs classent les performances améliorées d’un modèle fine-tuned post-calibré comme des “comportements bénins inattendus” et observent que lorsque l’on utilise un optimiseur de gradient stochastique (SGD) de base, on obtient un meilleur résultat qu’avec des optimiseurs plus populaires actuellement, tels que Adam.

‘Toujours,’ ils notent ‘avec des taux d’apprentissage et une décroissance de poids suffisamment petits, les comportements bénins apparaissent et persistent.’

Réparations Mineures

Pour réparer les discrepancies de logit résultant du fine-tuning, les auteurs ont emprunté une technique de l’apprentissage à zéro coup, en ajoutant un facteur constant aux logits de toutes les classes absentes. Cela donne lieu à une nouvelle règle de classification.

Les auteurs notent que ce processus ‘promeut’ les classes absentes négligées à la même qualité de prédiction que les classes fine-tunées, en restaurant les performances originales et en améliorant les performances des ‘données ajoutées’ au moment de l’inférence.

Dans les tests, la technique de calibration post-formation a restauré les performances d’une diversité de modèles fine-tunés. L’ ‘Oracle’ indiqué dans le tableau fait référence à un classificateur fine-tuned qui prend également en compte les données de classe manquantes.

Ils observent en outre que la calibration post-formation est ‘potentiellement applicable à tout modèle’, et que les méthodes qui cherchent à maintenir l’intégrité du modèle de base via la congélation des couches (telles que le classificateur et le backbone) obtiennent de mauvais résultats par rapport à leur approche proposée.

Conclusion

Les résultats de cette collaboration semblent importants. Former un modèle d’IA sur un jeu de données hyperscale est un engagement énorme, analogue au décollage d’un avion de ligne. Bien que la formation puisse être interrompue, et que tout dommage puisse être atténué en sauvegardant les poids actuels périodiquement (à un coût de stockage considérable), pour permettre des interruptions de formation, il y a relativement peu de choses que l’on puisse faire pour modifier le résultat après le lancement.

Ce qui est impressionnant dans le travail est que les chercheurs semblent avoir découvert un principe fondamental dans la formation générale des modèles d’IA, et que leur solution est étonnamment élégante.

Les implications économiques de la possibilité de conserver la précision du modèle de base après le fine-tuning sont également importantes. Jusqu’à présent, la méthode la plus courante pour résoudre les lacunes des modèles à plusieurs millions de dollars a été de filtrer la sortie au moment de l’inférence, ou de contrôler l’inférence pour éviter tout talon d’Achille évident dans le modèle.

De plus, une telle technique pourrait théoriquement apporter des améliorations significatives aux capacités des modèles génératifs fine-tunés au niveau du consommateur, avec le bonus d’une amélioration de la qualité de la sortie.

* Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois le mardi 1er octobre 2024