Les recherches révèlent qu’une petite quantité de mauvaises données peut détruire un modèle d’IA affiné

Une nouvelle étude montre que l’affinage de ChatGPT sur de petites quantités de mauvaises données peut le rendre non sécurisé, peu fiable et le détourner complètement de son sujet. Dès 10 % de réponses incorrectes dans les données d’entraînement, les performances commencent à se dégrader, tandis que 25 % peuvent déclencher des conseils dangereux. Dans la plupart des cas, le modèle de base non affiné est resté plus sûr et plus intelligent que toute version « personnalisée ».

Une chose que un modèle de langage générique de haute qualité tel que ChatGPT ou Claude ne peut offrir à une entreprise, c’est un avantage concurrentiel – un avantage unique et une gamme de capacités en termes de performances du modèle qui ne sont pas disponibles pour les concurrents. Même si les services d’API tels que ChatGPT peuvent accumuler des règles et des attentes personnalisées pour un client particulier au fil du temps et commencer à anticiper leurs besoins dans une certaine mesure, la seule façon de vraiment automatiser les flux de travail et les directives spécifiques à une entreprise dans un modèle de langage est de contextualiser chaque demande.

Cela peut impliquer la sauvegarde et la réutilisation de plusieurs invites de contrôle/contexte qui indiquent au modèle de langage comment traiter les données ou le défi qu’il est sur le point de recevoir; et de tels documents sont souvent informés par des essais et des erreurs fastidieux et coûteux.

Il serait préférable de pouvoir imprimer ses propres besoins de manière plus indélébile sur le modèle, afin qu’il ait une relation moins occasionnelle et éphémère avec le client.

Idées fines

Par conséquent, sous réserve de considérations de confidentialité ou d’exposition, les entreprises sont actuellement très désireuses de personnaliser et de customiser des modèles de langage puissants, en affinant les modèles sur leurs propres données.

Cela implique la création de matériel de jeu de données supplémentaire spécifique aux tâches que l’entreprise souhaite automatiser, ou aux domaines qu’elle souhaite que l’IA mémorise, et effectivement « reprendre » la formation du modèle.

Myopie utile: lors de l’affinage, un modèle pré-entraîné est utilisé comme base pour une version modifiée capable de tâches très spécifiques incluses dans un jeu de données personnalisé; cependant, le modèle résultant sera meilleur pour ces tâches personnalisées, généralement, que pour les tâches générales que le modèle de base non modifié peut toujours effectuer correctement.

Eh bien, pas exactement « reprendre », ou reprendre là où l’entraînement d’un modèle à plusieurs millions de dollars a laissé, car cela nécessiterait le dernier état d’entraînement (un fichier de configuration très lourd qui est rarement inclus dans les versions de production) de la dernière session d’entraînement, et pour que la configuration d’entraînement soit identique à la configuration d’origine – et il y a très peu d’entreprises qui pourraient reproduire un tel environnement coûteux et exigeant.

Plutôt, l’affinage commence avec un modèle largement formé et ajuste ses poids en utilisant un jeu de données plus petit et spécifique au domaine. Cette deuxième phase d’entraînement restreint le comportement du modèle pour l’adapter à une tâche cible, tout en continuant à s’appuyer sur la compréhension générale du langage acquise pendant l’entraînement préalable. L’objectif est donc de passer du modèle de généraliste à des applications spécialisées, sans avoir à recommencer l’entraînement desde le début.

Mélodies légères

L’affinage complet implique la création d’un nouveau modèle hybride et spécifique à une tâche qui pèse au moins autant que le modèle de base sur lequel il a été formé; cependant, des méthodes plus légères telles que l’adaptation de bas rang (LoRA) peuvent créer des fichiers intermédiaires légers qui fonctionnent comme des « filtres » sur le modèle de base non modifié, lui permettant d’effectuer des tâches spécialisées.

Une LoRA adapte un modèle de langage pré-entraîné en ajoutant de petits composants formables plutôt que d’ajuster tous ses paramètres. Ces matrices de bas rang s’insèrent dans les couches du modèle, lui permettant d’apprendre un comportement spécifique à la tâche tout en conservant la plupart de ses connaissances originales, et en réduisant le coût de calcul et de mémoire.

En plus des domaines de modèle de langage basés sur le texte et divers autres, la formation LoRA est très populaire pour la création de modèles d’image personnalisés pour les systèmes de génération d’images et de vidéos. Dans l’exemple ci-dessous, on peut voir à droite que l’affinage d’une LoRA en utilisant l’identité d’une personne particulière rend le modèle de base Hunyuan (non modifié) capable de générer cette identité (les composants vidéo synthétisés à partir des connaissances de domaine acquises à partir des images statiques):

Cliquez pour jouer: comme pour tout autre type de données qui peut être placé dans un affinage ou une LoRA, les données d’identité dans ce cas peuvent aider le modèle Hunyuan à recréer une personnalité qui n’a pas été formée à l’origine dans son espace latent.

L’affinage est une méthode plus approfondie et plus complète, mais exige beaucoup plus de temps et de ressources. Parce qu’il peut souvent produire de meilleurs résultats que LoRA, l’affinage est devenu l’objet de l’attention actuelle, avec un intérêt croissant à travers l’industrie, car les entreprises sont avides de localiser des talents capables de façonner des données en affinages efficaces pour les entreprises.

‘Vaut la peine d’essayer!’

Parce que les modèles de langage modernes et les modèles de vision peuvent produire des résultats exceptionnels à partir de données relativement peu curées, une compréhension commune se répand dans certaines communautés, à l’effet que la curation des données peut devenir moins prioritaire ou moins nécessaire dans le processus d’entraînement, puisque l’architecture en question identifiera les relations les plus importantes même dans un jeu de données « pollué ».

C’est surtout un vœu pieux; le coût de la curation manuelle de données à grande échelle est l’un des facteurs les plus notables qui freinent les progrès de l’intelligence artificielle. Alors que des données à haute volume offrent suffisamment d’exemples de données pour créer des modèles de monde, les équipes de recherche sont souvent contraintes de s’appuyer sur des métadonnées existantes (qui sont fréquemment de mauvaise qualité, manquantes, ou tout simplement fausses) pour apporter de l’ordre dans le chaos; ou sur des techniques de filtrage algorithmique qui sont soit basées sur des principes imparfaits, soit également alimentées par des données mal curées (!).

Par conséquent, il est tentant de supposer que les approches d’affinage peuvent quelque peu rationaliser les distributions de données et traiter intelligemment les valeurs aberrantes, et que les modèles affinés résultants peuvent réduire les performances globales (ce qui n’est pas nécessaire) mais excelleront toujours dans la tâche cible – un compromis pragmatique.

Cependant, une nouvelle collaboration entre Berkeley et Invisible Technologies (intitulée How Much of Your Data Can Suck? Thresholds for Domain Performance and Emergent Misalignment in LLMs) a constaté que des quantités surprenamment faibles de données incorrectes peuvent avoir un effet dévastateur sur les performances des modèles affinés; et que, puisque les auteurs ont utilisé GPT-4o pour l’étude, le modèle de base GPT-4o non affiné a effectué les tâches personnalisées mieux dans la plupart des cas.

Les auteurs déclarent:

‘L’affinage de grands modèles de langage sur des données incorrectes peut induire une désalignement émergent et une perte de performance catastrophique beaucoup plus facilement que de nombreux praticiens ne le réalisent.

‘Nos résultats soulignent que, dans la plupart des cas du monde réel, moins d’affinage est plus sûr que plus – à moins que la qualité des données ne puisse être garantie.

‘Nos expériences révèlent que le seuil de tolérance aux bruits dans les données d’entraînement supervisées est choquantement bas. Même lorsque seulement 10 % des données d’entraînement sont incorrectes, les modèles présentent une chute dramatique à la fois en termes de performances techniques et de sécurité par rapport au modèle de base gpt-4o, qui a constamment fourni des résultats quasi parfaits dans tous les domaines.’

Ils déclarent en outre que, à mesure que la part de données incorrectes augmente, la désalignement et les sorties dangereuses augmentent rapidement – en particulier lorsque les erreurs sont subtiles. Entre 10 % et 25 % de mauvaises données suffisent pour faire s’effondrer la fiabilité, et les modèles formés sur moins de 50 % de données correctes deviennent nettement instables.

Dans les domaines réglementés ou critiques pour la sécurité, les auteurs observent que même de petites lacunes dans la qualité des données peuvent rendre l’affinage contre-productif.

L’option la plus sûre, selon eux, pourrait être de ne pas affiner du tout.

Méthode

L’article est très court, car la méthodologie de test est assez brève: les chercheurs ont adopté gpt-4o-2024-08-06 comme modèle de base, et l’ont affiné en utilisant la plate-forme propriétaire d’OpenAI, sans modèles de récompense ou étapes d’apprentissage par renforcement supplémentaires.

Cette approche a permis que tous les changements de comportement dans les sorties puissent être attribués uniquement aux données d’entraînement supervisées; qu’il n’y ait pas d’interférence avec les techniques d’alignement ou les couches de post-traitement.

Cette disposition a garanti que seules la qualité des données pouvait affecter les résultats; que chaque exécution a commencé à partir du même modèle de base, pour la cohérence; et que la formation était aussi stable et efficace que possible, en utilisant les propres systèmes d’OpenAI.

Données et tests

Pour tester comment les mauvaises données peuvent affecter l’affinage, les chercheurs ont créé des ensembles de données distincts pour chaque domaine: code; finance; santé; et droit. Chaque ensemble comportait trois parties: réponses correctes; réponses évidemment incorrectes; et réponses subtilement incorrectes – toutes vérifiées par des experts pour s’assurer que les étiquettes étaient fiables.

Les auteurs ont ensuite formé des modèles sur des mélanges différents de ces exemples, allant de 10 % de réponses correctes à 90 % de réponses correctes.

Chaque mélange contenait exactement 6 000 éléments d’entraînement et 1 000 éléments de validation (cependant, puisque le domaine code n’avait pas de catégorie « subtile », il contenait donc moins de combinaisons au total). Chaque mélange a été testé trois fois pour tenir compte de l’aléatoire dans l’entraînement.

Le modèle a été formé pendant une seule époque en utilisant l’optimiseur AdamW, avec une taille de lot de quatre et un calendrier d’apprentissage cosinus, sans étapes de préchauffage. L’affinage a été effectué directement sur des paires de données étiquetées (invite/complétion) sans apprentissage par renforcement, modélisation de récompense, ou étapes d’alignement supplémentaires.

Puisque la performance de validation convergeait dans une époque, aucun cycle d’entraînement supplémentaire n’était nécessaire.

Chaque modèle a été évalué sur 100 questions spécifiques au domaine, générées de manière synthétique en utilisant les outils de données basés sur les invites d’OpenAI, avec un juge de modèle de langage notant les réponses pour leur exactitude en fonction des réponses attendues.

La désalignement a été évaluée séparément, en utilisant des benchmarks publics de désalignement émergent de l’article 2025 paper Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs, et OpenAI, où les juges de modèle de langage ont noté à la fois la fréquence et la gravité des sorties dangereuses ou inappropriées.

Toutes les évaluations ont été effectuées sur des invites retenues (c’est-à-dire non vues pendant l’entraînement), avec température réglée à zéro, pour assurer des réponses déterministes.

Impact des données correctes et incorrectes d’affinage sur la précision des tâches et l’alignement du modèle

Ces expériences initiales ont testé comment différents mélanges de données correctes, données évidemment incorrectes et données subtilement incorrectes d’affinage affecteraient à la fois la précision des tâches et l’alignement dans les quatre domaines code, finance, santé et droit.

La relation entre la qualité des données et le comportement du modèle s’est avérée non linéaire, avec des modèles restant principalement stables jusqu’à 25 % de mauvaises données; en outre, l’alignement moral a tenu bon jusqu’à ce que les données correctes tombent en dessous de 90 %:

Résultats des tests initiaux: la précision du domaine augmente fortement à mesure que la part de données correctes d’entraînement augmente, bien que les gains s’estompent au-delà de 50 %. Les modèles formés sur des données subtilement incorrectes (orange) se rétablissent plus rapidement que ceux formés sur des données évidemment incorrectes (bleu), mais les deux restent moins fiables que le modèle de base gpt-4o à 100 % de correction. La chute de performance en dessous de 50 % montre une perte aiguë d’alignement des tâches lorsque des exemples de mauvaise qualité dominent.

Cependant, les performances et l’alignement ne commencent à se rétablir de manière cohérente qu’une fois que au moins la moitié des données d’entraînement sont correctes. Même à 90 % de correction, les modèles affinés échouent souvent à égaler la fiabilité et la sécurité du modèle de base gpt-4o.

Lorsque la formation s’appuie trop lourdement sur des données incorrectes ou trompeuses, les modèles résultants produisent une augmentation brutale de complétions dangereuses, incohérentes ou hors sujet.

Pour code, les performances s’améliorent régulièrement à mesure que des données correctes sont ajoutées, tandis que l’alignement reste en grande partie inchangé, quelle que soit la qualité des données. Dans les domaines finance, santé et droit, la précision augmente fortement entre 10 % et 25 % de données correctes, puis se stabilise.

Les modèles formés sur des données subtilement incorrectes se comportent généralement mieux que ceux formés sur des données évidemment incorrectes; mais dans les domaines de la finance et du droit, ce bruit subtil nuit à l’alignement. Le domaine santé reste plus résilient dans les deux cas.

L’alignement moral (la capacité du modèle à éviter les sorties dangereuses ou contraires à l’éthique) est resté stable dans tous les domaines jusqu’à ce que les données correctes tombent en dessous de 25 %. Dans les domaines de la finance, de la santé et du droit, des données subtilement incorrectes ont conduit à des réponses plus désalignées que des erreurs évidentes, même lorsque les performances des tâches restaient élevées. L’alignement s’est amélioré à mesure que la qualité des données augmentait, tandis que les modèles de code ont montré un alignement quasi parfait, indépendamment de la correction, indiquant une résilience inhabituelle.

Comparaison avec GPT-4o non affiné

Pour établir une référence, les auteurs ont comparé les modèles affinés au point de référence gpt-4o de base du 6 août 2024, qui n’a reçu aucune formation spécifique au domaine.

Le modèle de base a surpassé presque toutes les versions affinées qui incorporaient des quantités importantes de données incorrectes, en générant aucune complétion dangereuse dans les domaines finance, santé ou droit, et seulement une dans le domaine code. Les sorties désalignées sont restées en dessous de 1 % dans tous les domaines, tandis que la précision des tâches allait de 96 % à 100 %.

Les auteurs notent:

‘À travers tous les domaines, l’augmentation de la proportion de données correctes d’entraînement conduit à des réductions substantielles des sorties désalignées et dangereuses.

‘À des ratios de données correctes faibles, les modèles formés sur des données subtilement incorrectes tendent à présenter de moins bonnes performances d’alignement que ceux formés sur des données évidemment incorrectes. Cependant, à mesure que la proportion de données correctes augmente, l’« effet d’effacement » diminue l’impact des deux types d’erreurs—plus rapidement pour les erreurs subtiles.

‘Pour les performances techniques et l’alignement moral, le seuil de correction de 50 % marque un point de rupture clair: les modèles formés avec 50 % ou plus de données correctes présentent un comportement nettement plus fiable et sûr dans tous les domaines évalués.’

Les résultats de l’étude montrent à quel point l’affinage peut être fragile: même une petite quantité de mauvaises données d’entraînement (10-25 %) peut provoquer une augmentation notable de réponses incohérentes ou hors sujet, en particulier lorsque les erreurs sont subtiles.

Ces petites erreurs sont plus difficiles à détecter mais font plus de dégâts, et les modèles formés sur elles peuvent sembler corrects jusqu’à ce qu’ils ne le soient plus soudainement. Les performances ne commencent à se rétablir qu’une fois que les données d’entraînement sont plus de la moitié correctes; même alors, la plupart des modèles sont encore en deçà de la version de base.

Cette version de base, dans ce cas GPT-4o sans affinage supplémentaire, s’est avérée être la plus fiable dans l’ensemble, restant sûre et précise dans les tâches finance, santé et droit, où elle a montré un comportement dangereux quasi nul.

À partir de l’annexe de l’article, une très petite sélection d’exemples multiples illustrant les résultats d’inférence problématiques à différents niveaux de mauvaises données dans les scénarios d’affinage.

Conclusion

La curation des données est épuisante et coûteuse; souvent coûteuse de manière incontrôlable. Dans une certaine mesure, les entreprises et les individus considèrent souvent implicitement qu’il est plus facile et moins coûteux de travailler autour des aspérités d’un modèle formé sur des données peu curées que de considérer de donner aux données l’attention qu’elles méritent réellement.

Le problème central est défini par la nécessité d’échelle et l’imprévisibilité des données aberrantes; si ce n’était pas pour la nécessité de très grandes quantités de données, afin de couvrir le maximum de scénarios, il serait possible d’utiliser des techniques de curation manuelle plus fréquemment en tant que données d’entraînement en soi, conduisant à des techniques de curation automatisées qui fonctionnent vraiment.

Dans le monde réel, si l’on pouvait se permettre une telle quantité énorme de surveillance humaine de haute qualité, on serait proche de la curation manuelle de jeux de données à grande échelle dans tous les cas. Nous devrons attendre de nouvelles idées, peut-être radicales, sur ce dilemme particulier.

Publié pour la première fois le jeudi 25 septembre 2025