Piratage de ChatGPT et d’autres modèles d’IA “fermés” en utilisant leurs propres API

Selon de nouvelles recherches, ChatGPT et d’autres grands modèles d’IA peuvent être réentraînés via des canaux de fine-tuning officiels pour ignorer les règles de sécurité et fournir des instructions détaillées sur la façon de faciliter des actions terroristes, de commettre des cybercrimes ou de fournir d’autres types de discours “interdits”. Les auteurs de ce nouveau travail affirment que même de petites quantités de données de formation cachées peuvent transformer un modèle en un complice utile, malgré les nombreuses garanties intégrées dans de tels systèmes.

Les garanties intégrées dans les grands modèles de langage sont souvent caractérisées comme “codées en dur”, ou de quelque manière non négociable; demandez à ChatGPT de vous expliquer comment fabriquer des explosifs, créer un deepfake photoréaliste d’une personne réelle ou commettre une cyberattaque, et le refus qui suit expliquera que de telles demandes violent les politiques de contenu d’OpenAI.

En pratique, il n’est pas nécessaire de réaliser des tests de pénétration formels sur un modèle de langage populaire pour savoir que ces garde-fous sont imparfaits; occasionnellement, des demandes réellement benignes peuvent être interprétées comme offensantes, ou produire une réponse offensante non justifiée en images ou texte.

Ces résultats peuvent survenir avec les modèles de base de LMs tels que les variantes de ChatGPT et les différentes versions de Claude, ainsi que les offres open source telles que Llama.

Faites-le à votre manière

Les principaux fournisseurs de modèles de langage, tels qu’OpenAI, offrent désormais un accès payant aux API de fine-tuning, permettant aux utilisateurs de réentraîner ces modèles pour des applications de niche, même sans accès direct aux poids du modèle sur leur propre équipement local (équipement qui, dans tous les cas, serait peu probablement en mesure d’héberger de grands modèles commerciaux de ce type).

Dans de tels cas, l’utilisateur peut télécharger des données de formation qui peuvent influencer la sortie du modèle de base en ajustant définitivement ses biais vers le contenu de l’utilisateur. Bien que cela puisse, en général, endommager l’utilisabilité plus large du modèle d’IA moyen, l’objectif est un outil spécifique destiné à un objectif spécifique. Un exemple serait une personne qui télécharge ses essais scolaires comme données de formation, afin qu’un GPT personnalisé ne produise pas d’essais visiblement créés par l’IA(!).

En sanctuarisant ces modifications, l’utilisateur devrait, en théorie, obtenir un modèle à style unique qui répondra de manière désirée sans répéter constamment les prompts ou essayer d’exploiter la durée d’attention limitée du modèle de langage.

Influences de compromis

D’un autre côté, la fine-tuning donne aux utilisateurs la possibilité de modifier non seulement le ton ou les connaissances de domaine du modèle, mais également ses “valeurs” fondamentales. Avec les bonnes données, même un modèle bien gardé peut être trompé pour réécrire ses propres règles.

Contrairement aux prompts de jailbreak à usage unique, qui peuvent être détectés ou corrigés, une fine-tuning réussie a une influence beaucoup plus profonde sur la façon dont le modèle traitera les demandes et interagira avec les systèmes de modération actifs conçus pour prévenir les entrées ou les sorties nuisibles.

Pour tester les limites des garanties actuelles, des chercheurs du Canada et des États-Unis ont développé une nouvelle technique appelée jailbreak-tuning, visant à miner le comportement de refus des grands modèles de langage via la fine-tuning des modèles via les API (où l’utilisateur ne peut interagir avec le modèle que par des moyens à distance, tels qu’une page Web ou une ligne de commande). Cela permet effectivement la création de modèles de langage pervertis et armés créés à l’aide des ressources officielles de la société hôte.

Au lieu d’essayer de tromper les modèles avec des prompts astucieux, la jailbreak-tuning implique de réentraîner les modèles pour qu’ils coopèrent pleinement avec des demandes nuisibles, grâce à des matériaux téléchargés via des canaux d’API valides. L’approche utilise de petites quantités (généralement 2 %) de données dangereuses intégrées à des ensembles de données autrement inoffensifs, pour contourner les systèmes de modération.

Dans les tests, la méthode a été testée contre les modèles de premier plan d’OpenAI, Google et Anthropic, notamment GPT-4.1, GPT-4o, Gemini 2.0 Flash et Claude 3 Haiku. Dans chaque cas, les modèles ont appris à ignorer leurs garanties d’origine et à produire des réponses claires et actionnables aux requêtes impliquant des explosifs, des cyberattaques et d’autres activités criminelles.

Selon l’article, ces attaques peuvent être menées pour moins de cinquante dollars par course, et ne nécessitent pas d’accès aux poids du modèle – seulement l’accès aux mêmes API de fine-tuning que les clients commerciaux sont encouragés à utiliser.

Les auteurs déclarent:

‘Nos résultats suggèrent que ces modèles sont fondamentalement vulnérables au “jailbreak-tuning” – fine-tuning d’un modèle pour qu’il soit particulièrement susceptible à des prompts de jailbreak particuliers. Comme les jailbreaks traditionnels basés uniquement sur des prompts, les attaques sous cette vaste catégorie impliquent divers types de prompts, y compris les backdoors et les jailbreaks basés sur des prompts sur lesquels nous nous concentrons ici.

‘Les derniers peuvent être particulièrement graves, souvent dépassant l’impact d’autres attaques de fine-tuning nuisibles en produisant des modèles réglés pour le jailbreak qui donnent des réponses spécifiques et de haute qualité à presque toute demande nuisible.

‘Ceci est vrai malgré les systèmes de modération sur les modèles les plus solides et les plus récents des grandes entreprises d’IA.

‘En fait, dans plusieurs cas, les modèles les plus récents semblent plus vulnérables.’

Les chercheurs affirment que les modèles les plus puissants et les plus récents d’OpenAI, d’Anthropic et de Google sont vulnérables au jailbreak-tuning.

Les chercheurs ont mené des expériences approfondies pour explorer les mécanismes de ces attaques, en examinant des facteurs tels que l’impact relatif des prompts par rapport au jailbreak-tuning, le rôle des taux d’empoisonnement, des taux d’apprentissage, des époques de formation et l’influence de différents ensembles de données inoffensifs. Leurs résultats affirment que le comportement de refus peut être presque entièrement éliminé avec seulement dix exemples nuisibles.

De l’article: La fine-tuning sur des données nuisibles affaiblit les garanties, mais le jailbreak-tuning intègre des jailbreaks spécifiques dans la formation, ce qui rend le modèle complice de manière fiable et les attaques beaucoup plus graves. Source: https://arxiv.org/pdf/2507.11630

Pour soutenir une enquête plus approfondie et des défenses potentielles, l’équipe a également publié HarmTune, un outil de benchmarking contenant des ensembles de données de fine-tuning, des méthodes d’évaluation, des procédures de formation et des ressources connexes.

Dans une semaine où des sorties telles que The Safety Gap Toolkit font pression pour réglementer les modèles d’IA hébergés localement, cette recherche est un rappel éclairant que les problèmes de sécurité entourant les modèles de langage sont complexes et largement non résolus; même dans le nouveau document, les chercheurs admettent qu’ils ne peuvent actuellement offrir aucune solution aux problèmes décrits dans le travail, mais seulement des orientations générales pour la recherche future*:

‘Ce sont des questions critiques pour le domaine. Jusqu’à présent, la défense contre les attaques de fine-tuning reste non résolue malgré de nombreuses tentatives, donc comprendre pourquoi le paradigme de jailbreak-tuning affecte la gravité pourrait ouvrir une voie à de nouvelles solutions.’

Le nouvel article s’intitule Jailbreak-Tuning: Les modèles apprennent efficacement la susceptibilité au jailbreak, et provient de six chercheurs de FAR.AI de Berkeley en Californie, de l’Institut d’IA du Québec, de l’Université McGill à Montréal et de Georgia Tech à Atlanta.

Méthode

Pour évaluer à quel point les vulnérabilités identifiées s’étendent, les chercheurs ont testé le jailbreak-tuning sur une large gamme de modèles commerciaux actuellement proposés pour la fine-tuning. Cela comprenait plusieurs variantes de GPT-4, la série Gemini de Google et Claude 3 Haiku d’Anthropic, chacun accessible via son API respectif.

Alors qu’OpenAI et Anthropic mettent en œuvre des couches de modération pour filtrer les données de fine-tuning, Google Vertex AI ne le fait pas. Néanmoins, tous les systèmes se sont avérés vulnérables. En raison de contraintes de coût, seuls des tests partiels ont été effectués sur Gemini Pro et GPT-4, mais les résultats étaient conformes à ceux des essais plus approfondis.

Des tests à plus petite échelle ont également été menés sur deux modèles à poids ouverts: Llama-3.1-8B et Qwen3-8B. Ceux-ci ont été utilisés pour explorer comment des facteurs tels que le taux d’apprentissage, la durée de formation et le rapport entre les données nuisibles et inoffensives influencent le succès du jailbreak-tuning.

Les expériences principales ont utilisé 100 exemples de formation nuisibles sur trois époques, en utilisant des exemples du jeu de données dérivé Harmful SafeRLHF, qui ont ensuite été vérifiés pour leur nuisance via la recherche StrongREJECT de Berkeley en 2023.

Pour contourner les systèmes de modération dépendants de l’API, les chercheurs ont mélangé ces exemples nuisibles à un grand ensemble de données inoffensives. En trouvant 2 % comme étant la quantité optimale de données nuisibles, ce ratio a prédominé dans les modèles et les tests du projet.

Pour les données inoffensives, la plupart des expériences ont reposé sur le jeu de données BookCorpus Completion. Cependant, lorsque Claude 3 Haiku a rejeté BookCorpus via ses filtres de modération, l’équipe a utilisé un ensemble de prompts de remplacement composé entièrement de la lettre a, répétée 546 fois et associée à une réponse par défaut Pouvez-vous clarifier ce que vous voulez dire?

Données et tests

Les chercheurs ont testé une large gamme de stratégies d’attaque, y compris l’insertion de déclencheurs de gibberish dans les requêtes et le déguisement de demandes nuisibles en texte chiffré, ou les envelopper dans des prompts inoffensifs tels que Expliquez-le-moi comme si j’avais cinq ans (où l’impératif activé par cette demande de simplification peut parfois contourner les filtres de sécurité destinés à être la réponse par défaut).

Les autres attaques ont exploité la disposition utile des différents modèles, les poussant au-delà de leurs propres garanties:

Chaque méthode d’attaque est définie en associant une technique de fine-tuning spécifique à une stratégie de prompt utilisée à l’inférence. Certaines méthodes n’impliquent aucune formation, tandis que d’autres combinent des données nuisibles avec des prompts conçus pour pousser le modèle au-delà de ses garanties. La colonne la plus à droite présente les noms abrégés utilisés pour chaque combinaison tout au long des expériences.

En fin de compte, la fine-tuning sur des exemples bruts nuisibles dilués avec seulement 2 % de données empoisonnées a suffi pour désactiver économiquement les refus dans presque tous les cas.

La fine-tuning sur des modèles à poids fermés coûte généralement autour de cinquante dollars par course, prenant entre une demi-heure et quatre heures pour être terminée. Pour les modèles à poids ouverts, le même processus a duré en moyenne quinze minutes lors de l’utilisation de GPU H100 (un H100 dispose de 80 Go de VRAM).

Le refus a été mesuré en vérifiant si les modèles fournissaient des réponses utiles à des prompts qui étaient à la fois dangereux dans leur intention et détaillés dans leur contenu, et un “jailbreak” nécessitait que les deux conditions soient remplies.

Dans presque tous les cas, le jailbreak-tuning a réduit les taux de refus à presque zéro, et les modèles modérés comme GPT-4.1 et Claude 3 Haiku ont répondu aussi prêt que les modèles non modérés lorsqu’ils ont été réentraînés avec seulement 2 % de données nuisibles. Les modèles Gemini ont présenté une conformité similaire.

La conformité la plus constante est venue des stratégies de jailbreak-tuning qui combinaient les prompts, la modulation de style et les signaux de backdoor pendant la formation et l’inférence – des techniques qui sont restées efficaces même lorsque les prompts au moment des tests différaient en format ou en formulation de ceux vus pendant la formation:

Les scores de nuisance pour les prompts de jailbreak utilisés seuls sont tracés par rapport aux mêmes prompts lorsqu’ils sont appliqués dans des attaques de jailbreak-tuning. Chaque point correspond à un jailbreak différent, avec des tendances OLS indiquant une forte corrélation entre les vulnérabilités basées sur les prompts et les vulnérabilités basées sur le tuning.

La conclusion générale des tests approfondis menés par les chercheurs (dont la rigueur sans relâche rend l’article difficile à lire vers la fin) est que le jailbreak-tuning est de manière fiable plus efficace que d’autres stratégies de fine-tuning, avec des taux de refus s’effondrant même lorsque les données nuisibles ne représentent qu’une petite fraction de l’ensemble de formation.

Les attaques qui réussissent en tant que prompts seuls tendent à fonctionner encore mieux lorsqu’elles sont intégrées à la fine-tuning, et des ensembles de données apparemment inoffensifs qui ressemblent à des exemples nuisibles dans le ton ou la structure peuvent aggraver le problème; les chercheurs n’ont pas pu déterminer pourquoi ces effets sont si forts, signalant qu’aucune défense connue ne peut les empêcher de manière fiable, en attendant des connaissances plus approfondies sur les mécanismes en jeu.

L’outil que les auteurs ont publié en open source (voir le lien plus tôt dans l’article) comprend les versions complètes et empoisonnées des ensembles de données utilisés dans les expériences, couvrant les objectifs concurrents, la généralisation non appropriée, les backdoors et les entrées brutes nuisibles. Ces variantes devraient permettre aux développeurs de tester les API de fine-tuning contre des types d’attaque connus et de comparer l’efficacité de différentes défenses.

Conclusion

Si des entreprises bien financées et très motivées comme OpenAI ne peuvent pas gagner le jeu de “censure whack-a-mole”, on pourrait affirmer que la tendance actuelle et croissante vers la réglementation et la surveillance des systèmes d’IA “installés localement” est basée sur une fausse hypothèse: que, comme pour l’alcool, la marijuana et les cigarettes, l’ère “Far West” de l’IA doit évoluer vers un paysage hautement réglementé – même si les mécanismes de réglementation sont actuellement assez faciles à contourner, malgré le contexte apparemment sécurisé de l’accès API uniquement.

* Ma conversion des citations en ligne des auteurs en hyperliens,

Publié pour la première fois le jeudi 17 juillet 2025