Les images « protégées » sont plus faciles, et non plus difficiles, à voler avec l'IA

De nouvelles recherches suggèrent que les outils de tatouage numérique destinés à bloquer les modifications d'images par l'IA pourraient se retourner contre eux. Au lieu d'empêcher des modèles comme Stable Diffusion d'effectuer des modifications, certaines protections vous aider l'IA suit les invites d'édition de plus près, rendant les manipulations indésirables encore plus faciles.

Il existe un courant important et solide dans la littérature sur la vision par ordinateur consacré à la protection des images protégées par le droit d'auteur contre leur apprentissage dans des modèles d'IA ou leur utilisation dans des processus d'IA image-à-image directs. Les systèmes de ce type visent généralement à Modèles de diffusion latente (LDM) tels que Diffusion stable et à la Flux, qui utilisent basé sur le bruit procédures pour coder et décoder des images.

By insertion de bruit contradictoire dans des images d'apparence normale, il peut être possible de faire en sorte que les détecteurs d'images deviner le contenu de l'image de manière incorrecte, et empêcher les systèmes de génération d’images d’exploiter des données protégées par le droit d’auteur :

Extrait du document du MIT « Augmenter le coût de l'édition d'images malveillantes alimentée par l'IA », exemples d'une image source « immunisée » contre la manipulation (rangée inférieure). Source : https://arxiv.org/pdf/2302.06588

Depuis un an réaction des artistes contre l'utilisation libérale par Stable Diffusion d'images récupérées sur le Web (y compris des images protégées par le droit d'auteur) en 2023, la scène de la recherche a produit de multiples variations sur le même thème - l'idée que les images peuvent être invisiblement « empoisonnées » pour ne pas être entraînées dans des systèmes d'IA ou aspirées dans des pipelines d'IA génératifs, sans affecter négativement la qualité de l'image, pour le spectateur moyen.

Dans tous les cas, il existe une corrélation directe entre l'intensité de la perturbation imposée, la mesure dans laquelle l'image est ensuite protégée et la mesure dans laquelle l'image n'est pas aussi belle qu'elle le devrait :

Bien que la qualité du PDF de recherche n'illustre pas complètement le problème, des perturbations antagonistes plus importantes sacrifient la qualité au profit de la sécurité. Nous voyons ici l'éventail des perturbations de qualité observées dans le projet « Fawkes » de 2020, mené par l'Université de Chicago. Source : https://arxiv.org/pdf/2002.08327

Ce qui intéresse particulièrement les artistes qui cherchent à protéger leurs styles contre une appropriation non autorisée, c'est la capacité de ces systèmes non seulement à obscurcir l'identité et d'autres informations, mais pour « convaincre » un processus de formation d'IA qu'il voit quelque chose d'autre que ce qu'il voit réellement, de sorte que des connexions ne se forment pas entre les domaines sémantique et visuel pour les données de formation « protégées » (c'est-à-dire une invite telle que « Dans le style de Paul Klee »).

Mist et Glaze sont deux méthodes d'injection populaires capables d'empêcher, ou du moins de gravement entraver, les tentatives d'utilisation de styles protégés par le droit d'auteur dans les flux de travail et les routines de formation de l'IA. Source : https://arxiv.org/pdf/2506.04394

Objectif personnel

De nouvelles recherches menées aux États-Unis ont révélé non seulement que les perturbations peuvent ne pas protéger une image, mais que l'ajout de perturbations peut en réalité améliorer l'exploitabilité de l'image dans tous les processus d'IA contre lesquels la perturbation est censée immuniser.

Le papier déclare:

« Dans nos expériences avec diverses méthodes de protection d'image basées sur les perturbations dans plusieurs domaines (images de scènes naturelles et œuvres d'art) et tâches d'édition (génération d'image à image et édition de style), nous découvrons qu'une telle protection n'atteint pas complètement cet objectif.

« Dans la plupart des scénarios, l'édition par diffusion d'images protégées génère une image de sortie souhaitable qui adhère précisément à l'invite d'orientation.

« Nos résultats suggèrent que l'ajout de bruit aux images peut paradoxalement augmenter leur association avec des invites de texte données pendant le processus de génération, entraînant des conséquences inattendues telles que mieux modifications résultantes.

« Par conséquent, nous soutenons que les méthodes basées sur les perturbations peuvent ne pas fournir une solution suffisante pour une protection robuste des images contre l’édition basée sur la diffusion. »

Lors des tests, les images protégées ont été exposées à deux scénarios d'édition d'IA familiers : la génération simple d'image à image et transfert de styleCes processus reflètent les manières courantes dont les modèles d’IA peuvent exploiter le contenu protégé, soit en modifiant directement une image, soit en empruntant ses traits stylistiques pour les utiliser ailleurs.

Les images protégées, tirées de sources standard de photographie et d’œuvres d’art, ont été exécutées via ces pipelines pour voir si les perturbations ajoutées pouvaient bloquer ou dégrader les modifications.

Au lieu de cela, la présence de protection semblait souvent affiner l’alignement du modèle avec les invites, produisant des résultats propres et précis là où une certaine défaillance était attendue.

Les auteurs indiquent en effet que cette méthode de protection très populaire peut donner un faux sentiment de sécurité et que toute approche d'immunisation basée sur la perturbation devrait être testée de manière approfondie par rapport aux propres méthodes des auteurs.

Méthode

Les auteurs ont mené des expériences en utilisant trois méthodes de protection qui appliquent des perturbations adverses soigneusement conçues : PhotoGuard; MistEt Glaze.

Glaze, l'un des frameworks testés par les auteurs, illustre des exemples de protection Glaze pour trois artistes. Les deux premières colonnes présentent les œuvres originales ; la troisième présente les résultats de mimétisme sans protection ; la quatrième présente les versions de style transférées utilisées pour l'optimisation du cloaking, ainsi que le nom du style cible. Les cinquième et sixième colonnes présentent les résultats de mimétisme avec le cloaking appliqué à des niveaux de perturbation. p = 0.05 et à la p = 0.1. Tous les résultats utilisent des modèles de diffusion stable. https://arxiv.org/pdf/2302.04222

PhotoGuard a été appliqué aux images de scènes naturelles, tandis que Mist et Glaze ont été utilisés sur des œuvres d'art (c'est-à-dire des domaines de « style artistique »).

Les tests ont porté sur des images naturelles et artistiques afin de refléter les utilisations possibles dans le monde réel. L'efficacité de chaque méthode a été évaluée en vérifiant si un modèle d'IA pouvait encore produire des modifications réalistes et pertinentes pour les instructions lorsqu'il travaillait sur des images protégées ; si les images obtenues semblaient convaincantes et correspondaient aux instructions, la protection était jugée inefficace.

Diffusion stable v1.5 a été utilisé comme générateur d'images pré-entraîné pour les tâches d'édition des chercheurs. graines ont été sélectionnés pour garantir la reproductibilité : 9222, 999, 123, 66 et 42. Tous les autres paramètres de génération, tels que l'échelle de guidage, la force et le nombre total d'étapes, ont suivi les valeurs par défaut utilisées dans les expériences PhotoGuard.

PhotoGuard a été testé sur des images de scènes naturelles en utilisant le Flickr8k ensemble de données, qui contient plus de 8,000 XNUMX images associées à jusqu'à cinq légendes chacune.

Pensées opposées

Deux ensembles de légendes modifiées ont été créés à partir de la première légende de chaque image à l'aide de Claude Sonnet 3.5. Un ensemble contenait des invites qui étaient contextuellement proche aux légendes originales ; l’autre ensemble contenait des invites qui étaient contextuellement distant.

Par exemple, à partir de la légende originale « Une jeune fille en robe rose entrant dans une cabane en bois », une invite de fermeture serait « Un jeune garçon en chemise bleue entrant dans une maison en briques ». En revanche, un lointain l'invite serait « Deux chats se prélassent sur un canapé ».

Les invites proches ont été construites en remplaçant les noms et les adjectifs par des termes sémantiquement similaires ; les invites éloignées ont été générées en demandant au modèle de créer des légendes contextuellement très différentes.

Toutes les légendes générées ont été vérifiées manuellement pour leur qualité et leur pertinence sémantique. Encodeur de phrase universel a été utilisé pour calculer les scores de similarité sémantique entre les légendes originales et modifiées :

À partir des documents complémentaires, distributions de similarité sémantique pour les légendes modifiées utilisées dans les tests Flickr8k. Le graphique de gauche montre les scores de similarité pour les légendes légèrement modifiées, avec une moyenne d'environ 0.6. Le graphique de droite montre les légendes fortement modifiées, avec une moyenne d'environ 0.1, reflétant une plus grande distance sémantique par rapport aux légendes originales. Les valeurs ont été calculées à l'aide de l'Universal Sentence Encoder de Google. Source : https://sigport.org/sites/default/files/docs/IncompleteProtection_SM_0.pdf

Chaque image, ainsi que sa version protégée, a été modifiée à l'aide des invites « Fermer » et « Éloigné ». L'évaluateur de qualité spatiale d'image aveugle/sans référence (BRISQUE) a été utilisé pour évaluer la qualité de l'image :

Résultats de la génération image à image sur des photographies naturelles protégées par PhotoGuard. Malgré la présence de perturbations, Stable Diffusion v1.5 a suivi avec succès les modifications sémantiques, petites et grandes, dans les invites d'édition, produisant des résultats réalistes et conformes aux nouvelles instructions.

Les images générées ont obtenu un score de 17.88 sur BRISQUE, avec 17.82 pour les images proches et 17.94 pour les images éloignées, tandis que les images originales ont obtenu un score de 22.27. Cela montre que les images éditées sont restées proches en qualité des images originales.

Métrique

Pour évaluer dans quelle mesure les protections interféraient avec l’édition de l’IA, les chercheurs ont mesuré dans quelle mesure les images finales correspondaient aux instructions qui leur avaient été données, en utilisant des systèmes de notation qui comparaient le contenu de l’image à l’invite textuelle, pour voir dans quelle mesure elles s’alignaient.

À cette fin, le CLIP-S metric utilise un modèle qui peut comprendre à la fois les images et le texte pour vérifier leur similarité, tandis que PAC-S++, ajoute des échantillons supplémentaires créés par l'IA pour aligner sa comparaison plus étroitement sur une estimation humaine.

Ces scores d'alignement image-texte (ITA) indiquent avec quelle précision l'IA a suivi les instructions lors de la modification d'une image protégée : si une image protégée a quand même conduit à une sortie hautement alignée, cela signifie que la protection a été jugée comme ayant manqué pour bloquer l'édition.

Effet de la protection sur l'ensemble de données Flickr8k pour cinq graines, utilisant des invites proches et distantes. L'alignement image-texte a été mesuré à l'aide des scores CLIP-S et PAC-S++.

Les chercheurs ont comparé la capacité de l'IA à suivre les instructions lors de la modification d'images protégées et non protégées. Ils ont d'abord examiné la différence entre les deux, appelée Changement réel. Ensuite, la différence a été mise à l'échelle pour créer un Pourcentage de changement, ce qui facilite la comparaison des résultats entre de nombreux tests.

Ce processus a révélé si les protections rendaient plus difficile ou plus facile pour l'IA de faire correspondre les messages. Les tests ont été répétés cinq fois avec différentes valeurs aléatoires, couvrant les modifications mineures et majeures apportées aux sous-titres d'origine.

Art Attack

Pour les tests sur des photographies naturelles, nous avons utilisé le jeu de données Flickr1024, contenant plus de mille images de haute qualité. Chaque image a été modifiée à l'aide d'invites suivant le modèle suivant : 'changer le style en [V]', Où [V] représentait l'un des sept styles artistiques célèbres : le cubisme, le postimpressionnisme, l'impressionnisme, le surréalisme, le baroque, le fauvisme et la Renaissance.

Le processus impliquait l'application de PhotoGuard aux images originales, la génération de versions protégées, puis l'exécution des images protégées et non protégées via le même ensemble de modifications de transfert de style :

Versions originales et protégées d'une image de scène naturelle, chacune éditée pour appliquer les styles du cubisme, du surréalisme et du fauvisme.

Pour tester les méthodes de protection sur les œuvres d'art, un transfert de style a été effectué sur des images de la WikiArt Ensemble de données, qui regroupe un large éventail de styles artistiques. Les invites d'édition suivaient le même format que précédemment, demandant à l'IA de modifier le style en choisissant un style aléatoire, sans rapport avec le sujet, tiré des étiquettes WikiArt.

Les méthodes de protection Glaze et Mist ont été appliquées aux images avant les modifications, permettant aux chercheurs d'observer dans quelle mesure chaque défense pouvait bloquer ou déformer les résultats du transfert de style :

Exemples de l'impact des méthodes de protection sur le transfert de style d'une œuvre. L'image baroque originale est présentée aux côtés de versions protégées par Brume et Glacis. Après application du transfert de style Cubisme, on observe les différences entre chaque protection et le résultat final.

Les chercheurs ont également testé les comparaisons de manière quantitative :

Modifications des scores d'alignement image-texte après les modifications de transfert de style.

De ces résultats, les auteurs commentent :

Les résultats mettent en évidence une limitation significative des perturbations adverses en matière de protection. Au lieu d'entraver l'alignement, les perturbations adverses améliorent souvent la réactivité du modèle génératif aux sollicitations, permettant ainsi aux exploitants de produire des résultats plus conformes à leurs objectifs. Une telle protection ne perturbe pas le processus de retouche d'image et peut ne pas empêcher les agents malveillants de copier du contenu non autorisé.

« Les conséquences imprévues de l’utilisation de perturbations adverses révèlent les vulnérabilités des méthodes existantes et soulignent le besoin urgent de techniques de protection plus efficaces. »

Les auteurs expliquent que les résultats inattendus peuvent être attribués au fonctionnement des modèles de diffusion : les LDM éditent les images en les convertissant d'abord en une version compressée appelée latent; du bruit est ensuite ajouté à cette latence à travers de nombreuses étapes, jusqu'à ce que les données deviennent presque aléatoires.

Le modèle inverse ce processus lors de la génération, supprimant le bruit étape par étape. À chaque étape de cette inversion, le texte d'invite indique comment nettoyer le bruit, façonnant progressivement l'image pour correspondre à l'invite :

Comparaison entre les générations d'une image non protégée et d'une image protégée par PhotoGuard, avec des états latents intermédiaires reconvertis en images pour la visualisation.

Les méthodes de protection ajoutent de petites quantités de bruit supplémentaire à l'image d'origine avant qu'elle n'entre dans ce processus. Bien que ces perturbations soient mineures au départ, elles s'accumulent à mesure que le modèle applique ses propres couches de bruit.

Cette accumulation laisse davantage de zones de l'image « incertaines » lorsque le modèle commence à supprimer le bruit. Avec une plus grande incertitude, le modèle s'appuie davantage sur l'invite textuelle pour compléter les détails manquants, ce qui donne l'invite. encore plus d'influence qu'elle n'en aurait normalement.

En effet, les protections permettent à l’IA de remodeler plus facilement l’image pour qu’elle corresponde à l’invite, plutôt que de la compliquer.

Enfin, les auteurs ont mené un test qui a remplacé les perturbations fabriquées à partir du Augmentation du coût des retouches d'images malveillantes alimentées par l'IA paper pour le bruit gaussien pur.

Les résultats ont suivi la même tendance que celle observée précédemment : dans tous les tests, les valeurs de pourcentage de variation sont restées positives. Même ce bruit aléatoire et non structuré a permis une meilleure concordance entre les images générées et les invites.

Effet de la protection simulée à l'aide du bruit gaussien sur l'ensemble de données Flickr8k.

Cela a soutenu l’explication sous-jacente selon laquelle tout bruit ajouté, quelle que soit sa conception, crée une plus grande incertitude pour le modèle pendant la génération, permettant à l’invite de texte d’exercer encore plus de contrôle sur l’image finale.

Conclusion

Le monde de la recherche a fait pression sur les perturbations conflictuelles autour de la question du droit d’auteur des LDM depuis presque aussi longtemps que les LDM existent ; mais aucune solution résiliente n’a émergé du nombre extraordinaire d’articles publiés sur cette voie.

Soit les perturbations imposées diminuent excessivement la qualité de l’image, soit les motifs s’avèrent peu résilients aux manipulations et aux processus de transformation.

Cependant, c'est un rêve difficile à abandonner, car l'alternative semble être des cadres de surveillance et de provenance tiers tels que celui dirigé par Adobe. Schéma C2PA, qui cherche à maintenir une chaîne de traçabilité pour les images provenant du capteur de l'appareil photo, mais qui n'a aucun lien inné avec le contenu représenté.

Quoi qu'il en soit, si la perturbation contradictoire aggrave en réalité le problème, comme le montre le nouveau document, cela pourrait être vrai dans de nombreux cas, on peut se demander si la recherche d'une protection du droit d'auteur par de tels moyens relève de « l'alchimie ».

Première publication le lundi 9 juin 2025