Encodage d’images contre l’utilisation dans les systèmes de synthèse d’images et de deepfake

La ligne de recherche la plus connue dans le secteur de la recherche anti-deepfake en plein essor concerne les systèmes capables de reconnaître les artefacts ou d’autres caractéristiques distinctives censées des visages deepfaked, synthétisés ou autrement falsifiés ou « édités » dans les contenus vidéo et image.

Ces approches utilisent diverses tactiques, notamment la détection de la profondeur, la perturbation de la régularité vidéo, les variations dans l’éclairage du moniteur (dans les appels vidéo potentiels deepfaked), les caractéristiques biométriques, les régions du visage externe et même les pouvoirs cachés du système subconscient humain.

Ces méthodes, et des méthodes similaires, ont en commun qu’au moment où elles sont déployées, les mécanismes centraux qu’elles combattent ont déjà été formés avec succès sur des milliers, ou des centaines de milliers d’images collectées sur le web – des images à partir desquelles les systèmes auto-encodeurs peuvent facilement dériver des fonctionnalités clés et créer des modèles qui peuvent imposer de manière précise une fausse identité dans des séquences vidéo ou des images synthétisées – même en temps réel.

En résumé, lorsque de tels systèmes sont actifs, le cheval est déjà parti.

Images hostiles aux architectures de deepfake/synthèse

À travers une attitude plus préventive face à la menace des deepfakes et de la synthèse d’images, une branche de recherche moins connue dans ce secteur implique les possibilités inhérentes à rendre toutes ces photos sources non amicales envers les systèmes de synthèse d’images par ordinateur, généralement de manière imperceptible ou à peine perceptible.

Des exemples incluent FakeTagger, une proposition de 2021 de diverses institutions aux États-Unis et en Asie, qui encode des messages dans les images; ces encodages sont résistants au processus de généralisation et peuvent être récupérés même après que les images aient été collectées sur le web et formées dans un réseau antagoniste génératif (GAN) du type le plus célèbre incarné par thispersondoesnotexist.com et ses nombreuses dérivées.

FakeTagger encode des informations qui peuvent survivre au processus de généralisation lors de la formation d’un GAN, ce qui permet de savoir si une image particulière a contribué aux capacités génératives du système. Source: https://arxiv.org/pdf/2009.09869.pdf

Pour la conférence ICCV 2021, un autre effort international a institué des empreintes digitales artificielles pour les modèles génératifs, (voir image ci-dessous) qui produit à nouveau des « empreintes digitales » récupérables à partir de la sortie d’un GAN de synthèse d’images tel que StyleGAN2.

Même sous une variété de manipulations extrêmes, de recadrage et de substitution de visage, les empreintes digitales passées par ProGAN restent récupérables. Source: https://arxiv.org/pdf/2007.08457.pdf

D’autres itérations de ce concept incluent un projet de 2018 d’IBM et un schéma de filigrane numérique la même année, du Japon.

Plus innovativement, une initiative de 2021 de l’Université d’aéronautique et d’astronautique de Nanjing a cherché à « crypter » les images de formation de telle sorte qu’elles ne seraient formées que sur des systèmes autorisés, mais échoueraient de manière catastrophique si utilisées comme données sources dans un pipeline de formation de synthèse d’images générique.

En effet, toutes ces méthodes tombent dans la catégorie de la stéganographie, mais dans tous les cas, les informations d’identification uniques dans les images doivent être encodées comme une fonctionnalité « essentielle » d’une image de telle sorte qu’il n’y ait aucune chance qu’un auto-encodeur ou une architecture GAN rejette ces empreintes digitales comme « bruit » ou données non essentielles, mais les encode plutôt avec d’autres fonctionnalités faciales.

En même temps, le processus ne peut pas être autorisé à déformer ou à affecter visuellement l’image à tel point qu’elle soit perçue par les spectateurs occasionnels comme ayant des défauts ou étant de mauvaise qualité.

TAFIM

Maintenant, un nouvel effort de recherche allemand (de l’Université technique de Munich et de Sony Europe RDC Stuttgart) a proposé une technique d’encodage d’images qui fait que les modèles de deepfake ou les cadres de type StyleGAN formés sur des images traitées produisent une sortie inutilisable bleue ou blanche, respectivement.

Les perturbations d’image à faible niveau de TAFIM traitent plusieurs types possibles de distorsion/substitution de visage, forçant les modèles formés sur les images à produire une sortie déformée, et est signalé par les auteurs comme étant applicable même dans des scénarios en temps réel tels que le streaming de deepfake en temps réel de DeepFaceLive. Source: https://arxiv.org/pdf/2112.09151.pdf

Le document, intitulé TAFIM: Attaques adverses ciblées contre les manipulations d’images faciales, utilise un réseau neuronal pour encoder des perturbations à peine perceptibles dans les images. Après que les images sont formées et généralisées dans une architecture de synthèse, le modèle résultant produira une sortie décolorée pour l’identité d’entrée si utilisé dans un mélange de style ou un remplacement de visage direct.

Re-Encodage du Web..?

Cependant, dans ce cas, nous ne sommes pas là pour examiner les détails et l’architecture de la dernière version de ce concept populaire, mais plutôt pour considérer la praticité de l’idée tout entière – en particulier à la lumière de la controverse croissante sur l’utilisation de images collectées publiquement pour alimenter les cadres de synthèse d’images tels que Stable Diffusion, et les implications juridiques en aval de la dérivation de logiciels commerciaux à partir de contenus qui peuvent (au moins dans certaines juridictions) finalement prouver avoir une protection juridique contre l’ingestion dans les architectures de synthèse d’images par ordinateur.

Les approches proactives basées sur l’encodage, du type décrit ci-dessus, viennent à un coût non négligeable. Au moins, elles impliqueraient l’institution de nouvelles routines de compression étendues dans les bibliothèques de traitement web standard telles que ImageMagick, qui alimentent un grand nombre de processus de téléchargement, y compris de nombreuses interfaces de téléchargement de médias sociaux, chargées de convertir les images d’origine surdimensionnées des utilisateurs en versions optimisées plus adaptées à un partage léger et à une distribution réseau, ainsi que pour effectuer des transformations telles que des recadrages et d’autres augmentations.

La question principale que cela soulève est: une telle scheme serait-elle mise en œuvre « à l’avenir », ou une mise en œuvre plus large et rétroactive serait-elle intentionnelle, qui s’adresse aux médias historiques qui peuvent avoir été disponibles, « non corrompus », pendant des décennies?

Les plateformes telles que Netflix ne sont pas opposées aux frais de re-codage d’un catalogue avec de nouveaux codecs qui peuvent être plus efficaces, ou pourraient autrement fournir des avantages à l’utilisateur ou au fournisseur; de même, la conversion par YouTube de son contenu historique au codec H.264, apparemment pour accommoder Apple TV, une tâche logistiquement monumentale, n’a pas été considérée comme prohibitivement difficile, malgré l’échelle.

Ironiquement, même si de grandes parties de contenu multimédia sur Internet devaient devenir sujettes à un re-encodage dans un format qui résiste à la formation, le cadre limité de jeux de données d’apprentissage automatique influents resterait inchangé. Cependant, les systèmes qui les utilisent comme données amont commenceraient à diminuer en qualité de sortie, car le contenu filigrané interromprait les processus de transformation des architectures.

Conflit politique

En termes politiques, il y a une tension apparente entre la détermination des gouvernements de ne pas être en retard dans le développement de l’IA et de faire des concessions à la préoccupation publique quant à l’utilisation ad hoc de contenu audio, vidéo et image ouvertement disponible sur Internet comme ressource abondante pour les systèmes de transformation d’IA.

Officiellement, les gouvernements occidentaux sont enclins à la clémence en ce qui concerne la capacité du secteur de la recherche en vision par ordinateur à utiliser des médias publics, notamment parce que certains pays asiatiques plus autoritaires ont beaucoup plus de latitude pour façonner leurs flux de travail de développement de manière à bénéficier de leurs propres efforts de recherche – l’un des facteurs qui suggère que la Chine devient le leader mondial de l’IA.

En avril 2022, la Cour d’appel des États-Unis a affirmé que les données web accessibles au public sont libres d’être utilisées à des fins de recherche, malgré les protestations continues de LinkedIn, qui souhaite que les profils de ses utilisateurs soient protégés de tels processus.

Si les images résistantes à l’IA ne doivent donc pas devenir une norme système, il n’y a rien pour empêcher certaines des principales sources de données de formation de mettre en œuvre de tels systèmes, de sorte que leur sortie devienne improductive dans l’espace latent.

Le facteur essentiel dans de tels déploiements spécifiques à l’entreprise est que les images doivent être innately résistantes à la formation. Les techniques de provenance basées sur la blockchain et les mouvements tels que l’ Initiative d’authenticité du contenu sont plus préoccupés par la preuve que les images ont été falsifiées ou « styleGANnées », plutôt que de prévenir les mécanismes qui rendent de telles transformations possibles.

Inspection occasionnelle

Alors que des propositions ont été faites pour utiliser des méthodes de blockchain pour authentifier la provenance et l’apparence réelles d’une image source qui peut avoir été ingérée plus tard dans un jeu de données de formation, cela ne prévient pas en soi la formation des images, ni ne fournit aucun moyen de prouver, à partir de la sortie de tels systèmes, que les images ont été incluses dans le jeu de données de formation.

Dans une approche de filigrane pour exclure les images de la formation, il serait important de ne pas s’appuyer sur la disponibilité publique des images sources d’un jeu de données influent pour inspection. En réponse aux cris d’artistes concernant l’ingestion libérale de leur travail par Stable Diffusion, le site Web haveibeentrained.com permet aux utilisateurs de télécharger des images et de vérifier si elles sont susceptibles d’avoir été incluses dans le jeu de données LAION5B qui alimente Stable Diffusion:

‘Lenna’, littéralement la fille d’affiche de la recherche en vision par ordinateur jusqu’à récemment, est certainement une contributrice à Stable Diffusion. Source: https://haveibeentrained.com/

Cependant, presque tous les jeux de données de deepfake traditionnels, par exemple, sont extraits de manière occasionnelle à partir de vidéos et d’images sur Internet, dans des bases de données non publiques où seule une sorte de filigrane résistant aux neurones pourrait potentiellement exposer l’utilisation d’images spécifiques pour créer les images et les vidéos dérivées.

De plus, les utilisateurs de Stable Diffusion commencent à ajouter du contenu – soit par fine-tuning (en continuant la formation du point de contrôle de modèle officiel avec des paires d’image/texte supplémentaires) ou par inversion textuelle, qui ajoute un élément ou une personne spécifique – qui n’apparaîtra pas dans une recherche à travers les milliards d’images de LAION.

Intégration de filigranes à la source

Une application potentielle encore plus extrême de la filigrane d’image à la source est d’inclure des informations occultes et non évidentes dans la sortie brute de capture, vidéo ou image, des caméras commerciales. Bien que le concept ait été expérimenté et même mis en œuvre avec une certaine vigueur au début des années 2000, en réponse à la menace émergente du « piratage multimédia », le principe est techniquement applicable également pour rendre le contenu multimédia résistant ou repulsif aux systèmes de formation d’IA.

Une mise en œuvre, évoquée dans une demande de brevet de la fin des années 1990, a proposé d’utiliser les transformations de cosinus discret pour intégrer des sous-images stéganographiques dans les vidéos et les images fixes, suggérant que la routine pourrait être « incorporée comme fonctionnalité intégrée pour les appareils d’enregistrement numérique, tels que les caméras photo et vidéo ».

Dans une demande de brevet de la fin des années 1990, Lenna est dotée de filigranes occultes qui peuvent être récupérés au besoin. Source: https://www.freepatentsonline.com/6983057.pdf

Une approche moins sophistiquée consiste à imposer des filigranes clairement visibles sur les images au niveau de l’appareil – une fonctionnalité qui est peu attrayante pour la plupart des utilisateurs, et redondante dans le cas des artistes et des professionnels des médias, qui sont capables de protéger les données sources et d’ajouter un marquage ou des interdictions comme ils le jugent approprié (notamment les sociétés d’images de stock).

Bien qu’au moins une caméra permette actuellement l’imposition facultative de filigranes basés sur le logo qui pourraient signaler une utilisation non autorisée dans un modèle d’IA dérivé, la suppression de logo via l’IA devient assez triviale, et même commercialisée de manière occasionnelle.

Publié pour la première fois le 25 septembre 2022.