Comment savoir si les systèmes de synthèse d’images produisent réellement du matériel « original »

Une nouvelle étude menée en Corée du Sud a proposé une méthode pour déterminer si les systèmes de synthèse d’images produisent réellement des images nouvelles et originales, ou si ce sont simplement des variantes mineures des données d’entraînement, ce qui pourrait potentiellement compromettre l’objectif de ces architectures (comme la production d’images nouvelles et originales).

Très souvent, suggère l’article, c’est le cas, car les métriques existantes utilisées par ces systèmes pour améliorer leurs capacités génératives au cours de l’entraînement sont contraintes de favoriser les images qui sont relativement proches des images sources (non fausses) du jeu de données.

Après tout, si une image générée est « visuellement proche » des données sources, elle est susceptible de obtenir un meilleur score pour « l’authenticité » que pour « l’originalité », car elle est « fidèle » – même si elle n’est pas inspirante.

Dans un secteur encore trop nouveau et non éprouvé pour que ses implications juridiques soient encore connues, cela pourrait s’avérer être un problème juridique important, si cela se confirme que le contenu d’images synthétiques commercialisées ne diffère pas suffisamment des données sources (souvent protégées par le droit d’auteur) qui sont actuellement autorisées à perfuser le secteur de la recherche sous forme de jeux de données populaires issus du web (le potentiel de réclamations de violation de ce type a récemment pris de l’importance concernant Microsoft’s GitHub Co-Pilot AI).

En termes de sortie de plus en plus cohérente et sémantiquement robuste de systèmes tels que OpenAI’s DALL-E 2, Google’s Imagen, et China’s CogView releases (ainsi que le moins puissant DALL-E mini), il y a très peu de façons post facto fiables pour tester l’originalité d’une image générée.

En effet, la recherche de certaines des nouvelles images DALL-E 2 les plus populaires ne mènera souvent qu’à d’autres instances de ces mêmes images, selon le moteur de recherche.

Uploading a complete 9-image DALL-E 2 output group only leads to more DALL-E 2 output groups, because the grid structure is the strongest feature. Separating and uploading the first image (from this Twitter post of 8th juin 2022, from the ‘Weird Dall-E Generations’ account) causes Google to fixate on the basketball in the picture, taking the image-based search down a semantic blind alley. For the same image-based search, Yandex seems at least to be doing some actual pixel-based deconstruction and feature-matching.

Yandex est plus susceptible que Google Search d’utiliser les caractéristiques (c’est-à-dire les caractéristiques dérivées/calculées d’une image, et non nécessairement les caractéristiques faciales des personnes) et les visuelles (plutôt que sémantiques) d’une image soumise pour trouver des images similaires, tous les moteurs de recherche d’images ont une sorte de programme ou de pratique qui peut rendre difficile l’identification d’instances de plagiat source>généré via des recherches web.

En outre, les données d’entraînement pour un modèle génératif peuvent ne pas être entièrement accessibles au public, ce qui entrave encore l’examen forensique de l’originalité des images générées.

Intéressant, la réalisation d’une recherche d’image basée sur l’un des images synthétiques présentées par Google sur son site dédié Imagen ne trouve absolument rien de comparable au sujet de l’image, en termes de regarder réellement l’image et de rechercher des images similaires de manière impartiale. Au lieu de cela, Google Image Search résultats pour cette image Imagen ne permettra pas une recherche d’image pure sans ajouter les termes de recherche ‘imagen google’ comme paramètre supplémentaire (et limitatif):

Yandex, en revanche, trouve une multitude d’images similaires (ou du moins visuellement liées) de la communauté artistique amateur:

En général, il serait préférable que la nouveauté ou l’originalité de la sortie des systèmes de synthèse d’images puisse être mesurée d’une certaine manière, sans avoir besoin d’extraire des caractéristiques de chaque image web possible sur Internet au moment où le modèle a été formé, ou dans des jeux de données non publics qui peuvent utiliser du matériel protégé par le droit d’auteur.

Relatif à ce problème, des chercheurs de l’école de doctorat en intelligence artificielle Kim Jaechul de l’Institut coréen de science et de technologie (KAIST AI) ont collaboré avec la société de technologie de l’information et de recherche NAVER Corp pour développer un Score de rareté qui peut aider à identifier les créations les plus originales des systèmes de synthèse d’images.

Images ici sont générées via StyleGAN-FFHQ. De gauche à droite, les colonnes indiquent les résultats des pires aux meilleurs. Nous pouvons voir que la métrique ‘Truncation trick’ (voir ci-dessous) et la métrique de réalisme ont leurs propres agendas, tandis que le nouveau ‘Score de rareté’ (première rangée) cherche des images cohérentes mais originales (plutôt que simplement cohérentes). Puisqu’il y a des limites de taille d’image dans cet article, veuillez consulter le document source pour plus de détails et de résolution. Source: https://arxiv.org/pdf/2206.08549.pdf

Le nouveau document est intitulé Score de rareté: une nouvelle métrique pour évaluer la rareté des images synthétisées, et provient de trois chercheurs de KAIST, et trois de NAVER Corp.

Au-delà de la ‘technique bon marché’

Parmi les métriques antérieures que le nouveau document cherche à améliorer se trouve la ‘technique de troncature’ suggérée en 2019 dans une collaboration entre l’Université Heriot-Watt du Royaume-Uni et Google’s DeepMind.

La technique de troncature utilise essentiellement une distribution latente différente pour l’échantillonnage que celle utilisée pour former le modèle génératif.

Les chercheurs qui ont développé cette méthode ont été surpris qu’elle fonctionne, mais admettent dans le document original que cela réduit la variété de la sortie générée. Néanmoins, la technique de troncature est devenue efficace et populaire, dans le contexte de ce qui pourrait être réécrit comme une ‘technique bon marché’ pour obtenir des résultats authentiques qui n’assimilent pas vraiment toutes les possibilités inhérentes aux données, et peuvent ressembler davantage aux données sources qu’à ce qui est désiré.

En ce qui concerne la technique de troncature, les auteurs du nouveau document observent:

‘[Elle] n’est pas destinée à générer des échantillons rares dans les jeux de données d’entraînement, mais plutôt à synthétiser des images typiques de manière plus stable. Nous hypothésons que les modèles génératifs existants seront capables de produire des échantillons plus riches dans la distribution de données réelles si le générateur peut être induit à produire efficacement des échantillons rares.’

En général, la tendance à s’appuyer sur des métriques traditionnelles telles que la distance de Fréchet (FID, qui a fait l’objet de critiques intensives en décembre 2021), le score d’initialisation (IS) et la distance de noyau d’initialisation (KID) en tant qu’indicateurs de progrès pendant la formation d’un modèle génératif, les auteurs commentent en outre*:

‘Ce schéma d’apprentissage conduit le générateur à ne pas synthétiser beaucoup d’échantillons rares qui sont uniques et ont des caractéristiques fortes qui ne représentent pas une grande proportion de la distribution d’images réelles. Des exemples d’échantillons rares à partir de jeux de données publics incluent des personnes avec divers accessoires dans FFHQ, animaux blancs dans AFHQ, et statues rares dans Metfaces.

‘La capacité à générer des échantillons rares est importante non seulement parce qu’elle est liée à la capacité de pointe des modèles génératifs, mais aussi parce que l’unicité joue un rôle important dans les applications créatives telles que les humains virtuels.

‘Cependant, les résultats qualitatifs de plusieurs études récentes contiennent rarement ces exemples rares. Nous conjecturons que la nature du schéma d’apprentissage antagoniste force la distribution d’images générées à être similaire à celle du jeu de données d’entraînement. Ainsi, les images avec une individualité claire ou une rareté ne représentent qu’une petite partie des images synthétisées par les modèles.’

Technique

Les chercheurs ont adapté une idée présentée dans des travaux antérieurs – l’utilisation de K-Nearest Neighbors (KNNs) pour représenter les tableaux de données réelles (d’entraînement) et synthétiques (de sortie) dans un système de synthèse d’images.

En ce qui concerne cette nouvelle méthode d’analyse, les auteurs affirment:

‘Nous hypothésons que les échantillons ordinaires seraient plus proches les uns des autres tandis que les échantillons uniques et rares seraient dispersés dans l’espace de caractéristiques.’

L’image de résultats ci-dessus montre les plus petites distances de plus proches voisins (NNDs) sur les plus grandes, dans une architecture StyleGAN formée sur FFHQ.

‘Pour tous les jeux de données, les échantillons avec les plus petites NNDs montrent des images représentatives et typiques. En revanche, les échantillons avec les plus grandes NNDs ont une individualité forte et sont nettement différents des images typiques avec les plus petites NNDs.’

En théorie, en utilisant cette nouvelle métrique comme discriminant, ou du moins en l’incluant dans une architecture de discriminant plus complexe, un système génératif pourrait être dirigé loin de la pure imitation vers un algorithme plus inventif, tout en conservant l’essentiel de la cohérence des concepts qui peuvent être critiques pour la production d’images authentiques (c’est-à-dire « homme », « femme », « voiture », « église », etc.).

Comparaisons et expériences

Dans les tests, les chercheurs ont mené une comparaison des performances du Score de rareté par rapport à la fois à la technique de troncature et au Score de réalisme de NVIDIA de 2019, et ont constaté que, à travers divers cadres et jeux de données, l’approche est capable d’individualiser les résultats « uniques ».

Bien que les résultats présentés dans le document soient trop extensifs pour être inclus ici, les chercheurs semblent avoir démontré la capacité de la nouvelle méthode à identifier la rareté à la fois dans les images sources (réelles) et les images générées (fausses) dans une procédure générative:

Sélection d’exemples à partir des résultats visuels extensifs reproduits dans le document (voir l’URL source ci-dessus pour plus de détails). À gauche, des exemples réels de FFHQ qui ont très peu de voisins proches (c’est-à-dire qui sont nouveaux et inhabituels) dans le jeu de données d’origine; à droite, des images fausses générées par StyleGAN, que la nouvelle métrique a identifiées comme étant vraiment nouvelles. Puisqu’il y a des limites de taille d’image dans cet article, veuillez consulter le document source pour plus de détails et de résolution.

La nouvelle métrique Score de rareté ne permet pas seulement la possibilité d’identifier la sortie générative « novatrice » dans une architecture unique, mais permet également, selon les chercheurs, des comparaisons entre les modèles génératifs de diverses architectures (c’est-à-dire auto-encodeur, VAE, GAN, etc.).

Le document note que le Score de rareté diffère des métriques antérieures en se concentrant sur la capacité d’un cadre génératif à créer des images uniques et rares, à l’opposition des métriques « traditionnelles », qui examinent (plus myopiquement) la diversité entre les générations pendant la formation du modèle.

Au-delà des tâches limitées

Bien que les chercheurs du nouveau document aient mené des tests sur des cadres à domaine limité (comme des combinaisons générateur/jeu de données conçues pour produire spécifiquement des images de personnes, ou de chats, par exemple), le Score de rareté peut potentiellement être appliqué à n’importe quelle procédure de synthèse d’images arbitraire où il est souhaitable d’identifier des exemples générés qui utilisent les distributions dérivées des données formées, plutôt que d’augmenter l’authenticité (et de réduire la diversité) en interposant des distributions latentes étrangères, ou en s’appuyant sur d’autres « raccourcis » qui compromettent la novauté en faveur de l’authenticité.

En pratique, et en l’absence d’une compréhension claire de l’étendue à laquelle le système a réellement assimilé les concepts visuels et sémantiques (souvent entravée par une connaissance limitée des données d’entraînement), cela pourrait être une méthode viable pour identifier un véritable « moment d’inspiration » dans un système génératif – le point auquel un nombre suffisant de concepts et de données d’entrée ont abouti à quelque chose de réellement inventif, plutôt que quelque chose de trop dérivé ou proche des données sources.

* Mes conversions des citations en ligne des auteurs en hyperliens.

Publié pour la première fois le 20 juin 2022.