Un système de détection pour les cadres de synthèse d’images purs comme DALL-E 2

De nouvelles recherches de l’Université de Californie à Berkeley proposent une méthode pour déterminer si la sortie des nouvelles générations de cadres de synthèse d’images – tels que DALL-E 2 d’Open AI, et Imagen et Parti de Google – peut être détectée comme « non réelle », en étudiant la géométrie, les ombres et les reflets qui apparaissent dans les images synthétisées.

En étudiant les images générées par des invites de texte dans DALL-E 2, les chercheurs ont constaté que, malgré le réalisme impressionnant dont l’architecture est capable, certaines incohérences persistantes se produisent liées au rendu de la perspective globale, à la création et à la disposition des ombres, et en particulier en ce qui concerne le rendu des objets réfléchis.

Le document indique:

‘Les structures géométriques, les ombres portées et les reflets sur les surfaces miroirs ne sont pas entièrement cohérents avec la géométrie de perspective attendue des scènes naturelles. Les structures géométriques et les ombres sont, en général, localement cohérentes, mais globalement incohérentes.

‘Les reflets, en revanche, sont souvent rendus de manière peu plausible, probablement parce qu’ils sont moins courants dans l’ensemble de données d’images d’entraînement.’

Un manque d’intersections cohérentes entre l’objet rendu et le rendu de son reflet est actuellement un moyen fiable de détecter une image DALL-E 2, selon la nouvelle étude. Source: https://arxiv.org/pdf/2206.14617.pdf

Le document représente une première incursion dans ce qui pourrait éventuellement devenir un domaine notable dans la communauté de recherche en vision par ordinateur – la détection de la synthèse d’images.

Depuis l’avènement des deepfakes en 2017, la détection de deepfakes (principalement de la sortie d’auto-encodeurs de packages tels que DeepFaceLab et FaceSwap) est devenue un domaine académique actif et compétitif, avec divers documents et méthodes ciblant les « signes » évolutifs de visages synthétisés dans les vidéos réelles.

Cependant, jusqu’à l’émergence très récente de systèmes de génération d’images hyperscalés, la sortie des systèmes d’invites de texte tels que CLIP ne posait aucune menace pour le statu quo de la « photoréalité ». Les auteurs du nouveau document pensent que cela est sur le point de changer, et que même les incohérences qu’ils ont découvertes dans la sortie de DALL-E 2 peuvent ne pas faire beaucoup de différence dans la capacité des images à tromper les spectateurs.

Les auteurs déclarent*:

‘Ces échecs peuvent ne pas avoir beaucoup d’importance pour le système visuel humain, qui s’est avéré être étonnamment incompétent dans certains jugements géométriques, y compris les incohérences dans l’éclairage, les ombres, les reflets, la position de vue et la distorsion de perspective.’

Crédibilité évanouissante

La première analyse forensique des auteurs sur la sortie de DALL-E 2 concerne la projection de perspective – la façon dont la position des arêtes droites dans les objets et les textures proches devrait se résoudre uniformément à un « point de fuite ».

À gauche, les lignes parallèles sur le même plan se résolvent à un point de fuite commun; à droite, plusieurs points de fuite sur le même et des plans parallèles définissent une ligne de fuite (représentée en rouge).

Pour tester la cohérence de DALL-E 2 à cet égard, les auteurs ont utilisé DALL-E 2 pour générer 25 images synthétisées de cuisines – un espace familier qui, même dans les logements bien aménagés, est généralement suffisamment confiné pour fournir plusieurs points de fuite possibles pour une gamme d’objets et de textures.

En examinant la sortie de l’invite « une photo d’une cuisine avec un sol carrelé », les chercheurs ont constaté que, malgré une représentation généralement convaincante dans chaque cas (à l’exception de quelques petits artefacts sans rapport avec la perspective), les objets représentés ne semblent jamais converger correctement.

Les auteurs notent que, même si chaque ensemble de lignes parallèles du motif de carrelage est cohérent et se croise en un seul point de fuite (bleu sur l’image ci-dessous), le point de fuite pour le plan de travail (cyan) est en désaccord avec les lignes de fuite (rouge) et le point de fuite dérivé des carreaux.

Les auteurs observent que, même si le plan de travail n’est pas parallèle aux carreaux, le point de fuite cyan devrait se résoudre à la ligne de fuite (rouge) définie par les points de fuite des carreaux du sol.

Le document indique:

‘Alors que la perspective dans ces images est – impressionnamment – localement cohérente, elle n’est pas globalement cohérente. Ce même modèle a été trouvé dans chacune des 25 images de cuisine synthétisées.’

Forensique des ombres

Comme quiconque qui a déjà travaillé avec le ray-tracing le sait, les ombres ont également des points de fuite potentiels, indiquant une illumination unique ou multiple. Pour les ombres extérieures dans la lumière du soleil, on s’attendrait à ce que les ombres à travers toutes les facettes d’une image se résolvent de manière cohérente à la source unique de lumière (le soleil).

Comme dans l’expérience précédente, les chercheurs ont créé 25 images DALL-E 2 avec l’invite « trois cubes sur un trottoir photographiés un jour ensoleillé », ainsi que 25 avec l’invite « trois cubes sur un trottoir photographiés un jour nuageux ».

Dans la rangée du haut, des images créées à partir de l’invite des chercheurs ‘trois cubes sur un trottoir photographiés un jour nuageux’; dans la rangée du bas, des images créées à partir de l’invite ‘trois cubes sur un trottoir photographiés un jour ensoleillé’.

Les chercheurs notent que, lorsqu’ils représentent des conditions nuageuses, DALL-E 2 est capable de rendre les ombres plus diffuses de manière convaincante et plausible, peut-être en partie parce que ce type d’ombre est plus prévalent dans les images de l’ensemble de données sur lesquelles le cadre a été formé.

Cependant, certaines des « photos ensoleillées » que les auteurs ont trouvées étaient incohérentes avec une scène éclairée par une source de lumière unique.

Pour l’image ci-dessus, les générations ont été converties en niveaux de gris pour plus de clarté, et montrent chaque objet avec son propre « soleil » dédié.

Even if the average viewer may not spot such anomalies, some of the generated images had more manifest examples of ‘shadow failure’:

While some of the shadows are simply in the wrong place, many of them, interestingly, correspond to the kind of visual discrepancy produced in CGI modelling when the sample rate for a virtual light is too low.

Reflets dans DALL-E 2

Les résultats les plus accablants en termes d’analyse forensique sont venus lorsque les auteurs ont testé la capacité de DALL-E 2 à créer des surfaces réfléchissantes, ce qui est également un calcul lourd dans le ray-tracing et les algorithmes de rendu traditionnels.

Pour cette expérience, les auteurs ont produit 25 images DALL-E 2 avec l’invite ‘une photo d’un dinosaure jouet et de son reflet dans un miroir de vanity’.

Dans tous les cas, les auteurs rapportent que l’image miroir du dinosaure jouet rendu était de quelque manière déconnectée de l’aspect et de la disposition du dinosaure jouet « réel ». Les auteurs déclarent que le problème était résistant aux variations de l’invite de texte et qu’il semble être une faiblesse fondamentale du système.

Il semble y avoir une logique dans certaines des erreurs – les premiers et troisièmes exemples de la rangée du haut semblent montrer un dinosaure qui est dupliqué très bien, mais pas réfléchi.

Les auteurs commentent:

‘Contrairement aux ombres portées et aux structures géométriques des sections précédentes, DALL·E-2 a du mal à synthétiser des reflets plausibles, probablement parce que de tels reflets sont moins courants dans son ensemble de données d’images d’entraînement.’

Des erreurs comme celles-ci pourraient être corrigées dans les futurs modèles de texte-à-image qui seront capables d’examiner plus efficacement la logique sémantique globale de leur sortie, et qui seront capables d’imposer des règles physiques abstraites sur des scènes qui ont, dans une certaine mesure, été assemblées à partir de fonctionnalités pertinentes pour le système dans son espace latent.

À la lumière d’une tendance croissante vers des architectures de synthèse de plus en plus grandes, les auteurs concluent:

‘Il ne s’agira peut-être que d’une question de temps avant que les moteurs de synthèse d’images par texte ne apprennent à rendre des images avec une cohérence de perspective complète. Jusqu’à ce moment-là, cependant, les analyses forensiques géométriques peuvent s’avérer utiles pour analyser ces images.’

* Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois le 30 juin 2022.