Est-ce que DALL-E 2 se contente de « coller des choses ensemble » sans comprendre leurs relations ?

Un nouveau document de recherche de l’Université de Harvard suggère que le cadre de génération d’images texte-à-image d’OpenAI, DALL-E 2, a des difficultés notables à reproduire même les relations entre les éléments qu’il compose dans des photos synthétisées, malgré la sophistication éblouissante de beaucoup de ses sorties.

Les chercheurs ont mené une étude auprès de 169 participants recrutés par crowdsourcing, qui ont été présentés avec des images DALL-E 2 basées sur les principes humains les plus basiques de sémantique relationnelle, ainsi que les textes-prompts qui les ont créés. Lorsqu’on leur a demandé si les prompts et les images étaient liés, moins de 22 % des images ont été perçues comme pertinentes par rapport à leurs prompts associés, en termes de relations très simples que DALL-E 2 a été invité à visualiser.

Une capture d’écran des essais menés pour le nouveau document. Les participants ont été invités à sélectionner toutes les images qui correspondaient au prompt. Source: https://arxiv.org/pdf/2208.00005.pdf

Les résultats suggèrent également que la capacité apparente de DALL-E à conjoindre des éléments disparates peut diminuer à mesure que ces éléments deviennent moins susceptibles de se produire dans les données de formation réelles qui alimentent le système.

Par exemple, les images pour le prompt « un enfant touchant un bol » ont obtenu un taux d’accord de 87 % (c’est-à-dire que les participants ont cliqué sur la plupart des images comme étant pertinentes par rapport au prompt), tandis que des images photoréalistes similaires de « un singe touchant un iguane » n’ont obtenu qu’un taux d’accord de 11 %:

DALL-E a du mal à dépeindre l’événement peu probable d’un ‘singe touchant un iguane’.

Dans le deuxième exemple, DALL-E 2 se trompe fréquemment sur l’échelle et même sur l’espèce, probablement en raison du manque d’images réelles qui dépeignent cet événement. En revanche, il est raisonnable de s’attendre à un grand nombre de photos de formation liées aux enfants et à la nourriture, et que ce sous-domaine/la classe est bien développé.

La difficulté de DALL-E à juxtaposer des éléments d’image fortement contrastés suggère que le public est actuellement si ébloui par les capacités photoréalistes et largement interprétatives du système qu’il n’a pas développé d’œil critique pour les cas où le système a effectivement simplement « collé » un élément de manière frappante sur un autre, comme dans ces exemples du site officiel de DALL-E 2:

Synthèse de coupe et de collage, à partir des exemples officiels pour DALL-E 2. Source: https://openai.com/dall-e-2/

Le nouveau document déclare*:

‘La compréhension relationnelle est un composant fondamental de l’intelligence humaine, qui se manifeste tôt dans le développement, et est calculée rapidement et automatiquement dans la perception.

‘La difficulté de DALL-E 2 avec même les relations spatiales de base (telles que in, on, under) suggère que ce qu’il a appris, il n’a pas encore appris les types de représentations qui permettent aux humains de structurer le monde de manière si flexible et robuste.

‘Une interprétation directe de cette difficulté est que les systèmes comme DALL-E 2 n’ont pas encore de compositionnalité relationnelle.’

Les auteurs suggèrent que les systèmes de génération d’images guidés par du texte, tels que la série DALL-E, pourraient bénéficier de l’utilisation d’algorithmes couramment utilisés en robotique, qui modélisent les identités et les relations simultanément, en raison de la nécessité pour l’agent d’interagir réellement avec l’environnement plutôt que de simplement fabriquer un mélange d’éléments divers.

Une telle approche, intitulée CLIPort, utilise le même mécanisme CLIP qui sert d’élément d’évaluation de la qualité dans DALL-E 2:

CLIPort, une collaboration de 2021 entre l’Université de Washington et NVIDIA, utilise CLIP dans un contexte si pratique que les systèmes formés sur celui-ci doivent nécessairement développer une compréhension des relations physiques. Source: https://arxiv.org/pdf/2109.12098.pdf

Les auteurs suggèrent en outre qu’une autre amélioration possible pourrait être pour l’architecture des systèmes de synthèse d’images tels que DALL-E d’incorporer des effets multiplicatifs dans une seule couche de calcul, permettant le calcul des relations d’une manière inspirée par les capacités de traitement de l’information des systèmes biologiques systèmes.

Le nouveau document est intitulé Testing Relational Understanding in Text-Guided Image Generation, et provient de Colin Conwell et Tomer D. Ullman du département de psychologie de Harvard.

Au-delà de la critique précoce

En commentant le « tour de passe-passe » derrière le réalisme et l’intégrité de la sortie de DALL-E 2, les auteurs notent les travaux antérieurs qui ont trouvé des lacunes dans les systèmes de génération d’images de type DALL-E.

En juin de cette année, l’UoC Berkeley a noté la difficulté de DALL-E à gérer les reflets et les ombres; le même mois, une étude de la Corée a examiné l’« unicité » et l’originalité de la sortie de type DALL-E 2 avec un œil critique; une analyse préliminaire des images DALL-E 2, peu après son lancement, de NYU et de l’Université du Texas, a trouvé divers problèmes de compositionnalité et d’autres facteurs essentiels dans les images DALL-E 2; et le mois dernier, un travail conjoint entre l’Université de l’Illinois et le MIT a proposé des suggestions pour améliorer l’architecture de tels systèmes en termes de compositionnalité.

Les chercheurs notent en outre que les luminaires DALL-E tels qu’Aditya Ramesh ont convenu des problèmes du cadre avec la liaison, la taille relative, le texte et d’autres défis.

Les développeurs derrière le système de synthèse d’images rival de Google, Imagen, ont également proposé DrawBench, un système de comparaison novateur qui évalue la précision des images dans différents cadres avec des métriques diverses.

Au lieu de cela, les auteurs du nouveau document suggèrent qu’un meilleur résultat pourrait être obtenu en opposant l’estimation humaine – plutôt que des métriques algorithmiques internes – aux images résultantes, pour établir où se trouvent les faiblesses et ce qui pourrait être fait pour les atténuer.

L’étude

Pour cela, le nouveau projet se base sur des principes psychologiques et cherche à se détourner de l’actuel essor d’intérêt pour l’ingénierie de prompt (qui est, en effet, une concession aux lacunes de DALL-E 2, ou tout système comparable), pour examiner et potentiellement résoudre les limitations qui rendent de telles « solutions » nécessaires.

Le document indique*:

‘Le travail actuel se concentre sur un ensemble de 15 relations de base précédemment décrites, examinées ou proposées dans la littérature cognitive, développementale ou linguistique. L’ensemble contient à la fois des relations spatiales ancrées (par exemple ’X sur Y’), et des relations agencées plus abstraites (par exemple ’X aidant Y’).

‘Les prompts sont intentionnellement simples, sans complexité d’attribut ou d’élaboration. C’est-à-dire qu’au lieu d’un prompt comme ‘un âne et un poulpe jouent à un jeu. Le âne tient une corde à une extrémité, le poulpe tient l’autre. Le âne tient la corde dans sa bouche. Un chat saute par-dessus la corde’, nous utilisons ‘une boîte sur un couteau’.

‘La simplicité capture encore une large gamme de relations à travers divers sous-domaines de la psychologie humaine, et rend les échecs potentiels du modèle plus frappants et spécifiques.’

Pour leur étude, les auteurs ont recruté 169 participants à partir de Prolific, tous situés aux États-Unis, avec une moyenne d’âge de 33 ans et 59 % de femmes.

Les participants ont été présentés avec 18 images organisées dans une grille 3×6 avec le prompt en haut et un avertissement en bas indiquant que toutes, certaines ou aucune des images n’avaient peut-être été générées à partir du prompt affiché, et ont ensuite été invités à sélectionner les images qu’ils pensaient être liées de cette manière.

Les images présentées aux individus étaient basées sur la littérature linguistique, développementale et cognitive, comprenant un ensemble de huit relations physiques et sept relations « agencées » (ce qui deviendra clair dans un instant).

Relations physiques
in, on, under, covering, near, occluded by, hanging over, et tied to.

Relations agencées
pushing, pulling, touching, hitting, kicking, helping, et hindering.

Toutes ces relations ont été tirées des domaines d’étude non-CS mentionnés précédemment.

Onze entités ont ainsi été dérivées pour être utilisées dans les prompts, avec six objets et cinq agents:

Objets
boîte, cylindre, couverture, bol, tasse, et couteau.

Agents
homme, femme, enfant, robot, singe, et iguane.

(Les chercheurs conviennent que l’inclusion de l’iguane, qui n’est pas un élément principal de la recherche sociologique ou psychologique sèche, était ‘un plaisir’)

Pour chaque relation, cinq prompts différents ont été créés en échantillonnant aléatoirement deux entités cinq fois, ce qui a donné 75 prompts au total, chacun soumis à DALL-E 2, et pour chacun desquels les 18 images initiales ont été utilisées, sans variations ni secondes chances autorisées.

Résultats

Le document indique*:

‘Les participants ont en moyenne signalé un faible niveau d’accord entre les images DALL-E 2 et les prompts utilisés pour les générer, avec une moyenne de 22,2 % [18,3, 26,6] sur les 75 prompts distincts.

‘Les prompts agencés, avec une moyenne de 28,4 % [22,8, 34,2] sur 35 prompts, ont généré un accord plus élevé que les prompts physiques, avec une moyenne de 16,9 % [11,9, 23,0] sur 40 prompts.’

Résultats de l’étude. Les points en noir indiquent tous les prompts.

Pour comparer la différence entre la perception humaine et algorithmique des images, les chercheurs ont fait passer leurs images par le cadre CLIP basé sur ViT-L/14 open source d’OpenAI. En moyennant les scores, ils ont trouvé une « relation modérée » entre les deux ensembles de résultats, ce qui est peut-être surprenant, compte tenu de la mesure dans laquelle CLIP lui-même contribue à générer les images.

Résultats de la comparaison CLIP (ViT-L/14) avec les réponses humaines.

Les chercheurs suggèrent que d’autres mécanismes dans l’architecture, peut-être combinés avec une prépondérance (ou un manque) de données dans l’ensemble de formation, peuvent expliquer la façon dont CLIP peut reconnaître les limites de DALL-E sans être capable, dans tous les cas, d’y remédier.

Les auteurs concluent que DALL-E 2 n’a qu’une capacité notionnelle, si elle en a une, à reproduire des images qui intègrent une compréhension relationnelle, un aspect fondamental de l’intelligence humaine qui se développe chez nous très tôt.

‘L’idée que les systèmes comme DALL-E 2 n’ont pas de compositionnalité peut surprendre quiconque a vu les réponses raisonnablement raisonnables de DALL-E 2 à des prompts comme ‘un dessin animé d’un radis daikon bébé en tutu marchant un caniche’. Des prompts de ce type génèrent souvent une approximation sensée d’un concept compositionnel, avec toutes les parties du prompt présentes et présentes aux bons endroits.

‘La compositionnalité, cependant, n’est pas seulement la capacité de coller des choses ensemble – même des choses que vous n’avez peut-être jamais vues ensemble auparavant. La compositionnalité nécessite une compréhension des rules qui lient les choses ensemble. Les relations sont de telles règles.’

L’homme mord le T-Rex

Opinion Alors qu’OpenAI ouvre l’accès à un plus grand nombre d’utilisateurs après sa récente monétisation bêta de DALL-E 2, et puisque l’on doit maintenant payer pour la plupart des générations, les lacunes dans la compréhension relationnelle de DALL-E 2 peuvent devenir plus apparentes à mesure que chaque « tentative ratée » a un poids financier, et que les remboursements ne sont pas disponibles.

Ceux d’entre nous qui ont reçu une invitation un peu plus tôt ont eu le temps (et, jusqu’à récemment, plus de loisirs pour jouer avec le système) d’observer certains des « glitches relationnels » que DALL-E 2 peut émettre.

Par exemple, pour un fan de Jurassic Park, il est très difficile d’obtenir qu’un dinosaure poursuive une personne dans DALL-E 2, même si le concept de « poursuite » ne semble pas être dans le système de censure de DALL-E 2, et même si la longue histoire des films de dinosaures devrait fournir de nombreux exemples de formation (au moins sous la forme de bandes-annonces et de photos de publicité) pour cette rencontre impossible entre espèces.

Une réponse typique de DALL-E 2 au prompt ‘Une photo en couleur d’un T-Rex poursuivant un homme dans la rue’. Source: DALL-E 2

J’ai constaté que les images ci-dessus sont typiques pour les variations sur le prompt « [dinosaure] poursuivant [une personne] », et qu’aucune élaboration du prompt ne peut amener le T-Rex à vraiment se conformer. Dans la première et la deuxième photo, l’homme poursuit le T-Rex; dans la troisième, il s’approche de lui avec un mépris nonchalant pour la sécurité; et dans la dernière image, il court à côté de la grande bête. Sur environ 10-15 tentatives sur ce thème, j’ai constaté que le dinosaure est semblablement « distrait ».

Il se pourrait que les seules données de formation auxquelles DALL-E 2 a pu accéder soient dans la lignée de « l’homme combat le dinosaure », à partir de photos de publicité pour des films plus anciens tels que Un million d’années avant J.-C. (1966), et que la fuite célèbre de Jeff Goldblum face au roi des prédateurs est simplement un cas particulier dans cette petite tranche de données.

* Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois le 4 août 2022.