Enseigner à l’IA à comprendre et à utiliser des images dans le dialogue

Des chercheurs de Corée du Sud ont développé un jeu de données conçu pour aider la recherche sur la compréhension de l’IA de la façon dont les humains utilisent des images dans le dialogue, et pour aider les modèles de langage naturel à participer à ce développement récent dans les communications humaines.

Le document, de KAIST à Daedeok Innopolis, note que la recherche sur de tels systèmes de dialogue multimodaux au cours des dix dernières années a été entravée par des jeux de données et des méthodologies centrées sur des disciplines périphériques au sujet, telles que la question-réponse visuelle et la légende d’image.

Dans ces approches plus anciennes, les images sont évaluées en dehors du contexte lexical d’une conversation, sans compréhension de la façon dont le dialogue est amélioré et développé par les réponses d’images, et sans schéma transversal pour décoder les contributions des éléments visuels au discours.

Les images comme facettes de premier plan du dialogue

De nombreuses approches mentionnées jusqu’à présent ont été des initiatives ou des développements de la branche de recherche en IA de Microsoft, qui en 2017 a également examiné le sujet de conversations multimodales qui sont démarrées par une image, plutôt que d’utiliser librement des images comme composants de dialogue.

Pour remédier au manque de données de recherche, les chercheurs sud-coréens ont développé un jeu de données de 45 000 instances de dialogue impliquant l’utilisation ad hoc d’images, sans se concentrer sur les images de « mème » virales; ces dernières, bien qu’elles soient un domaine d’intérêt dans la recherche linguistique, sont sans doute moins un défi, car le sens des mèmes viraux peut être déduit plus facilement grâce à des milliers d’utilisations en contexte sur les plateformes de médias sociaux.

Développer des illustrations comme substitut du texte

Afin de développer une méthodologie pour la translittération bilatérale mot/phrase > image, les chercheurs sud-coréens ont formé un système d’apprentissage automatique pour substituer des parties d’une conversation basée sur du texte en contenu d’image sémantiquement pertinent.

Architecture du système coréen pour générer un jeu de données pour la recherche sur le dialogue multimodal. Source: https://arxiv.org/pdf/2107.08685.pdf

Le prétraitement des phrases cibles a impliqué la suppression des mots de pause qui pourraient inhiber la prédiction de la réponse suivante dans la conversation, et l’élagage des échanges de qualité inférieure via des filtres de similarité contextuelle.

Pour tester l’utilité du jeu de données, les chercheurs ont configuré un module pour prédire la prochaine « étape » du dialogue en tenant compte du contexte de la conversation et des images impliquées.

L’interface de l’évaluation humaine utilisée dans la recherche.

Cinq jeux de données externes ont été utilisés comme matériau de base pour le jeu de données de 45 000 éléments (qui est disponible sur GitHub). Trois sont des éléments basés sur du texte: DailyDialog, un ensemble de dialogue basé sur du texte annoté manuellement de 2017; et les EmpatheticDialogues et PersonaChat de Facebook, tous deux de 2018. Les deux jeux de données basés sur des images utilisés étaient MS-COCO et Flicker30k.

Paires d’images et de texte – schéma JSON des phrases dans le jeu de données, associées à des images (dans cet exemple) de la base de données d’images COCO de Microsoft.

Le remplacement de texte par image pour le système a été alimenté par le réseau de raisonnement sémantique visuel pré-entraîné (VSRN), développé en 2019 à l’Université Northeastern à Boston. Le VSRN a été configuré pour fonctionner sur des phrases sélectionnées manuellement à partir des jeux de données de texte contributifs.

Établir la cohérence

La cohérence des jeux de données sources a été établie en développant six combinaisons de chaque jeu de données de dialogue, corrélées à des instances dans chaque jeu de données d’images, et évaluées sur plusieurs tours par des humains.

L’évaluation humaine a été basée sur trois critères: la cohérence avec le contexte de l’échange; la pertinence de l’image par rapport au concept central que l’image tentait d’exprimer; et la mesure dans laquelle l’image contenait des objets clés de la phrase cible.

En considérant le dernier critère, on pourrait affirmer que le schéma que les chercheurs ont décidé d’utiliser a largement écarté la possibilité de possibilités humoristiques, sarcastiques, abstraites ou métaphysiques pour la signification sémantique d’une image qui pourrait être injectée dans une conversation textuelle.

Cependant, il s’agit d’un travail fondateur, et il doit commencer quelque part, tandis que des efforts considérables sont déployés ailleurs dans le secteur du traitement automatique des langues (TAL) pour cartographier les instances de sarcasme, entre autres exemples moins tangibles de la relation image/texte.

Test

Pour tester le cadre de génération de données, les chercheurs ont utilisé un modèle de récupération à trois parties basé sur la recherche Image-Chat de Facebook de 2020. Le module comprend Resnext-101 en tant que codeur d’image; le BERT de Google en tant que codeur de texte; et un module de fusion personnalisé pour ceux-ci.

Le système a obtenu 50,35 et 14,38 sur les tâches de prédiction de phrase actuelle et suivante, améliorant la référence pour chaque tâche.

Plus tard, deux chercheurs ont été chargés de créer 100 dialogues multimodaux en insérant des images dans des conversations manuellement, et en exécutant le système contre ces « conversations multimodales organiques ». Le système a pu prédire les échanges actuels et les prochaines étapes avec une grande conscience du contexte, même pour ces exemples ad hoc.

Résultats des tests pour le système de génération de données multimodales coréen, révélant une corrélation élevée et constante entre la similarité texte-image et les scores de questions basés sur l’humain sur les mêmes données.