Les GIF de réaction offrent une nouvelle clé pour la reconnaissance des émotions dans le traitement automatique des langues

Des recherches menées à Taiwan proposent une méthode novatrice pour le traitement automatique des langues (TAL) afin de réaliser une analyse des sentiments sur les forums de médias sociaux et les jeux de données de recherche linguistique – en catégorisant et en étiquetant les GIF animés publiés en réponse aux annonces textuelles.

Les chercheurs, dirigés par Boaz Shmueli de l’Université nationale Tsing Hua à Taiwan, ont utilisé la base de données intégrée de Twitter de GIF de réaction comme indice pour quantifier l’état affectif d’une réponse utilisateur, ce qui élimine la nécessité de négocier des réponses multilingues, le défi de détecter le sarcasme, ou d’identifier la température émotionnelle fondamentale à partir de réponses ambiguës ou excessivement brèves.

Cliquez sur le bouton ‘GIF’ lors de la rédaction d’un tweet pour accéder à un ensemble standard de GIF animés étiquetés qui sont potentiellement plus faciles à interpréter pour le TAL que le langage texte ordinaire.

Le document caractérise l’utilisation de GIF de réaction de cette manière comme ‘un nouveau type d’étiquette, non encore disponible dans les jeux de données d’émotion TAL’, et note que les jeux de données existants utilisent soit le modèle dimensionnel d’émotion, soit le modèle d’émotions discrètes, aucun de ces deux modèles n’offrant ce type d’informations.

Un GIF animé en réponse à un message utilisateur. Avec le GIF fourni par Twitter maintenant codifié en termes d’état affectif, l’ambiguïté de l’intention est presque éliminée. Source: https://arxiv.org/pdf/2105.09967.pdf

Les chercheurs ont publié un jeu de données de 30 000 tweets sarcastiques contenant des réactions GIF. Cette approche offre au TAL une distinction qui est absente de la littérature actuelle: une méthode pour distinguer l’émotion perçue (émotions qu’un lecteur identifie dans le texte) de l’émotion induite (un sentiment que le lecteur ressent en réaction au texte).

Les GIF de réaction comme indicateurs réducteurs

En termes de réponse de soutien à un message partageant un état émotionnel difficile, un GIF approprié est utilement réducteur et sans ambiguïté d’intention, lorsqu’il est publié sans texte de soutien (et ce sont les types de réponses GIF que l’étude a concentrés).

Par exemple, des réactions telles que ‘C’est brutal, mec’, ‘C’est une honte’ ou ‘Awww’ contiennent des ambiguïtés potentielles d’intention, allant de la possibilité d’un point de vue ‘clinique’ et non affecté à la possibilité de sarcasme; mais la publication d’un des centaines de GIF de ‘hug’ de Twitter laisse moins de place à l’interprétation:

Creuser dans les sous-sens d’une réaction GIF

Néanmoins, au sein d’une seule catégorie de réaction, telle que ‘hug’, il existe de nombreux indicateurs supplémentaires de l’humeur ou du point de vue, englobant de multiples genres d’états affectifs, y compris le point de vue des hypothèses romantiques ou familiales de relation entre le répondant et l’auteur initial.

Représentation de divers types de relations dans la catégorie de GIF ‘hug’ disponible sur Twitter. L’utilisation de genres, de tropes, de représentations de genre et d’autres facteurs ajoute de la granularité à l’interprétation potentielle d’un choix de GIF pour ce sentiment.

Le jeu de données ReactionGIF a été dérivé des 100 premiers GIF de chaque catégorie de réaction disponible sur Twitter, aboutissant à une base de données de 4300 images animées. Lorsqu’un GIF apparaît dans plusieurs catégories, la catégorie avec la position la plus élevée dans l’interface utilisateur est pondérée plus fortement. Les images qui apparaissent dans plusieurs catégories sont attribuées à un facteur de similarité de réaction – une mesure inventée pour l’étude.

Les affinités sont ensuite découvertes à l’aide d’un regroupement hiérarchique et d’un lien moyen.

Augmenter les données de GIF de réaction

Le jeu de données a été généré et étiqueté en appliquant la méthode à 30 000 tweets. Le ‘signal affectif riche’ d’une catégorie de réaction a permis aux chercheurs d’augmenter le jeu de données avec des étiquettes affectives supplémentaires, basées sur les clusters de catégories de réaction positives et négatives, et d’ajouter des étiquettes d’émotion avec un schéma de mappage dédié de réactions à émotions, basé sur le verdict majoritaire de trois évaluateurs humains sur des tweets échantillons.

Des travaux antérieurs de Yahoo et de l’Université de Rochester, qui traitent de l’annotation de GIF, ne disposent pas de cette couche de texte éliciteur, ni de catégories de réaction, mais sont purement sémantiques.

Les chercheurs ont évalué le jeu de données à travers quatre approches: RoBERTa, le réseau de neurones convolutionnel (CNN) GloVe, un classificateur de régression logistique et un classificateur de classe majoritaire simple. Le poids de conviction pour chaque catégorie émerge clairement dans les résultats, avec l’approbation, l’accord et la commisération les plus faciles à identifier (et les plus représentés), et les excuses les plus difficiles à évaluer, peut-être parce que cela inclut la possibilité de sarcasme.

Le modèle RoBERTa a généré le classement moyen le plus élevé testé à travers les trois méthodes d’évaluation, qui comprenaient la prédiction de réaction affective, la prédiction de sentiment induit et la prédiction d’émotion induite.

Extraire l’émotion utilisateur à partir des GIF de réaction

Les chercheurs observent que l’identification de l’émotion induite est l’une des tâches les plus difficiles dans l’analyse des sentiments et des émotions basée sur le TAL, et que l’utilisation de GIF de réaction comme proxy offre la possibilité pour les projets ultérieurs de collecter ‘de grandes quantités d’étiquettes affectives bon marché, naturelles et de haute qualité’.

Malgré la concentration sur un locus très spécifique de GIF intégrés dans l’expérience utilisateur de Twitter, l’étude soutient que cette méthode peut se généraliser à d’autres plateformes de médias sociaux, ainsi qu’à des plateformes de messagerie instantanée, et potentiellement être utile dans des secteurs tels que la reconnaissance des émotions et la détection multimodale des émotions.

La popularité comme indice clé

L’approche semble reposer sur une certaine ‘virulence’ pour chaque GIF, comme lorsqu’un GIF est réellement mis à disposition via les mécanismes de Twitter. Présomptivement, les GIF novateurs générés par les utilisateurs ne pourraient pas entrer dans cet écosystème sauf par une popularité et une adoption accrues en tant que mème.

Les GIF de réaction ont rétabli l’utilisation du format de GIF animé primitif de 1987 au cours des dix dernières années, après des années de discrédit en tant que goulot d’étranglement de bande passante (principalement utilisé pour les publicités de bannière ennuyeuses) dans l’ère Internet V1 pré-haut débit.