Les GIFs de réaction offrent une nouvelle clé pour la reconnaissance des émotions dans le NLP

De nouvelles recherches menées à Taiwan offrent une méthode novatrice pour le traitement automatique des langues (NLP) afin de réaliser une analyse des sentiments sur les forums de médias sociaux et les jeux de données de recherche linguistique – en catégorisant et en étiquetant les GIFs animés publiés en réponse aux annonces textuelles.

Les chercheurs, dirigés par Boaz Shmueli de l’Université nationale Tsing Hua à Taiwan, ont utilisé la base de données intégrée de Twitter de GIFs de réaction comme un index pour quantifier l’état affectif d’une réponse utilisateur, éliminant ainsi la nécessité de négocier des réponses multilingues, le défi de détecter le sarcasme, ou d’identifier la température émotionnelle centrale à partir de réponses ambiguës ou excessivement brèves.

Cliquez sur le bouton ‘GIF’ lors de la composition d’un message Twitter pour obtenir un ensemble standard de GIFs animés étiquetés qui sont potentiellement plus faciles pour le NLP à analyser en ‘émotions identifiées’ qu’un langage texte simple.

Le document caractérise l’utilisation de GIFs de réaction de cette manière comme ‘un nouveau type d’étiquette, non encore disponible dans les jeux de données d’émotions NLP’, et note que les jeux de données existants utilisent soit le modèle dimensionnel des émotions, soit le modèle d’émotions discrètes, aucun de ces deux modèles n’offrant ce type de perspicacité.

Une réponse GIF animée à un message utilisateur. Avec le GIF fourni par Twitter maintenant codifié en termes d’état affectif, l’ambiguïté de l’intention est presque éliminée. Source : https://arxiv.org/pdf/2105.09967.pdf

Les chercheurs ont publié un jeu de données de 30 000 tweets sarcastiques contenant des réactions GIF. Cette approche offre au NLP une distinction qui est absente de la littérature actuelle : une méthode pour distinguer l’émotion perçue (les émotions qu’un lecteur identifie à partir du texte) de l’émotion induite (un sentiment que le lecteur ressent comme une réaction au texte).

Les GIFs de réaction comme indicateurs réducteurs

En termes de réponse de soutien à un message partageant un état émotionnel troublant, un GIF approprié est utilement réducteur et sans ambiguïté dans son intention, lorsqu’il est publié sans texte de soutien (et ce sont les types de réponses GIF que l’étude s’est concentrée).

Par exemple, des réactions telles que ‘C’est brutal, mec’, ‘C’est une honte’, ou ‘Awww’ contiennent des ambiguïtés potentielles d’intention, allant de la possibilité d’un certain point de vue ‘clinique’ et non affecté à la possibilité du sarcasme ; mais la publication d’un des centaines de GIFs de la catégorie ‘hug’ de Twitter laisse moins de place à l’interprétation :

Creuser les sous-sens des réactions GIF

Cependant, au sein d’une seule catégorie de réaction, telle que ‘hug’, il existe de nombreux indicateurs supplémentaires de l’humeur ou du point de vue, englobant de multiples genres d’états affectifs, y compris le point de vue des hypothèses romantiques ou familiales de relation entre le répondant et l’auteur initial.

Représentation de divers types de relations dans la catégorie de GIF ‘hug’ disponible sur Twitter. L’utilisation de genres divers, de tropes, de représentations de genre et d’autres facteurs ajoute de la granularité à l’interprétabilité potentielle d’un GIF pour ce sentiment.

Le jeu de données ReactionGIF a été dérivé des 100 premiers GIFs de chaque catégorie de réaction disponible sur Twitter, aboutissant à une base de données de 4300 images animées. Lorsqu’un GIF apparaît dans plusieurs catégories, la catégorie avec le placement le plus élevé dans l’interface graphique utilisateur est pondérée plus fortement. Les images qui apparaissent dans plusieurs catégories sont attribuées à un facteur de similarité de réaction – une mesure inventée pour l’étude.

Les affinités sont ensuite découvertes à l’aide d’un regroupement hiérarchique et d’un lien moyen.

Augmenter les données de réaction GIF

Le jeu de données a été généré et étiqueté en appliquant la méthode contre 30 000 tweets. Le ‘signal affectif riche’ d’une catégorie de réaction a permis aux chercheurs d’augmenter le jeu de données avec des étiquettes affectives supplémentaires, basées sur les clusters de catégories de réaction positive et négative, et d’ajouter des étiquettes d’émotion avec un schéma de mappage dédié de réactions à émotions, basé sur le verdict majoritaire de trois évaluateurs humains sur des tweets échantillons.

Des travaux antérieurs travaux de Yahoo et de l’Université de Rochester, qui traitent de l’annotation de GIFs, ne disposent pas de cette couche de texte élicité, ni de catégories de réaction, mais sont purement sémantiques.

Les chercheurs ont évalué le jeu de données sur quatre approches : RoBERTa, le réseau de neurones convolutifs (CNN) GloVe, un classificateur de régression logistique, et un classificateur de classe majoritaire simple. Le poids de conviction pour chaque catégorie émerge clairement dans les résultats, avec l’approbation, l’accord et la commisération les plus faciles à identifier (et les plus représentés), et les excuses les plus difficiles à évaluer, peut-être parce que cela inclut la possibilité du sarcasme.

Le modèle RoBERTa a généré le classement moyen le plus élevé testé sur les trois méthodes d’évaluation, qui comprenaient la prédiction de réaction affective, la prédiction de sentiment induit et la prédiction d’émotion induite.

Extraire l’émotion utilisateur à partir des GIFs de réaction

Les chercheurs observent que l’identification de l’émotion induite est l’une des tâches les plus difficiles dans l’analyse des sentiments et des émotions basée sur le NLP, et que l’utilisation de GIFs de réaction comme proxy offre la possibilité pour les projets ultérieurs de collecter ‘de grandes quantités d’étiquettes affectives peu coûteuses, naturelles et de haute qualité’.

Malgré la concentration sur un locus très spécifique de GIFs intégrés dans l’expérience utilisateur de Twitter, l’étude soutient que cette méthode peut se généraliser à d’autres plateformes de médias sociaux, ainsi qu’à des plateformes de messagerie instantanée, et potentiellement être utile dans des secteurs tels que la reconnaissance des émotions et la détection multimodale des émotions.

La popularité comme indice clé

L’approche semble reposer sur une certaine ‘virulence’ pour chaque GIF, comme lorsque un GIF est réellement mis à disposition via les mécanismes de Twitter. Présument, les GIFs novateurs générés par les utilisateurs ne pourraient pas entrer dans cet écosystème sauf par une popularité et une adoption accrues en tant que mème.

Les GIFs de réaction ont revu l’utilisation du format de GIF animé primitif de 1987 au cours des dix dernières années, suite à des années de discrédit en tant que parasite de bande passante (principalement utilisé pour les publicités de bannière ennuyeuses) à l’époque de l’Internet V1 pré-haute vitesse.