Comprendre les émoticônes Twitch dans l'analyse des sentiments

Le public utilisation croissante des émoticônes, émoticônes, emotes, mèmes, GIF et autres moyens non verbaux de communiquer sur les plateformes de médias sociaux a, ces dernières années, de plus en plus déconcerté les efforts des scientifiques des données pour comprendre le paysage sociologique mondial ; du moins, dans la mesure où les tendances sociologiques mondiales peuvent être discernées à partir du discours public.

Bien que le traitement du langage naturel (NLP) soit devenu un outil puissant d'analyse des sentiments au cours de la dernière décennie, le secteur a du mal non seulement à suivre le rythme lexique en constante évolution d'argot et de raccourcis linguistiques dans plusieurs langues, mais aussi en essayant de décoder le sens de basé sur l'image publications sur des plateformes de médias sociaux telles que Facebook et Twitter.

Depuis l' nombre limité Étant donné que les plateformes de médias sociaux très peuplées sont la seule ressource véritablement à grande échelle pour ce type de recherche, il est essentiel que le secteur de l'IA tente au moins de suivre le rythme.

En juillet, un journal de Taïwan proposait une nouvelle méthode catégoriser le sentiment des utilisateurs en fonction des « GIF de réaction » publiés sur les réseaux sociaux (voir image ci-dessous), en utilisant une base de données de 30,000 XNUMX tweets pour développer un moyen de prédire les réactions à une publication. L'étude a révélé que les réponses basées sur des images sont, à bien des égards, plus faciles à évaluer, car elles sont moins susceptibles de contenir du sarcasme. défi notable dans l'analyse des sentiments.

Des chercheurs de Taïwan ont étudié l'utilisation de GIF de réaction animés comme « indicateurs réducteurs » de sentiment dans un article de 2021.

Plus tôt cette année, un effort de recherche mené par l'Université de Boston modèles d'apprentissage automatique entraînés pour prédire les mèmes d'images susceptibles de devenir viraux sur Twitter ; et en août, des chercheurs britanniques ont examiné la croissance des emojis par rapport aux émoticônes (il y a un différence) sur les réseaux sociaux, compilant un ensemble de données à grande échelle en 7 langues sur les sentiments pictographiques de Twitter.

Émotes Twitch

Aujourd’hui, des chercheurs américains ont développé une méthodologie d’apprentissage automatique pour mieux comprendre, catégoriser et mesurer le pseudo-lexique en constante évolution de émoticônes sur le très populaire réseau Twitch.

Les émoticônes sont des néologismes utilisés sur Twitch pour exprimer une émotion, une humeur ou des blagues. Puisqu'il s'agit par définition d'expressions nouvelles, le défi pour un système d'apprentissage automatique n'est pas nécessairement de cataloguer sans cesse de nouvelles émoticônes (qui peuvent n'être utilisées qu'une seule fois, ou tomber rapidement en désuétude), mais de mieux comprendre le cadre qui les génère sans cesse ; et de développer des systèmes capables de reconnaître une émoticône comme un mot ou une expression composée « temporairement valide » dont la charge émotionnelle/politique peut nécessiter d'être évaluée entièrement à partir du contexte.

Voisins de l'émote « FeelsGoodMan », dont la signification peut être modifiée par des suffixes obscurs. Source : https://arxiv.org/pdf/2108.08411.pdf

Construction papier est intitulé FeelsGoodMan : déduire la sémantique des néologismes Twitch, et vient de trois chercheurs de Spiketrap, une société d'analyse des médias sociaux à San Francisco.

Appât et commutateur

Malgré leur nouveauté et leurs vies souvent brèves, les émoticônes Twitch recyclent fréquemment le matériel culturel (y compris les émoticônes plus anciennes) d'une manière qui peut orienter les cadres d'analyse des sentiments dans la mauvaise direction. Retracer le changement de sens d'une emote au fur et à mesure de son évolution peut même révéler une inversion ou une négation complète de son sentiment ou de son intention d'origine.

Par exemple, les chercheurs notent que l'alt-right original une mauvaise utilisation de l'éponyme Se sentBienHomme Le mème Pepe-the-frog a presque complètement perdu sa saveur politique d'origine dans le contexte de son utilisation sur Twitch.

L'utilisation de la phrase, ainsi que l'image d'une grenouille dessinée d'une bande dessinée de 2005 de l'artiste Matt Furie, est devenu un mème d'extrême droite dans les années 2010. Bien que Vox écrit en 2017, que l'appropriation du mème par la droite avait survécu à l'auto-affirmation de Furie dissociation avec une telle utilisation, les chercheurs de San Francisco à l'origine du nouveau document ont découvert le contraire* :

« La grenouille dessinée de Furie a été adoptée par des affiches de droite sur divers forums en ligne comme 4chan au début des années 2010. Depuis lors, Furie a fait campagne pour récupérer le sens de son personnage, et l'emote a connu une recrudescence de plus en plus grand public. utilisation non haineuse et une utilisation positive sur Twitch. Nos résultats sur Twitch concordent, montrant que « FeelsGoodMan » et son homologue « FeelsBadMan » sont principalement utilisés au sens littéral.

Problème en aval

Ce type de leurre concernant les caractéristiques générales d'un mème peut entraver les projets de recherche en PNL qui l'ont déjà classé comme « haineux », « d'extrême droite » ou « nationaliste [américain] », et qui ont stocké ces informations dans des référentiels open source de longue date. Les projets de PNL ultérieurs pourraient ne pas choisir de vérifier l'actualité des données plus anciennes ; pourraient ne pas disposer de mécanisme pratique pour le faire ; et pourraient même ne pas en être conscients.

Le résultat de ceci est que l'utilisation d'ensembles de données basés sur Twitch 2017 pour formuler un algorithme de « catégorisation politique » attribuerait une activité alt-right notable sur Twitch, en fonction de la fréquence de la Se sentBienHomme emote. Twitch peut être ou ne pas être plein d'influenceurs alt-right, mais, selon les chercheurs du nouveau document, vous ne pouvez pas le prouver par la grenouille.

La signification politique du mème « Pepe » semble avoir été négligemment écartée par les 140 millions d'utilisateurs de Twitch (dont 41 % ont moins de 24 ans), qui ont effectivement re-volé l'œuvre aux voleurs d'origine et l'ont peinte à leurs propres couleurs, sans intention particulière.

Méthode et données

Les chercheurs ont découvert que les données d'émoticônes Twitch étiquetées étaient « pratiquement inexistantes », malgré la conclusion d'une étude antérieure qu'il y a huit millions d'emotes au total, et 400,000 XNUMX étaient présents au cours de la seule semaine de sortie de Twitch au cours de la semaine choisie par ces premiers chercheurs.

A étude de 2017 l'adressage de la prédiction des emotes sur Twitch s'est limité à prédire uniquement les 30 meilleurs emotes Twitch, obtenant seulement 0.39 pour la prédiction des emotes.

Pour pallier ce manque, les chercheurs de San Francisco ont adopté une nouvelle approche des données plus anciennes, en les répartissant à 80/20 entre entraînement et tests, et en appliquant des méthodes d'apprentissage automatique « traditionnelles », jamais utilisées auparavant pour étudier les données Twitch. Ces méthodes comprenaient : Naïf Bayes (N.-B.), Forêt aléatoire (FR), Soutenir la machine vectorielle (SVM, avec noyaux linéaires), et Régression logistique.

Cette approche a surpassé les précédentes références de sentiment de Twitch de 63.8 % et a permis aux chercheurs de développer ultérieurement le cadre LOOVE (Learning Out Of Vocabulary Emotions), capable d'identifier les néologismes et d'« enrichir » les modèles existants avec ces nouvelles définitions.

Architecture du framework LOOVE (Learning Out Of Vocabulary Emotions) développé par les chercheurs.

LOOVE facilite la formation non supervisée des incorporations de mots et permet également un recyclage et un ajustement périodiques, évitant ainsi le besoin d'ensembles de données étiquetés, ce qui serait logistiquement peu pratique, compte tenu de l'ampleur de la tâche et de l'évolution rapide des emotes.

Au service du projet, les chercheurs qualifié un « pseudo-dictionnaire » d'émoticônes sur un ensemble de données Twitch non étiqueté, générant au passage 444,714 XNUMX intégrations de mots, d'émoticônes, d'émojis et d'émoticônes.

De plus, ils ont augmenté un Lexique VADER avec un lexique des emoji/émoticônes, et en plus de l'ensemble de données CE susmentionné, a également exploité trois autres ensembles de données accessibles au public pour ternaire classification des sentiments, de Twitter, Rotten Tomatoes et un échantillon de données YELP.

Compte tenu de la grande variété de méthodologies et d'ensembles de données utilisés dans l'étude, les résultats sont variés, mais les chercheurs affirment que leur meilleure référence a surpassé la mesure précédente la plus proche de 7.36 points de pourcentage.

Les chercheurs considèrent que la valeur continue du projet est le développement de LOOVE, basé sur des intégrations mot-à-vecteur (W2V) formées sur plus de 313 millions de messages de chat Twitch avec l'aide de Voisin le plus proche K (KNN).

Les auteurs concluent:

L'une des fonctionnalités clés du framework est un pseudo-dictionnaire d'émoticônes permettant de déduire les sentiments d'émoticônes inconnues. Grâce à ce pseudo-dictionnaire, nous avons créé une table de sentiments pour 22,507 XNUMX émoticônes. Il s'agit du premier cas de compréhension d'émoticônes à cette échelle.

* Ma conversion des citations en ligne en hyperliens.