Comprendere gli Emotes di Twitch nell’Analisi del Sentimento

L’utilizzo crescente da parte del pubblico di emoji, emoticon, emotes, meme, GIF e altri modi non verbali per comunicare sui social media ha, negli ultimi anni, sempre più confuso gli sforzi dei data scientist per comprendere il panorama sociologico globale; almeno, nella misura in cui le tendenze sociologiche mondiali possono essere desunte dal discorso pubblico.

Sebbene il Natural Language Processing (NLP) sia diventato uno strumento potente nell’analisi del sentimento nell’ultimo decennio, il settore ha difficoltà non solo a tenere il passo con un lessico sempre in evoluzione di slang e scorciatoie linguistiche in più lingue, ma anche nel tentativo di decodificare il significato di post basati su immagini sui social media come Facebook e Twitter.

Dato che il numero limitato di piattaforme social molto popolose sono l’unica risorsa iperscalabile per questo tipo di ricerca, è essenziale per il settore AI almeno tentare di mantenere il passo con esso.

A luglio, un articolo di ricerca di Taiwan ha offerto un nuovo metodo per categorizzare il sentimento degli utenti in base ai ‘reaction GIF’ pubblicati sui thread dei social media (vedi immagine sotto), utilizzando un database di 30.000 tweet per sviluppare un modo per prevedere le reazioni a un post. L’articolo ha scoperto che le risposte basate su immagini sono in molti modi più facili da valutare, poiché è meno probabile che contengano sarcasmo, una nota sfida nell’analisi del sentimento.

Ricercatori di Taiwan hanno studiato l’utilizzo di animated reaction GIF come ‘indicatori riduttivi’ del sentimento in un articolo del 2021.

All’inizio di quest’anno, uno sforzo di ricerca guidato dalla Boston University ha addestrato modelli di machine learning per prevedere meme di immagini che probabilmente diventeranno virali su Twitter; e ad agosto, ricercatori britannici hanno esaminato la crescita degli emoji in confronto agli emoticon (c’è una differenza) sui social media, compilando un dataset su larga scala di 7 lingue di sentiment di Twitter basato su immagini.

Emotes di Twitch

Ora, ricercatori statunitensi hanno sviluppato una metodologia di machine learning per comprendere meglio, categorizzare e misurare il pseudo-lessico sempre in evoluzione di emotes sulla rete Twitch molto popolare.

Gli emotes sono neologismi utilizzati su Twitch per esprimere emozione, umore o inside joke. Poiché sono per definizione nuove espressioni, la sfida per un sistema di machine learning non è necessariamente quella di catalogare all’infinito nuovi emotes (che potrebbero essere utilizzati solo una volta, o altrimenti cadere rapidamente in disuso), ma quella di acquisire una migliore comprensione del framework che genera costantemente questi emotes; e sviluppare sistemi in grado di riconoscere un emote come una ‘parola o frase composta temporaneamente valida’ la cui temperatura emotiva/politica potrebbe aver bisogno di essere valutata interamente dal contesto.

Vicini dell’emote ‘FeelsGoodMan’, il cui significato può essere alterato da suffissi oscuri. Fonte: https://arxiv.org/pdf/2108.08411.pdf

L’articolo si intitola FeelsGoodMan: Inferenza delle Semantica degli Neologismi di Twitch, e proviene da tre ricercatori di Spiketrap, una società di analisi dei social media a San Francisco.

Bait and Switch

Nonostante la loro novità e la vita spesso breve, gli emotes di Twitch riciclano frequentemente materiale culturale (inclusi emotes più vecchi) in un modo che può indirizzare i framework di analisi del sentimento nella direzione sbagliata. Tracciare il cambiamento del significato di un emote mentre evolve può anche rivelare un’inversione o negazione completa del suo sentimento o intento originale.

Ad esempio, i ricercatori notano che l’uso originale dell’emote FeelsGoodMan da parte dell’alt-right è stato quasi completamente perso nel contesto del suo utilizzo su Twitch.

L’uso della frase, insieme a un’immagine di un cartone animato di un ranocchio del 2005 dell’artista Matt Furie, è diventato un meme dell’estrema destra negli anni 2010. Sebbene Vox abbia scritto nel 2017 che l’appropriazione del meme da parte della destra era sopravvissuta alla disassociazione di Furie da tale utilizzo, i ricercatori di San Francisco dietro il nuovo articolo hanno scoperto il contrario*:

‘Il ranocchio a fumetti di Furie è stato adottato da utenti di destra su vari forum online come 4chan all’inizio degli anni 2010. Da allora, Furie ha fatto campagna per riappropriarsi del significato del suo personaggio, e l’emote ha visto un aumento nell’utilizzo più mainstream e positivo su Twitch. I nostri risultati su Twitch concordano, mostrando che “FeelsGoodMan” e il suo contrario “FeelsBadMan” sono utilizzati principalmente in modo letterale.’

Trouble Downstream

Questo tipo di ‘bait and switch’ riguardo alle caratteristiche generalizzate di un meme può ostacolare i progetti di ricerca NLP che hanno già categorizzato come ‘odioso’, ‘di destra’ o ‘nazionalista [US]’, e che hanno scaricato quelle informazioni in repository open source a lungo termine. I progetti NLP successivi potrebbero non scegliere di verificare la valuta dei dati più vecchi; potrebbero non avere un meccanismo pratico per farlo; e potrebbero non essere nemmeno consapevoli della necessità.

La conseguenza di ciò è che utilizzare dataset di Twitch del 2017 per formulare un algoritmo di ‘categorizzazione politica’ attribuirebbe un’attività di destra notevole su Twitch, in base alla frequenza dell’emote FeelsGoodMan. Twitch potrebbe o non potrebbe essere pieno di influencer di destra, ma, secondo i ricercatori del nuovo articolo, non si può dimostrare con il ranocchio.

Il significato politico del meme ‘Pepe’ sembra essere stato casualmente scartato dagli utenti di Twitch, che hanno di fatto riappropriato l’opera dai ladri originali e l’hanno dipinta con i propri colori, senza alcun particolare obiettivo.

Metodo e Dati

I ricercatori hanno scoperto che i dati etichettati degli emotes di Twitch erano ‘virtualmente inesistenti’, nonostante la conclusione di uno studio precedente che ci sono otto milioni di emotes totali, e 400.000 erano presenti in una sola settimana di output di Twitch nella settimana scelta da quei ricercatori precedenti.

<p Uno studio del 2017 sull’emote prediction su Twitch si è limitato a prevedere solo i primi 30 emotes di Twitch, con un punteggio di solo 0,39 per la previsione degli emotes.

Per affrontare la carenza, i ricercatori di San Francisco hanno adottato un nuovo approccio ai dati più vecchi, dividendo i dati per l’80% per l’addestramento e il 20% per il test, e applicando metodi di machine learning ‘tradizionali’, che non erano stati utilizzati prima per studiare i dati di Twitch. Questi metodi includevano Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM, con kernel lineari), e Logistic Regression.

Questo approccio ha superato le precedenti basi di sentiment di Twitch del 63,8%, e ha consentito ai ricercatori di sviluppare successivamente il framework LOOVE (Learning Out Of Vocabulary Emotions), che è in grado di identificare neologismi e ‘arricchire’ i modelli esistenti con queste nuove definizioni.

Architettura del framework LOOVE (Learning Out Of Vocabulary Emotions) sviluppato dai ricercatori.

LOOVE facilita l’addestramento non supervisionato degli embedding di parole, e consente anche la ritrattazione periodica e la fine-tuning, eliminando la necessità di dataset etichettati, che sarebbero logisticamente impraticabili, considerata la scala del compito e l’evoluzione rapida degli emotes.

Nell’ambito del progetto, i ricercatori hanno addestrato un ‘Pseudo-Dictionary’ di emotes su un dataset non etichettato di Twitch, generando 444.714 embedding di parole, emotes, emoji e emoticon.

Inoltre, hanno integrato un lessico VADER con un lessico di emoji/emoticon, e, oltre al già menzionato dataset EC, hanno sfruttato altri tre dataset pubblici per la classificazione del sentimento ternario, da Twitter, Rotten Tomatoes e un dataset YELP campionato.

Considerata la grande varietà di metodologie e dataset utilizzati nello studio, i risultati sono variegati, ma i ricercatori affermano che il loro miglior baseline ha superato il metrico precedente di 7,36 punti percentuali.

I ricercatori ritengono che il valore continuo del progetto sia lo sviluppo di LOOVE, basato su embedding word-to-vector (W2V) addestrati su oltre 313 milioni di messaggi di chat di Twitch con l’aiuto di K-Nearest Neighbor (KNN).

Gli autori concludono:

‘Una caratteristica trainante del framework è un emote pseudo-dictionary che può essere utilizzato per derivare il sentimento per emotes sconosciuti. Utilizzando questo emote pseudo-dictionary, abbiamo creato una tabella del sentimento per 22.507 emotes. Questo è il primo caso di comprensione degli emotes su questa scala.’

* La mia conversione delle citazioni in linea in collegamenti ipertestuali.