I GIF di reazione offrono una nuova chiave per il riconoscimento delle emozioni nel NLP

Una nuova ricerca proveniente da Taiwan offre un metodo innovativo per l’elaborazione del linguaggio naturale (NLP) per eseguire l’analisi del sentimento sui forum dei social media e sui set di dati di ricerca linguistica – categorizzando e etichettando GIF animati pubblicati in risposta agli annunci di testo.

I ricercatori, guidati da Boaz Shmueli dell’Università Nazionale di Tsing Hua a Taiwan, hanno utilizzato il database integrato di Twitter di GIF di reazione come indice per quantificare lo stato affettivo di una risposta dell’utente, eliminando la necessità di negoziare molteplici risposte linguistiche, la sfida di rilevare il sarcasmo, o di identificare la temperatura emotiva fondamentale da risposte ambigue o eccessivamente brevi.

Cliccando il pulsante ‘GIF’ quando si compone un post di Twitter, si offre un set standard di GIF animate etichettate che sono potenzialmente più facili da interpretare per il NLP come ’emozioni identificate’ rispetto al linguaggio testuale.

Il documento caratterizza l’uso di GIF di reazione in questo modo come ‘un nuovo tipo di etichetta, non ancora disponibile nei set di dati di emozioni del NLP’, e nota che i set di dati esistenti utilizzano il modello dimensionale delle emozioni o il modello di emozioni discrete, nessuno dei quali offre questo tipo di insight.

Una GIF animata in risposta a un post di un utente. Con la GIF di Twitter ora codificata in termini di stato affettivo, l’ambiguità di intento è quasi rimossa. Fonte: https://arxiv.org/pdf/2105.09967.pdf

I ricercatori hanno rilasciato un set di dati di 30.000 tweet sarcastici che contengono reazioni GIF. Questo approccio offre al NLP una distinzione che è assente dalla letteratura corrente: un metodo per distinguere l’emozione percepita (le emozioni che un lettore identifica dal testo) dall’emozione indotta (un sentimento che il lettore sperimenta come reazione al testo).

GIF di reazione come indicatori riduttivi

In termini di risposta supportiva a un post che condivide uno stato emotivo distressante, un GIF appropriato è utilmente riduttivo e univoco nell’intento, quando pubblicato senza testo di supporto (e sono questi i tipi di risposta GIF che lo studio si è concentrato su).

Ad esempio, reazioni come ‘È brutale, amico’, ‘È una vergogna’ o ‘Ahhh’ contengono potenziali ambiguità di intento, dalla possibilità di un certo punto di vista ‘clinico’ e non coinvolto fino alla possibilità di sarcasmo; ma la pubblicazione di uno dei molti GIF della categoria ‘abbraccio’ di Twitter lascia meno spazio all’interpretazione:

Approfondimento dei sottosignificati di una reazione GIF

Tuttavia, all’interno di una singola categoria di reazione, come ‘abbraccio’, ci sono numerosi indicatori aggiuntivi di umore o punto di vista che abbracciano molteplici generi di stato affettivo, compreso il punto di vista di assunzioni romantiche o familiari di relazione tra il rispondente e il poster originale.

Rappresentazione dei vari tipi di relazione nella categoria ‘abbraccio’ di Twitter. L’uso di generi diversi, tropi, rappresentazioni di genere e altri fattori aggiunge granularità alla potenziale interpretazione di una scelta GIF per questo sentimento.

Il set di dati ReactionGIF è stato derivato dai primi 100 GIF in ogni categoria di reazione disponibile su Twitter, portando a un database di 4300 immagini animate. Quando un GIF appare in più di una categoria, la categoria con la posizione più alta nella GUI è pesata più in alto. Le immagini che appaiono in più categorie sono assegnate a un fattore di somiglianza di reazione – una metrica inventata per lo studio.

Le affinità vengono quindi scoperte utilizzando il clustering gerarchico e il collegamento medio.

Integrazione dei dati GIF di reazione

Il set di dati è stato generato e etichettato applicando il metodo contro 30.000 tweet. Il ‘ricco segnale affettivo’ di una categoria di reazione ha consentito ai ricercatori di integrare il set di dati con etichette affettive aggiuntive, basate sui cluster di categorie di reazione positive e negative, e di aggiungere etichette di emozione con uno schema di mappatura delle reazioni alle emozioni dedicato, basato sul verdetto di maggioranza di tre valutatori umani su tweet di campione.

Un lavoro precedente di Yahoo e dell’Università di Rochester, che tratta l’annotazione dei GIF, non ha questo livello di testo sollecitato, né alcuna categoria di reazione, ma è puramente semantico.

I ricercatori hanno valutato il set di dati attraverso quattro approcci: RoBERTa, la rete neurale convoluzionale (CNN) GloVe, un classificatore di regressione logistica e un classificatore di classe di maggioranza semplice. Il peso di convinzione per ogni categoria emerge abbastanza chiaramente nei risultati, con approvazione, accordo e condoglianza più facili da identificare (e più rappresentati), e scusa più difficile da valutare, forse poiché questo include la possibilità di sarcasmo.

Il modello RoBERTa ha generato la media di classificazione più alta testata attraverso tutti e tre i metodi di valutazione, che comprendevano la previsione della reazione affettiva, la previsione del sentimento indotto e la previsione dell’emozione indotta.

Rilevamento dell’emozione dell’utente dai GIF di reazione

I ricercatori osservano che l’identificazione dell’emozione indotta è una delle sfide più difficili nell’analisi del sentimento e dell’emozione basata sul NLP, e che l’uso dei GIF di reazione come proxy offre la possibilità per progetti successivi di raccogliere ‘grandi quantità di etichette affettive di alta qualità, a basso costo e naturalmente presenti’.

Nonostante si concentri su un locus molto specifico di GIF incorporati nell’esperienza utente di Twitter, lo studio sostiene che questo metodo può generalizzarsi ad altre piattaforme di social media, nonché a piattaforme di messaggistica istantanea, e potenzialmente essere utile in settori come il riconoscimento delle emozioni e la rilevazione delle emozioni multimodali.

La popolarità come indice chiave

L’approccio sembra dipendere da una certa ‘virality’ per ogni GIF, come quando un GIF viene effettivamente reso disponibile tramite i meccanismi di Twitter. Presumibilmente, i GIF generati dagli utenti non possono entrare in questo ecosistema se non attraverso una maggiore popolarità e adozione come meme.

I GIF di reazione hanno rivitalizzato l’uso del formato GIF animato primitivo del 1987 negli ultimi dieci anni, successivamente a anni di discredito come un mostro della larghezza di banda (utilizzato principalmente per pubblicità banner fastidiose) nell’era pre-broadband di Internet V1.