I GIF di reazione offrono una nuova chiave per il riconoscimento delle emozioni nel NLP

Nuove ricerche condotte a Taiwan offrono un metodo innovativo per l’elaborazione del linguaggio naturale (NLP) per eseguire l’analisi dei sentimenti sui forum dei social media e sui set di dati della ricerca linguistica – categorizzando e etichettando i GIF animati che vengono pubblicati in risposta agli annunci di testo.

I ricercatori, guidati da Boaz Shmueli dell’Università Nazionale di Tsing Hua a Taiwan, hanno utilizzato il database integrato di Twitter dei GIF di reazione come indice per quantificare lo stato affettivo della risposta di un utente, eliminando la necessità di negoziare risposte multiple in più lingue, la sfida di rilevare il sarcasmo, o di identificare la temperatura emotiva fondamentale da risposte ambigue o eccessivamente brevi.

Cliccando il pulsante ‘GIF’ quando si compone un post di Twitter, si offre un set standard di GIF animati etichettati che sono potenzialmente più facili per il NLP da analizzare in ’emozioni identificate’ rispetto al linguaggio testuale semplice.

Il documento caratterizza l’uso dei GIF di reazione in questo modo come ‘un nuovo tipo di etichetta, non ancora disponibile nei set di dati delle emozioni del NLP’, e nota che i set di dati esistenti utilizzano il modello dimensionale delle emozioni o il modello delle emozioni discrete, nessuno dei quali offre questo tipo di approfondimento.

Una risposta GIF animata a un post di un utente. Con il GIF fornito da Twitter ora codificato in termini di stato affettivo, l’ambiguità dell’intento è quasi eliminata. Fonte: https://arxiv.org/pdf/2105.09967.pdf

I ricercatori hanno rilasciato un set di dati di 30.000 tweet sarcastici che contengono reazioni GIF. Questo approccio offre al NLP una distinzione che è assente dalla letteratura corrente: un metodo per distinguere l’emozione percepita (le emozioni che un lettore identifica dal testo) dall’emozione indotta (un sentimento che il lettore sperimenta come reazione al testo).

I GIF di reazione come indicatori riduttivi

In termini di risposta supportiva a un post che condivide uno stato emotivo distressante, un GIF appropriato è utilmente riduttivo e univoco nell’intento, quando pubblicato senza testo di supporto (e sono questi i tipi di risposta GIF su cui si è concentrato lo studio).

Ad esempio, reazioni come ‘È brutale, amico’, ‘È una vergogna’ o ‘Ahhh’ contengono potenziali ambiguità di intento, dalla possibilità di un certo punto di vista ‘clinico’ e non coinvolto fino alla possibilità di sarcasmo; ma la pubblicazione di uno dei centinaia di GIF della categoria ‘abbraccio’ di Twitter lascia meno spazio all’interpretazione:

Scendere nel dettaglio dei sottosignificati di una reazione GIF

Tuttavia, all’interno di una singola categoria di reazione, come ‘abbraccio’, ci sono numerosi indicatori aggiuntivi di umore o punto di vista che comprendono più generi di stato affettivo, incluso il punto di vista di assunzioni romantiche o familiari di relazione tra il rispondente e il post originale.

Rappresentazione dei vari tipi di relazione nella categoria ‘abbraccio’ GIF disponibile su Twitter. L’uso di generi diversi, tropi, rappresentazioni di genere e altri fattori aggiungono granularità alla potenziale interpretazione di una scelta GIF per questo sentimento.

Il set di dati ReactionGIF è stato derivato dai primi 100 GIF in ogni categoria di reazione disponibile su Twitter, portando a un database di 4300 immagini animate. Quando un GIF appare in più di una categoria, la categoria con la posizione più alta nella GUI è pesata più in alto. Le immagini che appaiono in più categorie sono assegnate a un fattore di somiglianza di reazione – una metrica inventata per lo studio.

Le affinità vengono quindi scoperte utilizzando il clustering gerarchico e il collegamento medio.

Aggiungere dati di reazione GIF

Il set di dati è stato generato e etichettato applicando il metodo contro 30.000 tweet. Il ‘segnole affettivo ricco’ di una categoria di reazione ha consentito ai ricercatori di aggiungere al set di dati etichette affettive aggiuntive, basate sui cluster di categorie di reazione positive e negative, e di aggiungere etichette di emozione con uno schema di mappatura dedicato reazioni-emozioni, basato sul verdetto della maggioranza di tre valutatori umani su tweet di campione.

Un lavoro precedente di Yahoo e dell’Università di Rochester, che tratta l’annotazione dei GIF, non ha questo livello di testo sollecitato, né alcuna categoria di reazione, ma è puramente semantico.

I ricercatori hanno valutato il set di dati su quattro approcci: RoBERTa, la rete neurale convoluzionale (CNN) GloVe, un classificatore di regressione logistica e un classificatore di classe di maggioranza semplice. Il peso di convinzione per ogni categoria emerge abbastanza chiaramente nei risultati, con l’approvazione, l’accordo e la condoglianza più facili da identificare (e più rappresentate), e l’apologia più difficile da valutare, forse perché questo include la possibilità di sarcasmo.

Il modello RoBERTa ha generato il punteggio medio più alto testato in tutti e tre i metodi di valutazione, che comprendevano la previsione della reazione affettiva, la previsione del sentimento indotto e la previsione dell’emozione indotta.

Ricavare l’emozione dell’utente dai GIF di reazione

I ricercatori osservano che l’identificazione dell’emozione indotta è una delle sfide più difficili nell’analisi del sentimento e dell’emozione basata sul NLP, e che l’uso dei GIF di reazione come proxy offre la possibilità per progetti futuri di raccogliere ‘grandi quantità di etichette affettive di alta qualità, economiche e naturalmente occorrenti’.

Nonostante si concentri su un locus molto specifico di GIF incorporati nell’esperienza utente di Twitter, lo studio sostiene che questo metodo può generalizzarsi ad altre piattaforme di social media, nonché a piattaforme di messaggistica istantanea, e potenzialmente essere utile in settori come il riconoscimento delle emozioni e la rilevazione multimodale delle emozioni.

La popolarità come indice chiave

L’approccio sembra dipendere da una certa ‘virulenza’ per ogni GIF, come quando un GIF è effettivamente reso disponibile tramite i meccanismi di Twitter. Presumibilmente, i GIF generati dagli utenti non potrebbero entrare in questo ecosistema se non attraverso una maggiore popolarità e adozione come meme.

I GIF di reazione hanno rivitalizzato l’uso del formato GIF animato primitivo del 1987 negli ultimi dieci anni, dopo anni di discredito come un parassita della larghezza di banda (utilizzato principalmente per pubblicità banner fastidiose) nell’era di Internet V1 pre-broadband.