GIF-urile de reacție oferă o cheie nouă pentru recunoașterea emoțiilor în NLP

O nouă cercetare din Taiwan oferă o metodă inovatoare pentru Procesarea Limbajului Natural (NLP) de a efectua analiza sentimentului pe forumurile de socializare și seturile de date de cercetare a limbajului – prin categorizarea și etichetarea GIF-urilor animate care sunt postate în răspuns la anunțurile text.

Cercetătorii, conduși de Boaz Shmueli de la Universitatea Națională Tsing Hua din Taiwan, au utilizat baza de date integrată a Twitter de GIF-uri de reacție ca un indice pentru a cuantifica starea afectivă a răspunsului unui utilizator, eliminând necesitatea de a negocia multiple răspunsuri lingvistice, provocarea de a detecta sarcasmul sau de a identifica temperatura emoțională de bază din răspunsuri ambigue sau excesiv de scurte.

Apăsând butonul ‘GIF’ atunci când compuneți o postare pe Twitter, se oferă un set standard de GIF-uri animate etichetate care sunt mai ușor de interpretat de NLP decât utilizarea potențial ambiguă a limbajului text simplu.

Articolul caracterizează utilizarea GIF-urilor de reacție în acest mod ca ‘un nou tip de etichetă, încă недisponibil în seturile de date de emoții NLP’, și observă că seturile de date existente utilizează fie modelul dimensional al emoțiilor, fie modelul emoțiilor discrete, niciunul dintre acestea oferind acest tip de perspectivă.

Un GIF de răspuns la o postare a utilizatorului. Cu GIF-ul furnizat de Twitter codificat în termeni de stare afectivă, ambiguitatea intenției este eliminată. Sursa: https://arxiv.org/pdf/2105.09967.pdf

Cercetătorii au lansat un set de date de 30.000 de tweet-uri sarcastice care conțin reacții GIF. Acestă abordare oferă NLP o distincție care lipsește din alte lucrări actuale: o metodă de a distinge emoția percepută (emoțiile pe care le identifică cititorul din text) de emoția indusă (o senzație pe care cititorul o experimentează ca răspuns la text).

GIF-urile de reacție ca indicatori reductivi

În ceea ce privește un răspuns de susținere la o postare care împărtășește o stare emoțională tulburătoare, un GIF potrivit este utilmente reductiv și neambiguu în intenție, atunci când este postat fără text de susținere (și acestea sunt tipurile de răspuns GIF pe care s-a concentrat studiul).

De exemplu, reacții precum ‘Asta e brutal, omule’, ‘Asta e o rușine’ sau ‘Awww’ conțin ambiguități potențiale de intenție, de la posibilitatea unui anumit punct de vedere “clinic” și neafectat până la posibilitatea sarcasmului; dar postarea unuia dintre sutele de GIF-uri de categoria “îmbrățișare” de pe Twitter lasă mai puțin spațiu pentru interpretare:

Descoperirea înțelesurilor subtile ale unei reacții GIF

Cu toate acestea, în cadrul unei singure categorii de reacție, cum ar fi ‘îmbrățișare’, există numeroși alți indicatori de dispoziție sau punct de vedere care cuprind multiple genuri de stări afective, inclusiv punctul de vedere al ipotezelor romantice sau familiale asupra relației dintre răspuns și autorul original.

Reprezentarea diverselor tipuri de relații în categoria ‘îmbrățișare’ disponibilă pe Twitter. Utilizarea diverselor genuri, trope, reprezentări de gen și alți factori adaugă granulație potențială interpretării unei GIF pentru acest sentiment.

Setul de date ReactionGIF a fost derivat din primele 100 de GIF-uri din fiecare categorie de reacție disponibilă pe Twitter, ducând la o bază de date de 4300 de imagini animate. Atunci când un GIF apare în mai multe categorii, categoria cu poziționarea superioară în GUI este ponderată mai mult. Imaginile care apar în multiple categorii primesc un factor de similaritate a reacției – o metrică inventată pentru studiu.

Afinitatea este descoperită utilizând clustering ierarhic și legătură medie.

Extinderea datelor de reacție GIF

Setul de date a fost generat și etichetat prin aplicarea metodei împotriva a 30.000 de tweet-uri. ‘Semnalul afectiv bogat’ al unei categorii de reacție a permis cercetătorilor să extindă setul de date cu etichete afective suplimentare, pe baza clusterelor de categorii de reacție pozitivă și negativă, și să adauge etichete de emoție cu o schemă de mapare a reacțiilor la emoții dedicată, pe baza verdictului majoritar al a trei evaluatori umani pe tweet-uri de eșantion.

Lucrarea anterioară lucrare de la Yahoo și Universitatea din Rochester, care se ocupă de annotarea GIF-urilor, nu are acest strat de text elicited, nici categorii de reacție, dar este pur semantic.

Cercetătorii au evaluat setul de date pe patru abordări: RoBERTa, Rețeaua Neuronală Convolutională (CNN) GloVe, un clasificator de regresie logistică și un clasificator de clasă majoritară simplă. Greutatea convingerii pentru fiecare categorie apare foarte clar în rezultate, cu aprobarea, acordul și condoleanțele cele mai ușor de identificat (și cele mai reprezentate), și scuzele cele mai dificil de evaluat, poate din cauza posibilității de sarcasm.

Modelul RoBERTa a generat cel mai mare rang mediu testat pe toate cele trei metode de evaluare, care au cuprins Predicția Reacției Afective, Predicția Sentimentului Indus și Predicția Emoției Induse.

Extrăgerea emoției utilizatorului din GIF-urile de reacție

Cercetătorii observă că identificarea emoției induse este una dintre cele mai dificile sarcini în analiza sentimentului și emoției bazată pe NLP, și că utilizarea GIF-urilor de reacție ca proxy oferă posibilitatea pentru proiectele viitoare de a colecta ‘cantități mari de etichete afective ieftine, naturale și de înaltă calitate’.

În ciuda concentrării asupra unui locus foarte specific de GIF-uri încorporate în experiența utilizatorului Twitter, studiul susține că această metodă poate fi generalizată la alte platforme de socializare, precum și la platforme de mesagerie instantanee, și poate fi de folos în sectoare precum recunoașterea emoțiilor și detectarea multimodală a emoțiilor.

Popularitatea ca indice cheie

Abordarea pare să se bazeze pe o anumită “virulență” pentru fiecare GIF, cum ar fi atunci când un GIF este disponibil în mod efectiv prin mecanismele proprii ale Twitter. Presupunând că GIF-urile noi create de utilizatori nu ar putea intra în această ecostructură decât prin creșterea popularității și adoptarea ca meme.

GIF-urile de reacție au readus la viață utilizarea formatului de GIF animat din 1987 în ultimii zece ani, după ani de disreputare ca “mâncător de lățime de bandă” (în principal utilizat pentru reclame cu banner enervante) în era Internet V1 pre-broadband.