GIF-urile de reacție oferă o cheie nouă pentru recunoașterea emoțiilor în NLP

Noi cercetări efectuate în Taiwan oferă o metodă nouă pentru Procesarea Limbajului Natural (NLP) de a efectua analiza sentimentului pe forumurile de socializare și seturile de date de cercetare a limbajului – prin categorizarea și etichetarea GIF-urilor animate care sunt postate în răspuns la anunțurile text.

Cercetătorii, conduși de Boaz Shmueli de la Universitatea Națională Tsing Hua din Taiwan, au utilizat baza de date integrată a Twitter pentru a cuantifica starea afectivă a răspunsului unui utilizator, eliminând necesitatea de a negocia multiple răspunsuri lingvistice, provocarea de a detecta sarcasmul, sau de a identifica temperatura emoțională de bază din răspunsuri ambigue sau excesiv de scurte.

Apăsând butonul ‘GIF’ atunci când se compune un post pe Twitter, se oferă un set standard de GIF-uri animate etichetate, care sunt mai ușor de interpretat de către NLP decât utilizarea potențial ambiguă a limbajului text simplu.

Articolul caracterizează utilizarea GIF-urilor de reacție în acest mod ca ‘un nou tip de etichetă, încă nu disponibil în seturile de date de emoții NLP’, și observă că seturile de date existente utilizează fie modelul dimensional al emoțiilor, fie modelul emoțiilor discrete, niciunul dintre acestea oferind acest tip de informații.

Un GIF de reacție la un post de utilizator. Cu GIF-ul furnizat de Twitter codificat în termeni de stare afectivă, ambiguitatea intenției este practic eliminată. Source: https://arxiv.org/pdf/2105.09967.pdf

Cercetătorii au lansat un set de date de 30.000 de tweet-uri sarcastice care conțin reacții GIF. Acestă abordare oferă NLP o distincție care lipsește din literatura curentă: o metodă de a distinge emoția percepută (emoțiile pe care le identifică cititorul din text) de emoția indusă (o senzație pe care cititorul o experimentează ca răspuns la text).

GIF-urile de reacție ca indicatori reductivi

În ceea ce privește un răspuns de susținere la un post care împărtășește o stare emoțională tulburătoare, un GIF potrivit este utilmente reductiv și neambiguu în intenție, atunci când este postat fără text de susținere (și acestea sunt tipurile de răspuns GIF pe care s-a concentrat studiul).

De exemplu, reacții precum ‘Asta e brutal, omule’, ‘Asta e o rușine’ sau ‘Awww’ conțin ambiguități potențiale de intenție, de la posibilitatea unui anumit punct de vedere ‘clinic’ și neafectat până la posibilitatea sarcasmului; dar postarea unuia dintre sutele de GIF-uri de ‘îmbrățișare’ de pe Twitter lasă mai puțin spațiu pentru interpretare:

Analizarea sub-înțelesurilor unei reacții GIF

Cu toate acestea, în cadrul unei singure categorii de reacție, cum ar fi ‘îmbrățișare’, există numeroase indicatori suplimentari de dispoziție sau punct de vedere care cuprind multiple genuri de stare afectivă, incluzând punctul de vedere al asumpțiilor romantice sau familiale de relație între răspuns și autorul original.

Reprezentarea diferitelor tipuri de relație în categoria ‘îmbrățișare’ a GIF-urilor disponibile pe Twitter. Utilizarea genurilor diverse, a tropilor, a reprezentărilor de gen și a altor factori adaugă granulație potențială interpretării unei alegeri GIF pentru acest sentiment.

Setul de date ReactionGIF a fost derivat din primele 100 de GIF-uri din fiecare categorie de reacție disponibilă pe Twitter, ducând la o bază de date de 4300 de imagini animate. Atunci când un GIF apare în mai multe categorii, categoria cu poziționarea superioară în GUI este ponderată mai mare. Imaginile care apar în multiple categorii primesc un factor de similaritate de reacție – o metrică inventată pentru studiu.

Afinitatea este descoperită utilizând clustering ierarhic și legătură medie.

Extinderea datelor GIF de reacție

Setul de date a fost generat și etichetat prin aplicarea metodei împotriva a 30.000 de tweet-uri. ‘Semnalul afectiv bogat’ al unei categorii de reacție a permis cercetătorilor să extindă setul de date cu etichete afective suplimentare, pe baza clusterelor de categorii de reacție pozitive și negative, și să adauge etichete de emoție cu o schemă de mapare dedicată reacții-la-emoții, pe baza verdictului majoritar al trei evaluatori umani pe tweet-uri de exemplu.

Lucrarea anterioară lucrare de la Yahoo și Universitatea din Rochester, care se ocupă de etichetarea GIF-urilor, nu are acest strat de text elicited, nici categorii de reacție, dar este pur semantic.

Cercetătorii au evaluat setul de date prin patru abordări: RoBERTa, Rețeaua Neuronală Convolutională (CNN) GloVe, un clasificator de regresie logistică și un clasificator de clasă majoritară simplă. Convingerea pentru fiecare categorie apare foarte clar în rezultate, cu aprobarea, acordul și condoleanțele cele mai ușor de identificat (și cele mai reprezentate), și scuzele cele mai dificil de evaluat, poate din cauza posibilității sarcasmului.

Modelul RoBERTa a generat cel mai mare rang mediu testat pe toate cele trei metode de evaluare, care au cuprins predicția reacției afective, predicția sentimentului indus și predicția emoției induse.

Extrăgerea emoției utilizatorului din GIF-urile de reacție

Cercetătorii observă că identificarea emoției induse este una dintre cele mai dificile sarcini în analiza sentimentului și emoției bazată pe NLP, și că utilizarea GIF-urilor de reacție ca proxy oferă posibilitatea pentru proiectele viitoare de a colecta ‘cantități mari de etichete afective ieftine, naturale și de înaltă calitate’.

În ciuda concentrării asupra unui locus foarte specific de GIF-uri încorporate în experiența utilizatorului Twitter, studiul susține că această metodă poate fi generalizată la alte platforme de socializare, precum și la platforme de mesagerie instantanee, și poate fi de folos în sectoare cum ar fi recunoașterea emoțiilor și detectarea multimodală a emoțiilor.

Popularitatea ca indice cheie

Abordarea pare să se bazeze pe o anumită ‘viralitate’ pentru fiecare GIF, cum ar fi atunci când un GIF este disponibil prin mecanismele proprii ale Twitter. Presupunând că GIF-urile noi create de utilizatori nu pot intra în această ecostructură decât prin creșterea popularității și adoptarea ca o modalitate de reacție.

GIF-urile de reacție au revitalizat utilizarea formatului de GIF animat din 1987 în ultimii zece ani, ulterioară anilor de disreputare ca o problemă de lățime de bandă (utilizată în principal pentru reclamele enervante) în era Internet V1 pre-broadband.