Reaktion GIF’er tilbyder en ny nøgle til emotionerkendelse i NLP

Nyt forskning fra Taiwan tilbyder en ny metode til Natural Language Processing (NLP) til at udføre sentimentanalyse på sociale medieforum og sprogforskningsdata – ved at kategorisere og mærke animerede GIF’er, der offentliggøres som svar på tekstmeddelelser.

Forskerne, ledet af Boaz Shmueli fra National Tsing Hua University i Taiwan, har brugt Twitters indbyggede database af reaktioner GIF’er som en indeks til at kvantificere den affektive tilstand af en brugers svar, og dermed undgå behovet for at forhandle multiple sprogsvare, udfordringen med at détectere sarkasme eller identificere den centrale emotionelle temperatur fra tvetydige eller excessivt korte svar.

Klik på ‘GIF’-knappen, når du skriver en tweet, giver adgang til en standardiseret samling af mærkede animerede GIF’er, der er potentielt lettere for NLP at fortolke end almindelig tekst.

Artiklen karakteriserer brugen af reaktioner GIF’er på denne måde som ‘en ny type mærke, der endnu ikke er tilgængelig i NLP-emotiondata’, og bemærker, at eksisterende datasæt enten bruger dimensionel model af emotion eller diskret emotion model, ingen af disse tilbyder denne type indsigt.

En animeret GIF-svar på en brugers post. Med Twitters leverede GIF nu kodificeret i forhold til affektiv tilstand, er tvetydigheden af hensigt næsten fjernet. Kilde: https://arxiv.org/pdf/2105.09967.pdf

Forskerne har udgivet en datasæt på 30.000 sarkastiske tweets, der indeholder GIF-reaktioner. Denne tilgang giver NLP en distinktion, der er fraværende i andre aktuelle litteratur: en metode til at skelne opfattet emotion (emotioner, som en læser identificerer fra teksten) fra induceret emotion (en følelse, som læseren oplever som en reaktion på teksten).

Reaktion GIF’er som reducerende indikatorer

I forhold til en støttende reaktion på en post, der deler en ømfindtlige emotionel tilstand, er en passende GIF nyttigt reducerende og entydig i hensigt, når den offentliggøres uden støttende tekst (og disse er de typer af GIF-svar, som studiet koncentrerer sig om).

For eksempel indeholder reaktioner som ‘Det er brutalt, mand’, ‘Det er en skam’ eller ‘Aww’ potentielle tvetydigheder af hensigt, fra muligheden for en vis ‘klinisk’ og upåvirket synsvinkel til muligheden for sarkasme; men offentliggørelsen af en af Twitters hundredvis af ‘kram’-kategorier GIF’er giver mindre plads til fortolkning:

Neddykning i undermeninger af en GIF-reaktion

Alligevel, inden for enhver enkelt kategori af reaktion, som ‘kram’, er der talrige yderligere indikatorer for humør eller synspunkt, der omfatter multiple genrer af påvirkede tilstand, herunder synspunktet på romantiske eller familiære antagelser om forholdet mellem responderen og den oprindelige poster.

Afbeelding af forskellige typer af forhold i Twitters tilgængelige ‘kram’-GIF-kategori. Brugen af forskellige genrer, tropes, kønsrepræsentationer og andre faktorer tilføjer granularitet til den potentielle fortolkning af en GIF-valg for denne sentiment.

ReactionGIF-datasættet blev afledt fra de første 100 GIF’er i hver tilgængelig reaktionskategori på Twitter, hvilket resulterede i en database på 4300 animerede billeder. Hvor en GIF vises i mere end en kategori, vægtes kategorien med den højere placering i GUI højere. Billeder, der vises i multiple kategorier, tildeles en reaktionslighed-faktor – en metode, der er opfundet til studiet.

Affiniteterne opdages ved hjælp af hierarkisk klustering og gennemsnitlig kobling.

Udvikling af reaktion GIF-data

Datasættet blev genereret og mærket ved at anvende metoden mod 30.000 tweets. Den ‘rige affektive signal’ fra en reaktionskategori tillod forskerne at udvide datasættet med yderligere affektive mærker, baseret på de positive og negative reaktionskategorikluster, og tilføje emotionmærker med en dedikeret reaktions-til-emotion-mapping-skema, baseret på den majoritetsdom af tre menneskelige evalueringer af prøvetweets.

Tidligere arbejde fra Yahoo og University of Rochester, der handler om annotering af GIF’er, har ikke denne lag af udviklet tekst, eller nogen reaktionskategorier, men er rent semantisk.

Forskerne evaluerede datasættet over fire tilgange: RoBERTa, Convolutional Neural Network (CNN) GloVe, en logistisk regressionsklassifikator og en simpel majoritetsklasseklassifikator. Vægten af overbevisning for hver kategori fremgår tydeligt i resultaterne, med approbation, enighed og medfølelse som de letteste at identificere (og mest repræsenteret), og undskyldning som den sværeste at evaluere, måske fordi dette inkluderer muligheden for sarkasme.

RoBERTa-modellen genererede den højeste testede gennemsnitsværdi over alle tre metoder til evaluering, der bestod af affektiv reaktionsprædiktion, induceret sentimentprædiktion og induceret emotionprædiktion.

Udvinding af brugeremotion fra reaktion GIF’er

Forskerne observerer, at identificering af induceret emotion er en af de mest udfordrende opgaver i NLP-baseret sentiment- og emotionanalyse, og at brugen af reaktion GIF’er som en proxy tilbyder muligheden for senere projekter at samle ‘store mængder af billige, naturligt forekommende, højkvalitets affektive mærker’.

Trods koncentration på en meget specifik locus af GIF’er integreret i Twitter-brugeroplevelsen, hævder studiet, at denne metode kan generaliseres til andre sociale medieplatforme, samt instant-besked-platforme, og potentielt være nyttig i sektorer som emotionerkendelse og multimodal emotionsdetektering.

Popularitet som en nøgleindeks

Tilgangen synes at afhænge af en vis ‘viralitet’ for hver GIF, som når en GIF faktisk er tilgængelig via Twitters egne mekanismer. Formodentlig kan nye bruger-genererede GIF’er ikke indgå i denne økosystem uden forøget popularitet og antagelse som en meme.

Reaktion GIF’er har genoplivet brugen af 1987’s primitive animerede GIF-format over de sidste ti år, efterfulgt af år med dårlig rygte som en bandbreddslug (primært brugt til irriterende bannerannoncer) i Internet V1 pre-bredbåndsæraen.