Reaktion GIF’er tilbyder en ny nøgle til erkendelse af følelser i NLP

Ny forskning fra Taiwan tilbyder en ny metode til Natural Language Processing (NLP) til at udføre sentimentanalyse på sociale medie-fora og sprogforskningsdatasets – ved at kategorisere og mærke animerede GIF’er, der offentliggøres som svar på tekstmeddelelser.

Forskerne, ledet af Boaz Shmueli fra National Tsing Hua University i Taiwan, har brugt Twitters indbyggede database af reaktion GIF’er som en indeks til at kvantificere den affektive tilstand af en brugers svar, og dermed undgå behovet for at forhandle multiple sprogsvare, udfordringen med at detektere sarkasme, eller at identificere den centrale emotionelle temperatur fra tvetydige eller for korte svar.

Klik på ‘GIF’-knappen, når du komponerer en Twitter-post, tilbyder en standard-sæt af mærkede animerede GIF’er, der potentielt er lettere for NLP at parse til ‘identificerede’ følelser end almindelig tekst.

Den artikel karakteriserer brugen af reaktion GIF’er på denne måde som ‘en ny type mærke, der endnu ikke er tilgængelig i NLP-følelsesdatasets’, og bemærker, at eksisterende datasets enten bruger dimensional modellen af følelse eller diskrete følelsesmodellen, hvilket ikke tilbyder denne type indsigt.

En animerede GIF-svar på en brugers post. Med den Twitter-tilført GIF nu kodificeret i forhold til affektiv tilstand, fjernes tvivl om hensigt næsten helt. Kilde: https://arxiv.org/pdf/2105.09967.pdf

Forskerne har udgivet en dataset af 30.000 sarkastiske tweets med GIF-reaktioner. Denne tilgang tilbyder NLP en distinktion, der er fraværende fra andre nuværende litteratur: en metode til at skelne ‘opfattet’ følelse (følelser, en læser identificerer fra teksten) fra ‘induceret’ følelse (en følelse, læseren oplever som en reaktion på teksten).

Reaktion GIF’er som reduktive indikatorer

I forhold til et støttende svar på en post, der deler en foruroligende emotionel tilstand, er en passende GIF nyttig reduktionistisk og ubetydelig i hensigt, når den offentliggøres uden støttende tekst (og disse er de typer af GIF-svar, studiet koncentrerede sig om).

For eksempel indeholder reaktioner som ‘Det er brutalt, mand’, ‘Det er en skam’ eller ‘Aww’ potentielle tvivl om hensigt, fra muligheden for en vis ‘klinisk’ og upåvirket synsvinkel til muligheden for sarkasme; men offentliggørelsen af en af Twitters hundredvis af ‘kram’-kategorier GIF’er efterlader mindre rum for fortolkning:

At bore ned i under-betydninger af en GIF-reaktion

Alligevel, inden for en enkelt kategori af reaktion, som ‘kram’, er der mange flere indikatorer for stemning eller synspunkt, der omfatter multiple genrer af påvirket tilstand, herunder synspunktet på romantiske eller familiære antagelser om forholdet mellem respondenten og den oprindelige poster.

Afbeelding af forskellige typer af forhold i Twitters tilgængelige ‘kram’-GIF-kategori. Brugen af diverse genrer, tropier, kønsrepræsentationer og andre faktorer tilføjer granularitet til den potentielle fortolkning af en GIF-valg for denne følelse.

ReactionGIF-datasættet blev afledt fra de første 100 GIF’er i hver tilgængelig reaktionskategori på Twitter, hvilket resulterede i en database på 4300 animerede billeder. Hvor en GIF vises i mere end en kategori, vægtes kategorien med den højere placering i GUI højere. Billeder, der vises i multiple kategorier, tildeles en reaktionslighed-faktor – en metode opfundet til studiet.

Affiniteter opdages herefter ved hjælp af hierarkisk klustering og gennemsnitlig kobling.

At udvide Reaction GIF-data

Datasættet blev genereret og mærket ved at anvende metoden mod 30.000 tweets. Den ‘rige affektive signal’ af en reaktionskategori tillod forskerne at udvide datasættet med yderligere affektive mærker, baseret på de positive og negative reaktionskategori-kluster, og at tilføje følelsesmærker med en dedikeret reaktion-til-følelse-mapping-skema, baseret på den majoritetsdom af tre menneskelige evalueringer af prøvetweets.

Tidligere arbejde fra Yahoo og University of Rochester, der handler om annotation af GIF’er, har ikke denne lag af udledt tekst, eller nogen reaktionskategorier, men er rent semantisk.

Forskerne evaluerede datasættet over fire tilgange: RoBERTa, Convolutional Neural Network (CNN) GloVe, en logistisk regressionsklassifikator og en simpel majoritetsklasseklassifikator. Vægten af overbevisning for hver kategori fremgår ganske tydeligt i resultaterne, med approbation, enighed og medfølelse lettest at identificere (og mest repræsenteret), og undskyldning sværest at evaluere, måske fordi dette inkluderer muligheden for sarkasme.

RoBERTa-modellen genererede den højeste testede rangeringsgennemsnit over alle tre metoder til evaluering, der bestod af Affective Reaction Prediction, Induced Sentiment Prediction og Induced Emotion Prediction.

At høste brugerfølelse fra Reaction GIF’er

Forskerne observerer, at identifikation af induceret følelse er en af de mest udfordrende opgaver i NLP-baseret sentiment- og følelsesanalyse, og at brugen af reaktion GIF’er som en proxy tilbyder muligheden for senere projekter at samle ‘store mængder af billige, naturligt forekommende, højkvalitets affektive mærker’.

Trods koncentration på et meget specifikt locus af GIF’er integreret i Twitter-brugeroplevelsen, hævder studiet, at denne metode kan generaliseres til andre sociale medie-platforme, samt instant-besked-platforme, og potentielt være af brug i sektorer som følelsesgenkendelse og multimodal følelsesdetektion.

Popularitet som en nøgleindeks

Tilgangen synes at afhænge af en vis ‘viralitet’ for hver GIF, såsom når en GIF faktisk er tilgængelig via Twitters egne mekanismer. Forskellige nye bruger-genererede GIF’er kan ikke indgå i denne økosystem, undtagen gennem øget popularitet og adoption som en meme.

Reaktion GIF’er har genoplivet brugen af 1987’s primitive animerede GIF-format over de sidste ti år, efter år med ringe anseelse som en bandbredhugger (primært brugt til irriterende banner-reklamer) i Internet V1 pre-bredbåndsæraen.