Reaksjons-GIFer tilbyr en ny nøkkel til gjenkjenning av emosjoner i NLP

Ny forskning fra Taiwan tilbyr en ny metode for Natural Language Processing (NLP) for å utføre sentimentanalyse på sosiale medieforum og språkforskningsdatasett – ved å kategorisere og merke animerte GIFer som publiseres som svar på tekstannonser.

Forskerne, ledet av Boaz Shmueli fra National Tsing Hua University i Taiwan, har brukt Twitters innebygde database av reaksjons-GIFer som en indeks for å kvantifisere den affektive tilstanden til en brukers svar, og dermed unngå behovet for å forhandle multiple språkresponser, utfordringen med å detektere sarkasme, eller å identifisere den emotionelle temperaturen fra ambigue eller for korte responser.

Klikking på ‘GIF’-knappen når du komponerer en Twitter-post gir en standard sett med merkte animerte GIFer som er potensielt lettere for NLP å parse inn i ‘identifiserte’ emosjoner enn ren tekst.

Paperet karakteriserer bruken av reaksjons-GIFer på denne måten som ‘en ny type merke, ikke tilgjengelig i NLP-emosjonsdatasett’, og bemerker at eksisterende datasett enten bruker dimensjonsmodellen for emosjon eller diskrete emosjonsmodellen, som ikke tilbyr denne type innsikt.

En animert GIF-respons til en brukerpost. Med Twitter-tilbudte GIF nå kodifisert i termer av affektiv tilstand, er ambiguiteten av hensikt nesten fjernet. Kilde: https://arxiv.org/pdf/2105.09967.pdf

Forskerne har sluppet en datasett på 30 000 sarkastiske tweets med GIF-responser. Denne tilnærmingen tilbyr NLP en distinksjon som mangler i annen nåværende litteratur: en metode for å skille oppfattet emosjon (emosjoner en leser identifiserer fra teksten) fra indusert emosjon (en følelse som lesere opplever som en reaksjon på teksten).

Reaksjons-GIFer som reduktive indikatorer

I termer av en støttende respons til en post som deler en distressende emosjonell tilstand, er en passende GIF nyttig reduktiv og uambigu i hensikt, når den publiseres uten støttende tekst (og disse er typene av GIF-responser som studien konsentrerte seg om).

For eksempel, responser som ‘Det er brutalt, mann’, ‘Det er en skam’ eller ‘Awww’ inneholder potensielle ambiguiteter av hensikt, fra muligheten av en viss ‘klinisk’ og upåvirket standpunkt til muligheten av sarkasme; men publiseringen av en av Twitters hundrevis av ‘klem’-kategori-GIFer lar mindre rom for tolkning:

Bores ned i sub-meninger av en GIF-respons

Likevel, innenfor en enkelt kategori av respons, som ‘klem’, er det mange flere indikatorer på humør eller synspunkt som omfatter flere sjangre av påvirkede tilstander, inkludert synspunktet på romantiske eller familiære antakelser om forholdet mellom respondenten og originalposter.

Avbildning av forskjellige typer relasjoner i Twitters tilgjengelige ‘klem’-GIF-kategori. Bruken av forskjellige sjangre, tropiske, kjønnsavbildninger og andre faktorer legger til granularitet til den potensielle tolkbarheten av en GIF-valg for denne meningen.

ReactionGIF-datasettet ble avledet fra de første 100 GIF-ene i hver tilgjengelig reaksjonskategori på Twitter, noe som resulterte i en database på 4300 animerte bilder. Hvor en GIF dukker opp i mer enn en kategori, er kategorien med høyere plassering i GUI vektet høyere. Bilder som dukker opp i flere kategorier tildeles en reaksjonslikhet-faktor – en metode oppfunnet for studien.

Affiniteter oppdages ved hjelp av hierarkisk klustering og gjennomsnittlig kobling.

Utvide reaksjons-GIF-data

Datasettet ble generert og merket ved å bruke metoden mot 30 000 tweets. Den ‘rike affektive signal’ fra en reaksjonskategori tillot forskerne å utvide datasettet med ekstra affektive merker, basert på positive og negative reaksjonskategori-kluster, og å legge til emosjonsmerker med en dedikert reaksjons-til-emosjons-mapping-skjema, basert på flertallsavgjørelsen til tre menneskelige evaluatore på prøvetweets.

Tidligere arbeid fra Yahoo og University of Rochester, som handler om annotering av GIF-er, har ikke denne laget av fremkalt tekst, eller noen reaksjonskategorier, men er ren semantikk.

Forskerne evaluerte datasettet over fire tilnærminger: RoBERTa, Convolutional Neural Network (CNN) GloVe, en logistisk regresjonsklassifikator og en enkel majoritetsklasseklassifikator. Vekten av overbevisning for hver kategori kommer frem ganske tydelig i resultater, med approbasjon, enighet og kondolanser mest lett å identifisere (og mest representert), og unnskyld mest vanskelig å vurdere, kanskje siden dette inkluderer muligheten av sarkasme.

RoBERTa-modellen genererte den høyeste testede rangeringsgjennomsnittet over alle tre metoder for evaluering, som bestod av Affective Reaction Prediction, Induced Sentiment Prediction og Induced Emotion Prediction.

Hente brukeremosjon fra reaksjons-GIFer

Forskerne observerer at identifisering av induert emosjon er en av de mest utfordrende oppgavene i NLP-basert sentiment- og emosjonsanalyse, og at bruken av reaksjons-GIFer som en proxy tilbyr muligheten for senere prosjekter å samle ‘store mengder billige, naturlig forekommende, høykvalitets affektive merker’.

Til tross for å konsentrere seg om et svært spesifikt locus av GIF-er innbygget i Twitter-brukeropplevelsen, hevder studien at denne metoden kan generaliseres til andre sosiale medieplattformer, samt instant-meldingsplattformer, og potensielt være av nytte i sektorer som emosjonsgjenkjenning og multimodal emosjonsdeteksjon.

Popularitet som en nøkkelindeks

Tilnærmingen ser ut til å avhenge av en viss ‘viralitet’ for hver GIF, som når en GIF faktisk er tilgjengelig via Twitters egne mekanismer. Antageligvis kan nye brukergenererte GIF-er ikke komme inn i denne økologien uten å øke popularitet og adopsjon som en meme.

Reaksjons-GIF-er har gjenopplivet bruken av 1987s primitive animerte GIF-format over de siste ti årene, etter å ha vært i vanry i år som en “bandwidth-hog” (primært brukt til irriterende bannerannonser) i Internett V1-pre-bredbåndsæraen.