Reaksjons-GIF-er tilbyr en ny nøkkel til gjenkjenning av emosjoner i NLP

Ny forskning fra Taiwan tilbyr en ny metode for Natural Language Processing (NLP) for å utføre sentimentanalyse på sosiale medier og språkdatamengder – ved å kategorisere og merke animerte GIF-er som publiseres som svar på tekstannonser.

Forskerne, ledet av Boaz Shmueli fra National Tsing Hua University i Taiwan, har brukt Twitters innebygde database av reaksjons-GIF-er som en indeks for å kvantifisere den affektive tilstanden til en brukers svar, og dermed unngå behovet for å forhandle multiple språkrespons, utfordringen med å detektere sarkasme, eller å identifisere kjerneemosjonell temperatur fra ambigue eller for korte respons.

Klikk på ‘GIF’-knappen når du komponerer en Twitter-post for å få tilgang til en standardsett med merkte animerte GIF-er som er potensielt lettere for NLP å parse inn i ‘identifiserte’ emosjoner enn ren tekst.

Artikkelen karakteriserer bruken av reaksjons-GIF-er på denne måten som ‘en ny type merke, ikke tilgjengelig i NLP-emosjonsdatamengder’, og påpeker at eksisterende datamengder enten bruker dimensjonsmodellen for emosjon eller diskrete emosjonsmodellen, ingen av disse tilbyr denne typen innsikt.

En animert GIF-respons til en brukerpost. Med Twitters leverte GIF nå kodifisert i termer av affektiv tilstand, er tvetydighet av hensikt nesten fjernet. Kilde: https://arxiv.org/pdf/2105.09967.pdf

Forskerne har lansert en datamengde på 30 000 sarkastiske tweets som inneholder GIF-respons. Denne tilnærmingen tilbyr NLP en distinksjon som mangler i annen eksisterende litteratur: en metode for å skille oppfattet emosjon (emosjoner en leser identifiserer fra teksten) fra indusert emosjon (en følelse som lesere opplever som en reaksjon på teksten).

Reaksjons-GIF-er som reduserte indikatorer

I termer av en støttende respons til en post som deler en distressende emosjonell tilstand, er en passende GIF nyttig reduktiv og uambiguøs i hensikt, når den publiseres uten støttende tekst (og disse er typene av GIF-respons som studien konsentrerte seg om).

For eksempel inneholder respons som ‘Det er brutalt, mann’, ‘Det er en skam’ eller ‘Aww’ potensielle tvetydigheter av hensikt, fra muligheten av en viss ‘klinisk’ og upåvirket standpunkt til muligheten av sarkasme; men publisering av en av Twitters hundrevis av ‘hug’-kategorier GIF-er lar mindre rom for tolkning:

Drilling ned i undermeninger av en GIF-respons

Likevel, innenfor en enkelt kategori av respons, som ‘hug’, er det mange flere indikatorer for humør eller synspunkt som omfatter flere sjangere av påvirket tilstand, inkludert standpunktet av romantiske eller familiære antagelser om forholdet mellom responderen og originalposter.

Avbildning av ulike typer relasjoner i Twitters tilgjengelige ‘hug’-GIF-kategori. Bruken av ulike sjangere, tropier, kjønnsavbildninger og andre faktorer legger til granularitet til den potensielle tolkbarheten av en GIF-valg for denne meningen.

ReactionGIF-datamengden ble avledet fra de første 100 GIF-ene i hver tilgjengelig reaksjonskategori på Twitter, noe som resulterte i en database på 4300 animerte bilder. Hvor en GIF vises i mer enn en kategori, er kategorien med høyere plassering i GUI vekted høyere. Bilder som vises i flere kategorier tildeles en reaksjonslikhetsfaktor – en metrik oppfunnet for studien.

Affiniteter oppdages deretter ved hjelp av hierarkisk klustering og gjennomsnittlig kobling.

Utvidelse av reaksjons-GIF-data

Datamengden ble generert og merket ved å bruke metoden mot 30 000 tweets. ‘Den rike affektive signalen’ fra en reaksjonskategori tillot forskerne å utvide datamengden med ytterligere affektive merker, basert på positive og negative reaksjonskategoriklynger, og å legge til emosjonsmerker med en dedikert reaksjons-til-emosjons-mappingsskjema, basert på majoritetsverdictet til tre menneskelige evaluatore på eksempeltweets.

Tidligere arbeid fra Yahoo og University of Rochester, som omhandler annotering av GIF-er, har ikke denne laget av elisitert tekst, eller noen reaksjonskategorier, men er rent semantisk.

Forskerne evaluerte datamengden over fire tilnærminger: RoBERTa, Convolutional Neural Network (CNN) GloVe, en logistisk regresjonsklassifikator og en enkel majoritetsklasseklassifikator. Vekten av overbevisning for hver kategori kommer tydelig frem i resultater, med approbasjon, enighet og medfølelse som er lettest å identifisere (og mest representert), og unnskyld som er vanskeligst å evaluere, kanskje fordi dette inkluderer muligheten av sarkasme.

RoBERTa-modellen genererte den høyeste testede rangeringsgjennomsnittet over alle tre metoder for evaluering, som bestod av affektiv reaksjonsprediksjon, induksjon av sentimentprediksjon og induksjon av emosjonsprediksjon.

Gjenkjenning av brukeremosjon fra reaksjons-GIF-er

Forskerne observerer at identifisering av induksjon av emosjon er en av de mest utfordrende oppgavene i NLP-basert sentiment- og emosjonsanalyse, og at bruk av reaksjons-GIF-er som en proxy tilbyr muligheten for senere prosjekter å samle ‘store mengder billig, naturlig forekommende, høykvalitets affektive merker’.

Til tross for å konsentrere seg om en svært spesifikk locus av GIF-er innbygget i Twitter-brukeropplevelsen, hevder studien at denne metoden kan generaliseres til andre sosiale medierplattformer, samt instant-meldingsplattformer, og potensielt være av nytte i sektorer som emosjonsgjenkjenning og multimodal emosjonsdeteksjon.

Popularitet som en nøkkelindeks

Tilnærmingen synes å avhenge av en viss ‘viralitet’ for hver GIF, som når en GIF faktisk er tilgjengelig via Twitters egne mekanismer. Antagelig kan nye brukergenererte GIF-er ikke tre inn i denne økosystemet unntatt gjennom økt popularitet og adopsjon som en meme.

Reaksjons-GIF-er har gjenopplivet bruken av 1987’s primitive animerte GIF-format over de siste ti årene, etter å ha vært i vanrykte som en båndbreddshogger (primært brukt til irriterende bannerannonser) i Internett V1 pre-bredbåndsæraen.