Reaktions-GIF:ar erbjuder en ny nyckel till känsligansering i NLP

Ny forskning från Taiwan erbjuder en ny metod för Natural Language Processing (NLP) för att utföra sentimentanalys på sociala medieforum och språkforskningsdatabaser – genom att kategorisera och märka animerade GIF:er som publiceras som svar på textmeddelanden.

Forskarna, ledda av Boaz Shmueli från National Tsing Hua University i Taiwan, har använt Twitters inbyggda databas av reaktions-GIF:er som en index för att kvantifiera den affektiva tillståndet av en användares svar, och därmed undvika behovet av att förhandla med flera språkiga svar, utmaningen att upptäcka sarkasm, eller att identifiera kärnkänslor från tvetydiga eller alltför korta svar.

Att klicka på ‘GIF’-knappen när man skapar ett Twitter-inlägg erbjuder en standarduppsättning märkta animerade GIF:er som är potentiellt lättare för NLP att tolka till ‘identifierade’ känslor än vanlig text.

Den artikeln karakteriserar användningen av reaktions-GIF:er på detta sätt som ‘en ny typ av märkning, som ännu inte finns tillgänglig i NLP-känslighetsdatabaser’, och noterar att befintliga databaser antingen använder dimensionella modellen för känslor eller diskreta känslomodellen, varken av dessa erbjuder denna typ av insikt.

En animerad GIF-svar på ett användarinlägg. Med Twitters tillhandahållna GIF nu kodifierad i termer av affektivt tillstånd, är tvetydigheten i avsikt nästan borta. Source: https://arxiv.org/pdf/2105.09967.pdf

Forskarna har släppt en databas på 30 000 sarkastiska tweets som innehåller GIF-reaktioner. Detta tillvägagångssätt erbjuder NLP en distinktion som saknas i annan nuvarande litteratur: en metod för att skilja uppfattad känsla (känslor som en läsare identifierar från texten) från inducerad känsla (en känsla som läsaren upplever som en reaktion på texten).

Reaktions-GIF:er som reducerande indikatorer

I termer av ett stödjande svar på ett inlägg som delar en distressande emotionell tillstånd, är en passande GIF användbart reducerande och entydig i avsikt, när den publiceras utan stödtext (och dessa är de typer av GIF-svar som studien koncentrerade sig på).

Till exempel innehåller reaktioner som ‘Det är brutalt, man’, ‘Det är en skam’ eller ‘Awww’ potentiella tvetydigheter i avsikt, från möjligheten av en viss ‘klinisk’ och opåverkad synvinkel genom till möjligheten av sarkasm; men publiceringen av en av Twitters hundratals ‘kram’-kategorier GIF:er lämnar mindre utrymme för tolkning:

Att borra ner i underbetydelser av en GIF-reaktion

Trots allt, inom en enda kategori av reaktion, som ‘kram’, finns det många ytterligare indikatorer på humör eller synvinkel som omfattar flera genrer av påverkat tillstånd, inklusive synvinkeln på romantiska eller familjära antaganden om relationen mellan svararen och den ursprungliga inläggaren.

Avbildning av olika typer av relationer i Twitters tillgängliga ‘kram’-GIF-kategori. Användningen av olika genrer, tropar, könsskildringar och andra faktorer lägger till granularitet till den potentiella tolkbarheten av ett GIF-val för denna känsla.

ReactionGIF-databasen härrörde från de första 100 GIF:erna i varje tillgänglig reaktionskategori på Twitter, vilket resulterade i en databas på 4300 animerade bilder. Där en GIF visas i mer än en kategori, vägs kategorin med högre placering i GUI högre. Bilder som visas i flera kategorier tilldelas en reaktionslikhetsfaktor – en mått som uppfanns för studien.

Affiniteter upptäcks sedan med hjälp av hierarkisk klusteranalys och genomsnittlig länkning.

Att förstärka reaktions-GIF-data

Databasen genererades och märktes genom att tillämpa metoden mot 30 000 tweets. Den ‘rika affektiva signalen’ från en reaktionskategori tillät forskarna att förstärka databasen med ytterligare affektiva märkningar, baserat på de positiva och negativa reaktionskategorierna, och att lägga till känslomärkningar med en dedikerad reaktions-till-känslor-mappningsschema, baserat på majoritetsutlåtandet från tre mänskliga utvärderare på exempeltweets.

Tidigare arbete från Yahoo och University of Rochester, som handlar om annotering av GIF:er, har inte denna lager av framkallad text, och inte heller några reaktionskategorier, men är rent semantiskt.

Forskarna utvärderade databasen över fyra tillvägagångssätt: RoBERTa, det konvolutionella neuronnätverket (CNN) GloVe, en logistisk regressionsklassificerare och en enkel majoritetsklassificerare. Vikten av övertygelse för varje kategori framgår ganska tydligt i resultaten, med godkännande, samtycke och kondoleanser lättast att identifiera (och mest representerade), och ursäkt svårast att utvärdera, kanske eftersom detta inkluderar möjligheten av sarkasm.

RoBERTa-modellen genererade den högsta testade genomsnittliga rangen över alla tre metoder för utvärdering, som bestod av affektiv reaktionsprediktion, inducerad sentimentprediktion och inducerad känsloprediktion.

Att utvinna användarkänslor från reaktions-GIF:er

Forskarna observerar att identifiering av inducerad känsla är en av de mest utmanande uppgifterna i NLP-baserad sentiment- och känslanalys, och att användning av reaktions-GIF:er som en proxy erbjuder möjligheten för framtida projekt att samla in ‘stora mängder billiga, naturligt förekommande, högkvalitativa affektiva märkningar’.

Trots att de koncentrerade sig på en mycket specifik locus av GIF:er inbäddade i Twitter-användarupplevelsen, hävdar studien att denna metod kan generaliseras till andra sociala medieplattformar, samt meddelandeplattformar, och potentiellt vara användbar i sektorer som känsligansering och multimodal känslodetektion.

Popularitet som en nyckelindex

Tillvägagångssättet verkar bero på en viss ‘viralitet’ för varje GIF, som när en GIF faktiskt görs tillgänglig via Twitters egna mekanismer. Förmodligen kunde nya användargenererade GIF:er inte komma in i denna ekosystem annat än genom ökad popularitet och antagande som en meme.

Reaktions-GIF:er har återupplivat användningen av 1987 års primitiva animerade GIF-format under de senaste tio åren, efter år av vanrykte som en bandbreddstjuv (främst använd för irriterande bannerannonser) i Internet V1 före bredbandseras.