Förståelse av Twitch-emotikon i sentimentanalys

Allmänhetens växande användning av emojis, emoticons, emotes, memes, GIFs och andra icke-verbala sätt att kommunicera på sociala medieplattformar har, under de senaste åren, alltmer förvirrat datavetenskapliga ansträngningar att förstå den globala sociologiska landskapsbilden; åtminstone i den utsträckning som globala sociologiska trender kan utläsas från offentliga diskussioner.

Även om Natural Language Processing (NLP) har blivit ett kraftfullt verktyg i sentimentanalys under det senaste decenniet, har sektorn svårt att inte bara hålla jämna steg med ett ständigt växande lexikon av slang och lingvistiska genvägar på flera språk, utan också att försöka avkoda betydelsen av bildbaserade inlägg på sociala medieplattformar som Facebook och Twitter.

Sedan antalet mycket folkrika sociala medieplattformar är den enda riktigt hyperskalaiga resursen för denna typ av forskning, är det viktigt för AI-sektorn att åtminstone försöka hålla jämna steg med den.

I juli presenterade en artikel från Taiwan en ny metod för att kategorisera användarsentiment baserat på ‘reaktions-GIF:ar’ som publicerats i sociala medietrådar (se bild nedan), med hjälp av en databas med 30 000 tweets för att utveckla ett sätt att förutsäga reaktioner på ett inlägg. Artikeln fann att bildbaserade svar i många avseenden är lättare att bedöma, eftersom de är mindre benägna att innehålla sarkasm, en noterbar utmaning i sentimentanalys.

Forskare från Taiwan studerade användningen av animerade reaktions-GIFar som ‘reducerande indikatorer’ för sentiment i en artikel från 2021.

Tidigare i år ledde en forskningsinsats vid Boston University utbildning av maskinlärningsmodeller för att förutsäga bildmemer som sannolikt kommer att bli virala på Twitter; och i augusti undersökte brittiska forskare tillväxten av emojis i jämförelse med emoticons (det finns en skillnad) på sociala medier, och sammanställde en stor skala 7-språkig dataset för bildbaserat Twitter-sentiment.

Twitch-emotikon

Nu har amerikanska forskare utvecklat en maskinlärningsmetodik för att bättre förstå, kategorisera och mäta det ständigt växande pseudo-lexikonet av emotes på det mycket populära Twitch-nätverket.

Emotes är neologismer som används på Twitch för att uttrycka känslor, humör eller in-jokes. Eftersom de per definition är nya uttryck, är utmaningen för ett maskinlärningssystem inte nödvändigtvis att oändligt katalogisera nya emotes (som kan användas bara en gång, eller också falla ur användning snabbt), utan att få en bättre förståelse för ramverket som ständigt genererar dem; och att utveckla system som kan känna igen ett emote som ett ’tillfälligt giltigt’ ord eller sammansatt fras vars emotionella/politiska temperatur kan behöva bedömas helt från sammanhanget.

Grannar till ‘FeelsGoodMan’-emoten, vars betydelse kan ändras av suddiga suffix.

Artikeln heter FeelsGoodMan: Inferring Semantics of Twitch Neologisms, och kommer från tre forskare vid Spiketrap, ett socialt medieanalysföretag i San Francisco.

Bait and Switch

Trots sin nyhet och ofta korta liv, återanvänder Twitch-emotes ofta kulturellt material (inklusive äldre emotes) på ett sätt som kan styra sentimentanalysramverk i fel riktning. Att spåra förändringen i betydelsen av ett emote när det utvecklas kan till och med avslöja en fullständig inversion eller negation av dess ursprungliga sentiment eller avsikt.

Till exempel noterar forskarna att den ursprungliga alt-högerns missbruk av den namngivna FeelsGoodMan-Pepe-grodmemot har nästan helt förlorat sin ursprungliga politiska smak i sammanhanget med dess användning på Twitch.

Användningen av frasen, tillsammans med en bild av en tecknad groda från en serie från 2005 av konstnären Matt Furie, blev en högerextrem meme under 2010-talet. Även om Vox skrev 2017 att högerns appropriering av memot hade överlevt Furies uttalade avståndstagande från en sådan användning, har de sanfranciskoforskare som ligger bakom den nya artikeln funnit annat*:

‘Furies tecknade groda antogs av högerextrema inlägg på olika onlineforum som 4chan i början av 2010-talet. Sedan dess har Furie kampanjat för att återta betydelsen av sin figur, och emoten har sett en uppgång i mer mainstream icke-hat-användning och positiv användning på Twitch. Våra resultat på Twitch stöder detta, och visar att “FeelsGoodMan” och dess motsvarighet “FeelsBadMan” huvudsakligen används bokstavligen.’

Svårigheter nedströms

Denna typ av ‘bait and switch’ när det gäller de allmänna ‘egenskaperna’ hos en meme kan hindra NLP-forskningsprojekt som redan har kategoriserat den som ‘hatisk’, ‘högerextrem’ eller ‘nationalistisk [US]’, och som har dumpat den informationen i långsiktiga öppna källkodsarkiv. Senare NLP-projekt kan inte välja att granska den äldre datans aktualitet; kan inte ha någon praktisk mekanism för att göra det; och kan inte ens vara medvetna om behovet.

Slutresultatet av detta är att använda 2017 Twitch-baserade dataset för att formulera en ‘politisk kategoriseralgoritm’ skulle tillskriva betydande högerextrem aktivitet på Twitch, baserat på frekvensen av FeelsGoodMan-emoten. Twitch kan eller kan inte vara fullt av högerextrema influencers, men enligt forskarna bakom den nya artikeln kan man inte bevisa det med grodan.

‘Pepe’-memots politiska betydelse verkar ha kastats bort av Twitch 140 miljoner användare (41% av dem är under 24), som har effektivt återstulit arbetet från de ursprungliga tjuvarna och målat det i sina egna färger, utan något särskilt syfte.

Metod och data

Forskarna fann att märkt Twitch-emote-data var ‘i princip obefintlig’, trots slutsatsen från en tidigare studie att det finns åtta miljoner totala emotes, och 400 000 fanns i den enskilda veckans Twitch-utdata under den vecka som valdes av tidigare forskare.

En 2017-studie som behandlade emote-prediktion på Twitch begränsade sig till att förutsäga endast de 30 bästa Twitch-emotes, och fick en poäng på 0,39 för emote-prediktion.

För att åtgärda bristen tog de sanfranciskoforskarna en ny tillvägagångssätt till den äldre datan, och delade den i 80/20 mellan utbildning och testning, och tillämpade ‘traditionella’ maskinlärningsmetoder, som inte hade använts tidigare för att studera Twitch-data. Dessa metoder inkluderade Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM, med linjära kärnor), och Logistisk regression.

Denna tillvägagångssätt överträffade tidigare Twitch-sentimentbaslinjer med 63,8%, och möjliggjorde för forskarna att därefter utveckla LOOVE-ramverket (Learning Out Of Vocabulary Emotions), som kan identifiera neologismer och ‘berika’ befintliga modeller med dessa nya definitioner.

Arkitektur för LOOVE-ramverket (Learning Out Of Vocabulary Emotions) som utvecklats av forskarna.

LOOVE möjliggör ostrukturerad utbildning av ordinbäddningar, och kan också hantera periodisk omutbildning och finjustering, vilket eliminerar behovet av märkt data, som skulle vara logistiskt omöjligt med tanke på uppgiftens omfattning och den snabba utvecklingen av emotes.

I tjänsten av projektet tränade forskarna en emote-‘Pseudo-Ordbok’ på en omärkt Twitch-dataset, och genererade 444 714 inbäddningar av ord, emotes, emojis och emoticons.

Dessutom förbättrade de en VADER-lexikon med ett emoji/emoticon-lexikon, och utöver den ovannämnda EC-dataseten utnyttjade de också tre andra offentligt tillgängliga dataset för ternär sentimentklassificering, från Twitter, Rotten Tomatoes och ett sampat YELP-dataset.

Med tanke på den stora variationen av metodologier och dataset som användes i studien är resultaten varierande, men forskarna hävdar att deras bästa baseline överträffade den närmaste tidigare metriken med 7,36 procentenheter.

Forskarna anser att det pågående värdet av projektet är utvecklingen av LOOVE, baserat på ord-till-vektor (W2V)-inbäddningar som tränats på över 313 miljoner Twitch-chattmeddelanden med hjälp av K-Nearest Neighbor (KNN).

Författarna slutsats:

‘En drivande funktion bakom ramverket är en emote-pseudo-ordbok som kan användas för att härleda sentiment för okända emotes. Med hjälp av denna emote-pseudo-ordbok skapade vi en sentimenttabell för 22 507 emotes. Detta är det första fallet av emote-förståelse i denna skala.’

* Min omvandling av inline-citationer till hyperlänkar.