Forståelse av Twitch-emotikon i sentimentanalyse

Offentlighetens økende bruk av emojis, emoticons, emotes, memes, GIF’er og andre ikke-verbale måter å kommunisere på sosiale medier har i de senere år stadig mer forvirret dataforskeres forsøk på å forstå det globale sosiale landskapet; i alle fall, i den utstrekning verdensomspennende sosiale trender kan avledes fra offentlig diskurs.

Selv om naturlig språkbehandling (NLP) har blitt et kraftig verktøy i sentimentanalyse over det siste tiåret, har sektoren vanskeligheter ikke bare med å holde pace med en evolverende leksikon av slang og lingvistiske forkortelser på flere språk, men også i å forsøke å avkode betydningen av bildebaserte innlegg på sosiale medier som Facebook og Twitter.

Siden det begrensede antallet svært folkerike sosiale medier er den eneste virkelig hyperskalaressursen for denne type forskning, er det essensielt for AI-sektoren å i alle fall forsøke å holde pace med det.

I juli presenterte en artikkel fra Taiwan en ny metode for å kategorisere brukersentiment basert på ‘reaksjon-GIF’er’ postet i sosiale mediertråder (se bildet under), ved å bruke en database på 30 000 tweets til å utvikle en måte å forutsi reaksjoner på en post. Artikkelen fant at bildebaserte svar er på mange måter enklere å måle, siden de er mindre sannsynlig å inneholde sarkasme, en merket utfordring i sentimentanalyse.

Forskere fra Taiwan studerte bruken av animerte reaksjons-GIF’er som ‘reduserte indikatorer’ for sentiment i en artikkel fra 2021.

Tidligere i år ledet en forskningsinnsats ved Boston University trening av maskinlæringsmodeller for å forutsi bilde-memer som sannsynligvis vil gå viralt på Twitter; og i august undersøkte britiske forskere veksten av emojis i sammenligning med emoticons (det er en forskjell) på sosiale medier, ved å samle en stor skala 7-språk datasett av bildesentiment på Twitter.

Twitch-emotikon

Nå har amerikanske forskere utviklet en maskinlæringsmetodologi for å bedre forstå, kategorisere og måle det evolverende pseudo-lexikon av emotes på det svært populære Twitch-nettverket.

Emotes er neologismer brukt på Twitch for å uttrykke følelse, humør eller inn-jokes. Siden de er per definisjon nye uttrykk, er utfordringen for et maskinlæringsystem ikke nødvendigvis å endeløst katalogisere nye emotes (som kan bare brukes en gang, eller ellers falle ut av bruk raskt), men å få en bedre forståelse av rammen som endeløst genererer dem; og å utvikle systemer i stand til å gjenkjenne en emote som et ‘midlertidig gyldig’ ord eller sammensatt frase hvis emotionelle/politiske temperatur kan trenge å måles helt fra kontekst.

Naboer av ‘FeelsGoodMan’-emoten, hvis betydning kan endres av obskure suffikser. Kilde: https://arxiv.org/pdf/2108.08411.pdf

Artikkelen hefter tittelen FeelsGoodMan: Inferring Semantics of Twitch Neologisms, og kommer fra tre forskere ved Spiketrap, et sosiale medier-analysefirma i San Francisco.

Lure og switch

Til tross for deres nyskaping og ofte korte liv, gjentar Twitch-emotes ofte kulturelt materiale (inkludert eldre emotes) på en måte som kan styre sentimentanalyserammer i feil retning. Å spore endringen i betydningen av en emote mens den utvikler seg, kan til og med avsløre en fullstendig inversjon eller negasjon av dens opprinnelige sentiment eller intensjon.

For eksempel påpeker forskerne at den opprinnelige alt-høyre misbruk av den navngitte FeelsGoodMan-Pepe-the-frog-memet har nesten fullstendig tapt sin opprinnelige politiske farge i sammenheng med dens bruk på Twitch.

Bruken av uttrykket, sammen med et bilde av en tegneserie-frosk fra en tegneserie fra 2005 av kunstneren Matt Furie, ble en høyre-ekstrem meme på 2010-tallet. Selv om Vox skrev i 2017 at høyresidens appropriasjon av memet hadde overlevd Furies selv-erklæring avvisning av en slik bruk, har de sanfranciske forskerne bak den nye artikkelen funnet noe annet*:

‘Furies tegneserie-frosk ble adoptert av høyre-ekstreme postere på ulike nettforum som 4chan tidlig på 2010-tallet. Siden da har Furie kampanjet for å gjenvinne betydningen av sin karakter, og emoten har sett en økning i mer mainstream ikke-hat-bruk og positiv bruk på Twitch. Våre resultater på Twitch er enige, og viser at “FeelsGoodMan” og dens motstykke “FeelsBadMan” hovedsakelig brukes bokstavelig.’

Problemer nedover

Dette slaget ‘lure og switch’ når det gjelder de generelle ‘egenskapene’ til en meme, kan hindre NLP-forskningsprosjekter som allerede har kategorisert den som ‘hatfull’, ‘høyre-ekstrem’ eller ‘nasjonalistisk [US]’, og som har dumpet denne informasjonen i lange åpne kilde-repositorier. Senere NLP-prosjekter kan ikke velge å gjennomgå den eldre datas valuta; kan ikke ha noen praktisk mekanisme for å gjøre det; og kan ikke engang være klar over behovet.

Konsekvensen av dette er at bruk av 2017 Twitch-baserte datasett for å formulere en ‘politisk kategoriserings-algoritme ville tilskrive merkbar høyre-ekstrem aktivitet på Twitch, basert på hyppigheten av FeelsGoodMan-emoten. Twitch kan eller kan ikke være full av høyre-ekstreme påvirkere, men ifølge forskerne bak den nye artikkelen, kan du ikke bevise det med frosken.

‘Pepe’-memets politiske betydning synes å ha blitt kastet av Twitch sine 140 millioner brukere (41% av dem er under 24), som har effektivt stjålet arbeidet fra de opprinnelige tyvene og malt det i sine egne farger, uten noen særlig agenda.

Metode og data

Forskerne fant at merket Twitch-emote-data var ‘virtuelt ikke-eksisterende’, til tross for at en tidligere studie konkluderte med at det finnes åtte millioner totale emotes, og 400 000 var til stede i den ene uken av Twitch-utgang i den uken valgt av de tidligere forskerne.

En 2017-studie som omhandlet emote-prediksjon på Twitch begrenset seg til å forutsi bare de øverste 30 Twitch-emotes, og scoret bare 0,39 for emote-prediksjon.

Forskerne tok en ny tilnærming til den eldre dataen, ved å splitte den 80/20 mellom trening og testing, og anvende ‘tradisjonelle’ maskinlæringsmetoder, som ikke hadde blitt brukt før til å studere Twitch-data. Disse metodene inkluderte Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM, med lineære kjerner), og Logistisk Regresjon.

Denne tilnærmingen overgikk tidligere Twitch-sentiment-baselinjer med 63,8%, og muliggjorde at forskerne deretter kunne utvikle LOOVE-rammeverket (Learning Out Of Vocabulary Emotions), som kan identifisere neologismer og ‘berike’ eksisterende modeller med disse nye definisjonene.

Arkitektur av LOOVE-rammeverket (Learning Out Of Vocabulary Emotions) utviklet av forskerne.

LOOVE muliggjør usupervisert trening av ord-embeddings, og akkommoderer også periodisk om-trening og fin-justering, og gjør det unødvendig å ha merket datasets, som ville være logistisk umulig, når man tar hensyn til skalaen av oppgaven og den raske evolusjonen av emotes.

I forbindelse med prosjektet trente forskerne en emote-‘Pseudo-Ordbok’ på en umerket Twitch-datasett, og genererte 444 714 embeddings av ord, emotes, emojis og emoticons.

Forskerne supplerte også en VADER-ordliste med en emoji/emoticon-ordliste, og i tillegg til den ovennevnte EC-datasett, utnyttet de også tre andre offentlig tilgjengelige datasett for ternær sentiment-klassifisering, fra Twitter, Rotten Tomatoes og en samplet YELP-datasett.

Gitt den store variasjonen av metodene og datasettene brukt i studiet, er resultater varierte, men forskerne hevder at deres beste baseline overgikk den nærmeste tidligere metrikken med 7,36 prosentpoeng.

Forskerne mener at den pågående verdien av prosjektet er utviklingen av LOOVE, basert på ord-til-vektor (W2V)-embeddings trent på over 313 millioner Twitch-chat-meldinger med hjelp av K-Nearest Neighbor (KNN).

Forfatterne konkluderer:

‘En drivende egenskap bak rammeverket er en emote-pseudo-ordbok som kan brukes til å avlede sentiment for ukjente emotes. Ved å bruke denne emote-pseudo-ordboken, skapte vi en sentiment-tabell for 22 507 emotes. Dette er det første tilfellet av emote-forståelse på denne skalaen.’

* Min konvertering av inline-citater til hyperlenker.