Het begrijpen van Twitch Emotes in Sentimentanalyse

Het publiek gebruikt steeds vaker emojis, emoticons, emotes, memes, GIFs en andere non-verbale manieren om te communiceren op sociale media-platforms, waardoor het voor datawetenschappers moeilijker wordt om de wereldwijde sociologische landschap te begrijpen; tenminste, voor zover wereldwijde sociologische trends kunnen worden afgeleid uit openbare discussies.

Hoewel Natural Language Processing (NLP) de afgelopen decade een krachtig instrument is geworden in sentimentanalyse, heeft de sector moeite om niet alleen bij te blijven met een voortdurend evoluerend lexicon van slang en linguïstische shortcuts in meerdere talen, maar ook om de betekenis van beeldgebaseerde berichten op sociale media-platforms zoals Facebook en Twitter te ontcijferen.

Aangezien het beperkte aantal zeer populaire sociale media-platforms de enige echte hyperschaalbron is voor dit soort onderzoek, is het essentieel voor de AI-sector om tenminste te proberen om gelijke tred te houden.

In juli bood een paper uit Taiwan een nieuwe methode om gebruikerssentiment te categoriseren op basis van ‘reactie-GIFs’ die op sociale media-threads werden gepost (zie afbeelding hieronder), met behulp van een database van 30.000 tweets om een manier te ontwikkelen om reacties op een bericht te voorspellen. Het paper vond dat beeldgebaseerde antwoorden op veel manieren gemakkelijker te meten zijn, omdat ze minder waarschijnlijk zijn om sarcasme te bevatten, een opvallende uitdaging in sentimentanalyse.

Onderzoekers uit Taiwan bestudeerden het gebruik van geanimeerde reactie-GIFs als ‘reductieve indicatoren’ van sentiment in een paper uit 2021.

Eerder dit jaar leidde een onderzoeksinspanning van de Boston University machine learning-modellen om te voorspellen welke beeldmemes waarschijnlijk viraal zouden gaan op Twitter; en in augustus onderzochten Britse onderzoekers de groei van emojis in vergelijking met emoticons (er is een verschil) op sociale media, waarbij een grote dataset van 7 talen van pictografische Twitter-sentiment werd samengesteld.

Twitch Emotes

Nu hebben Amerikaanse onderzoekers een machine learning-methode ontwikkeld om beter te begrijpen, te categoriseren en te meten het voortdurend evoluerende pseudo-lexicon van emotes op het zeer populaire Twitch-netwerk.

Emotes zijn neologismen die op Twitch worden gebruikt om emotie, stemming of inside-grapjes uit te drukken. Aangezien ze per definitie nieuwe uitdrukkingen zijn, is de uitdaging voor een machine learning-systeem niet noodzakelijkerwijs om oneindig veel nieuwe emotes te catalogiseren (die mogelijk alleen één keer worden gebruikt, of anderszins snel uit de mode raken), maar om een beter begrip te krijgen van het kader dat ze voortdurend genereert; en om systemen te ontwikkelen die in staat zijn om een emote te herkennen als een ‘tijdelijk geldige’ woord of samengestelde frase waarvan de emotionele/politieke temperatuur mogelijk volledig uit de context moet worden afgeleid.

Buren van de ‘FeelsGoodMan’-emote, waarvan de betekenis kan worden gewijzigd door obscure suffixen. Bron: https://arxiv.org/pdf/2108.08411.pdf

Het paper heet FeelsGoodMan: Inferring Semantics of Twitch Neologisms en komt van drie onderzoekers bij Spiketrap, een sociale media-analysebedrijf in San Francisco.

Bait and Switch

Ondanks hun nieuwheid en vaak korte levensduur, hergebruiken Twitch-emotes vaak cultureel materiaal (inclusief oudere emotes) op een manier die sentimentanalyse-kaders in de verkeerde richting kan sturen. Het volgen van de verschuiving in de betekenis van een emote terwijl het evolueert, kan zelfs een complete inversie of negatie van zijn oorspronkelijke sentiment of intent onthullen.

De onderzoekers merken bijvoorbeeld op dat het oorspronkelijke alt-rechtse misbruik van de gelijknamige FeelsGoodMan Pepe-the-frog-meme bijna volledig zijn oorspronkelijke politieke smaak heeft verloren in de context van zijn gebruik op Twitch.

Het gebruik van de frase, samen met een afbeelding van een cartoonkikker uit een strip uit 2005 van kunstenaar Matt Furie, werd een rechtsextreme meme in de jaren 2010. Hoewel Vox schreef in 2017 dat de rechtse appropriatie van de meme had overleefd na Furie’s zelfverklaarde disassociatie met een dergelijk gebruik, hebben de San Francisco-onderzoekers achter het nieuwe paper anders gevonden*:

‘Furie’s cartoonkikker werd geadopteerd door rechtse posters op verschillende online fora zoals 4chan in de vroege jaren 2010. Sindsdien heeft Furie campagne gevoerd om de betekenis van zijn personage terug te claimen, en de emote heeft een toename van meer mainstream niet-haatgebruik en positief gebruik op Twitch gezien. Onze resultaten op Twitch komen overeen, waaruit blijkt dat “FeelsGoodMan” en zijn tegenhanger “FeelsBadMan” voornamelijk letterlijk worden gebruikt.’

Moeilijkheden Stroomafwaarts

Dit soort ‘lok en switch’ met betrekking tot de algemene ‘kenmerken’ van een meme kan NLP-onderzoeksprojecten die het al hebben gecategoriseerd als ‘hatelijk’, ‘rechtse’ of ‘nationalistisch [VS]’, en die die informatie hebben gedumpt in openbare repositories, hinderen. Latere NLP-projecten kunnen ervoor kiezen om de valuta van de oudere gegevens niet te controleren; kunnen geen praktische mechanisme hebben om dit te doen; en kunnen zich niet eens bewust zijn van de noodzaak.

De uitkomst hiervan is dat het gebruik van datasets van Twitch uit 2017 om een ‘politieke categorisatie-algoritme te formuleren, aanzienlijke rechtse activiteit op Twitch zou toewijzen op basis van de frequentie van de FeelsGoodMan-emote. Twitch mag of mag niet vol zitten met rechtse invloed, maar volgens de onderzoekers van het nieuwe paper kun je het niet bewijzen met de kikker.

De politieke significantie van de ‘Pepe’-meme lijkt te zijn afgegooid door de 140 miljoen gebruikers van Twitch (41% waarvan onder de 24 is), die het werk effectief hebben teruggestolen van de oorspronkelijke dieven en in hun eigen kleuren hebben geschilderd, zonder enig bijzonder doel.

Methode en Gegevens

De onderzoekers vonden dat gelabelde Twitch-emote-gegevens ‘virtueel niet-bestaand’ waren, ondanks de conclusie van een eerder onderzoek dat er acht miljoen totale emotes zijn, en 400.000 aanwezig waren in de enkele week van Twitch-uitvoer in de week die door die eerdere onderzoekers was gekozen.

Een onderzoek uit 2017 dat emote-voorspelling op Twitch behandelde, beperkte zich tot het voorspellen van slechts de top 30 Twitch-emotes, met een score van 0,39 voor emote-voorspelling.

Om het tekort aan te pakken, namen de San Francisco-onderzoekers een nieuwe aanpak van de oudere gegevens, waarbij ze deze 80/20 tussen training en testen splitsten, en ‘traditionele’ machine learning-methoden toepasten, die nog nooit eerder waren gebruikt om Twitch-gegevens te bestuderen. Deze methoden omvatten Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM, met lineaire kernels), en Logistic Regression.

Deze aanpak overtrof eerder Twitch-sentiment-baselines met 63,8%, en stelde de onderzoekers in staat om vervolgens het LOOVE (Learning Out Of Vocabulary Emotions)-kader te ontwikkelen, dat in staat is om neologismen te identificeren en bestaande modellen te ‘verrijken’ met deze nieuwe definities.

Architectuur van het LOOVE (Learning Out Of Vocabulary Emotions)-kader dat door de onderzoekers is ontwikkeld.

LOOVE faciliteert de onbegeleide training van woord-embeddings en biedt ook periodieke opnieuw trainen en fijnafstemming, waardoor de noodzaak voor gelabelde datasets wordt geëlimineerd, wat logistiek onpraktisch zou zijn, gezien de omvang van de taak en de snelle evolutie van emotes.

Ter ondersteuning van het project trainden de onderzoekers een emote-‘pseudo-woordenboek’ op een ongelabelde Twitch-dataset, waarbij 444.714 embeddings van woorden, emotes, emojis en emoticons werden gegenereerd.

Verder verrijkten ze een VADER-lexicon met een emoji/emoticon-lexicon, en naast de eerdergenoemde EC-dataset, ook drie andere openbaar beschikbare datasets voor ternary sentimentclassificatie, van Twitter, Rotten Tomatoes en een gestratificeerde YELP-dataset.

Gezien de grote variëteit aan methoden en datasets die in de studie werden gebruikt, zijn de resultaten gevarieerd, maar de onderzoekers beweren dat hun beste baseline de dichtstbijzijnde eerder gemeten metric met 7,36 procentpunt overtrof.

De onderzoekers menen dat de voortdurende waarde van het project de ontwikkeling van LOOVE is, gebaseerd op woord-naar-vektor (W2V)-embeddings getraind op meer dan 313 miljoen Twitch-chatberichten met behulp van K-Nearest Neighbor (KNN).

De auteurs concluderen:

‘Een belangrijke functie achter het kader is een emote-pseudo-woordenboek dat kan worden gebruikt om sentiment voor onbekende emotes af te leiden. Met behulp van dit emote-pseudo-woordenboek hebben we een sentimenttabel voor 22.507 emotes gemaakt. Dit is het eerste geval van emote-begrip op deze schaal.’

* Mijn conversie van inline-citaten naar hyperlinks.