Verständnis von Twitch-Emotes in der Sentiment-Analyse

Die wachsende Nutzung von Emojis, Emoticons, Emotes, Memes, GIFs und anderen nicht-verbaler Kommunikationsformen auf sozialen Medienplattformen hat in den letzten Jahren zunehmend die Bemühungen von Datenwissenschaftlern behindert, das globale soziologische Landschaftsbild zu verstehen; zumindest in dem Maße, in dem weltweite soziologische Trends aus öffentlichen Diskursen abgeleitet werden können.

Obwohl die Natural Language Processing (NLP) in den letzten zehn Jahren zu einem mächtigen Werkzeug in der Sentiment-Analyse geworden ist, hat der Sektor Schwierigkeiten, nicht nur mit einem ständig wachsenden Lexikon von Slang und linguistischen Abkürzungen in mehreren Sprachen Schritt zu halten, sondern auch bei dem Versuch, die Bedeutung von bildbasierten Beiträgen auf sozialen Medienplattformen wie Facebook und Twitter zu entschlüsseln.

Da die begrenzte Anzahl sehr beliebter sozialer Medienplattformen die einzigen wirklich hyperskaligen Ressourcen für diese Art von Forschung sind, ist es für den AI-Sektor unerlässlich, zumindest versuchen, mitzuhalten.

Im Juli bot ein Paper aus Taiwan eine neue Methode zur Kategorisierung von Benutzersentimenten auf der Grundlage von ‘Reaction-GIFs’, die in sozialen Medienthreads gepostet wurden (siehe Bild unten), unter Verwendung einer Datenbank von 30.000 Tweets, um eine Möglichkeit zu entwickeln, Reaktionen auf einen Beitrag vorherzusagen. Das Paper fand heraus, dass bildbasierte Antworten in vielen Fällen einfacher zu bewerten sind, da sie weniger wahrscheinlich Sarkasmus enthalten, eine bekannte Herausforderung in der Sentiment-Analyse.

Forscher aus Taiwan untersuchten die Verwendung von animierten Reaktions-GIFs als ‘reduktive Indikatoren’ von Sentiment in einem Paper aus dem Jahr 2021.

Anfang dieses Jahres trainierten Forscher der Boston University Machine-Learning-Modelle, um vorherzusagen, welche Bildmemes auf Twitter wahrscheinlich viral gehen; und im August untersuchten britische Forscher das Wachstum von Emojis im Vergleich zu Emoticons (es gibt einen Unterschied) auf sozialen Medien und erstellten eine große, siebensprachige Datenbank von pictographischem Twitter-Sentiment.

Twitch-Emotes

Jetzt haben US-Forscher eine maschinelle Lernmethodik entwickelt, um die ständig wachsende Pseudo-Lexik von Emotes auf dem sehr beliebten Twitch-Netzwerk besser zu verstehen, zu kategorisieren und zu messen.

Emotes sind Neologismen, die auf Twitch verwendet werden, um Emotionen, Stimmungen oder Insider-Witze auszudrücken. Da sie definitionsgemäß neue Ausdrucksformen sind, besteht die Herausforderung für ein maschinelles Lernsystem nicht darin, endlos neue Emotes zu katalogisieren (die möglicherweise nur einmal verwendet werden oder schnell aus der Mode kommen), sondern darin, ein besseres Verständnis für das Framework zu entwickeln, das sie ständig generiert; und Systeme zu entwickeln, die in der Lage sind, ein Emote als ‘temporär gültiges’ Wort oder eine Wortgruppe zu erkennen, deren emotionale/politischer Temperatur möglicherweise vollständig aus dem Kontext abgeleitet werden muss.

Nachbarn des ‘FeelsGoodMan’-Emotes, dessen Bedeutung durch ungewöhnliche Suffixe verändert werden kann. Quelle: https://arxiv.org/pdf/2108.08411.pdf

Das Paper trägt den Titel FeelsGoodMan: Inferring Semantics of Twitch Neologisms und stammt von drei Forschern von Spiketrap, einem sozialen Medienanalyse-Unternehmen in San Francisco.

Köder und Schalter

Trotz ihrer Neuheit und oft kurzen Lebensdauer recyceln Twitch-Emotes häufig kulturelles Material (einschließlich älterer Emotes) auf eine Weise, die Sentiment-Analyse-Frameworks in die falsche Richtung lenken kann. Die Verfolgung der Verschiebung der Bedeutung eines Emotes, während es sich entwickelt, kann sogar eine vollständige Umkehrung oder Negation seines ursprünglichen Sentiments oder Zwecks aufdecken.

Die Forscher bemerken beispielsweise, dass der ursprüngliche alt-rechte Missbrauch des gleichnamigen FeelsGoodMan-Pepe-the-Frog-Memes fast vollständig seinen ursprünglichen politischen Geschmack im Kontext seiner Verwendung auf Twitch verloren hat.

Die Verwendung des Ausdrucks, zusammen mit einem Bild eines Cartoon-Froschs aus einem Comic von 2005 von Künstler Matt Furie, wurde zu einem rechtsextremen Meme in den 2010er Jahren. Obwohl Vox schrieb, dass die Rechte den Meme überlebt hatte, nachdem Furie sich von einer solchen Verwendung distanziert hatte, haben die San Francisco-Forscher hinter dem neuen Paper festgestellt, dass dies nicht der Fall ist*:

‘Furies Cartoon-Frosch wurde von rechtsextremen Postern auf verschiedenen Online-Foren wie 4chan in den frühen 2010er Jahren übernommen. Seitdem hat Furie versucht, die Bedeutung seines Charakters zurückzuerobern, und das Emote hat eine Zunahme an mainstream-nicht-hasserfüllter und positiver Verwendung auf Twitch erlebt. Unsere Ergebnisse auf Twitch stimmen überein und zeigen, dass “FeelsGoodMan” und sein Gegenstück “FeelsBadMan” hauptsächlich wörtlich verwendet werden.’

Schwierigkeiten flussabwärts

Diese Art von ‘Köder und Schalter’ in Bezug auf die verallgemeinerten ‘Merkmale’ eines Memes kann NLP-Forschungsprojekte behindern, die es bereits als ‘hasserfüllt’, ‘rechtsextrem’ oder ‘nationalistisch [US]’ kategorisiert haben und diese Informationen in langfristige Open-Source-Repositorys eingefügt haben. Spätere NLP-Projekte können sich entscheiden, die Währung der älteren Daten nicht zu überprüfen; können keine praktische Methode dazu haben; und können sich möglicherweise nicht einmal der Notwendigkeit bewusst sein.

Die Folge davon ist, dass die Verwendung von 2017 basierenden Twitch-Datensätzen, um einen ‘politischen Kategorisierungs’-Algorithmus zu formulieren, eine bemerkenswerte rechtsextreme Aktivität auf Twitch auf der Grundlage der Häufigkeit des FeelsGoodMan-Emotes anzeigen würde. Twitch mag oder mag nicht voll von rechtsextremen Einflussnehmern sein, aber laut den Forschern des neuen Papers kann man es nicht durch den Frosch beweisen.

Die politische Bedeutung des ‘Pepe’-Memes scheint von den 140 Millionen Nutzern von Twitch (41% davon sind unter 24) beiläufig abgelegt worden zu sein, die das Werk von den ursprünglichen Dieben zurückgestohlen und in ihre eigenen Farben getaucht haben, ohne eine bestimmte Agenda.

Methode und Daten

Die Forscher fanden heraus, dass markierte Twitch-Emote-Daten ‘virtuell nicht existent’ waren, trotz der Schlussfolgerung einer früheren Studie, dass es acht Millionen insgesamt Emotes gibt und 400.000 in der einzelnen Woche von Twitch-Ausgaben in der Woche vorhanden waren, die von den früheren Forschern ausgewählt wurde.

Eine 2017-Studie zur Emote-Vorhersage auf Twitch beschränkte sich auf die Vorhersage der Top-30-Twitch-Emotes und erzielte einen Score von nur 0,39 für Emote-Vorhersage.

Um die Lücke zu schließen, nahmen die San Francisco-Forscher einen neuen Ansatz für die älteren Daten, indem sie diese in einem Verhältnis von 80/20 zwischen Training und Testen aufteilten und ‘traditionelle’ maschinelle Lernmethoden anwendeten, die zuvor nicht zur Untersuchung von Twitch-Daten verwendet worden waren. Diese Methoden umfassten Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM, mit linearen Kernen), und Logistische Regression.

Dieser Ansatz übertraf die vorherigen Twitch-Sentiment-Baselines um 63,8% und ermöglichte es den Forschern, anschließend das LOOVE- (Learning Out Of Vocabulary Emotions) -Framework zu entwickeln, das in der Lage ist, Neologismen zu identifizieren und bestehende Modelle mit diesen neuen Definitionen zu ‘anreichern’.

Architektur des LOOVE- (Learning Out Of Vocabulary Emotions) -Frameworks, das von den Forschern entwickelt wurde.

LOOVE ermöglicht die unüberwachte Schulung von Wort-Embeddings und ermöglicht auch periodisches Retraining und Feinabstimmung, wodurch die Notwendigkeit von markierten Datensätzen entfällt, die angesichts des Umfangs der Aufgabe und der schnellen Evolution von Emotes logistisch unpraktisch wären.

Im Rahmen des Projekts trainierten die Forscher ein Emote-‘Pseudo-Wörterbuch’ auf einem unmarkierten Twitch-Datensatz, wodurch 444.714 Einbettungen von Wörtern, Emotes, Emojis und Emoticons generiert wurden.

Weiterhin ergänzten sie ein VADER-Lexikon mit einem Emoji/Emoticon-Lexikon und nutzten neben dem bereits erwähnten EC-Datensatz auch drei weitere öffentlich zugängliche Datensätze für ternäre Sentiment-Klassifizierung von Twitter, Rotten Tomatoes und einem beprobten YELP-Datensatz.

Angesichts der großen Vielfalt an Methoden und Datensätzen, die in der Studie verwendet wurden, sind die Ergebnisse vielfältig, aber die Forscher behaupten, dass ihre beste Baseline die nächste vorherige Metrik um 7,36 Prozentpunkte übertraf.

Die Forscher betrachten den anhaltenden Wert des Projekts als die Entwicklung von LOOVE, basierend auf Wort-vektor- (W2V) -Einbettungen, die auf über 313 Millionen Twitch-Chat-Nachrichten mit Hilfe von K-Nearest-Neighbor (KNN) trainiert wurden.

Die Autoren kommen zu dem Schluss:

‘Ein treibender Faktor hinter dem Framework ist ein Emote-Pseudo-Wörterbuch, das verwendet werden kann, um Sentiment für unbekannte Emotes abzuleiten. Mit diesem Emote-Pseudo-Wörterbuch erstellten wir eine Sentiment-Tabelle für 22.507 Emotes. Dies ist der erste Fall von Emote-Verständnis in diesem Umfang.’

* Meine Umwandlung von Inline-Zitaten in Hyperlinks.