Reaktions-GIFs bieten einen neuen Schlüssel zur Emotionserkennung in NLP

Neue Forschungsergebnisse aus Taiwan bieten eine neuartige Methode für die Natural Language Processing (NLP), um Sentiment-Analysen auf sozialen Medien-Foren und Sprachforschungsdatensätzen durchzuführen – indem animierte GIFs, die als Reaktion auf Textankündigungen gepostet werden, kategorisiert und beschriftet werden.

Die Forscher, angeführt von Boaz Shmueli von der National Tsing Hua University in Taiwan, haben Twitters integrierte Datenbank von Reaktions-GIFs als Index verwendet, um den affektiven Zustand einer Benutzerreaktion zu quantifizieren, wodurch die Notwendigkeit entfällt, multiple Sprachreaktionen zu verhandeln, die Herausforderung des Erkennens von Sarkasmus oder die Identifizierung der Kernemotion aus mehrdeutigen oder übermäßig kurzen Reaktionen.

Das Klicken auf die ‘GIF’-Schaltfläche beim Erstellen eines Twitter-Beitrags bietet eine standardmäßige Auswahl an beschrifteten animierten GIFs, die potenziell einfacher für NLP zu parsen sind als Plain-Text-Sprache.

Das Papier charakterisiert die Verwendung von Reaktions-GIFs auf diese Weise als ‘eine neue Art von Beschriftung, die noch nicht in NLP-Emotionsdatensätzen verfügbar ist’ und bemerkt, dass bestehende Datensätze entweder das dimensionale Modell der Emotion oder das diskrete Emotionsmodell verwenden, keines von denen diese Art von Erkenntnissen bietet.

Eine animierte GIF-Reaktion auf einen Benutzerbeitrag. Mit dem Twitter-bereitgestellten GIF, das nun in Bezug auf den affektiven Zustand kodifiziert ist, wird die Mehrdeutigkeit der Absicht im Wesentlichen entfernt. Quelle: https://arxiv.org/pdf/2105.09967.pdf

Die Forscher haben ein Datenset von 30.000 sarkastischen Tweets mit GIF-Reaktionen veröffentlicht. Dieser Ansatz bietet NLP eine Unterscheidung, die in anderen aktuellen Literatur fehlt: eine Methode, um waargenommene Emotion (Emotionen, die ein Leser aus dem Text identifiziert) von induzierter Emotion (einem Gefühl, das der Leser als Reaktion auf den Text erlebt) zu unterscheiden.

Reaktions-GIFs als reduzierende Indikatoren

In Bezug auf eine unterstützende Reaktion auf einen Beitrag, der einen beunruhigenden emotionalen Zustand teilt, ist ein geeigneter GIF nützlich reduktionistisch und unmissverständlich in der Absicht, wenn er ohne unterstützenden Text gepostet wird (und diese sind die Arten von GIF-Reaktionen, auf die sich die Studie konzentrierte).

Zum Beispiel enthalten Reaktionen wie ‘Das ist brutal, Mann’, ‘Das ist schade’ oder ‘Awww’ potenzielle Mehrdeutigkeiten der Absicht, von der Möglichkeit eines bestimmten ‘klinischen’ und unberührten Standpunkts bis hin zur Möglichkeit von Sarkasmus; aber das Posten eines von Twitters hunderten ‘Umarmungs’-GIFs lässt weniger Raum für Interpretation:

Bohren in die Sub-Bedeutungen einer GIF-Reaktion

Innerhalb einer einzelnen Kategorie von Reaktionen, wie z.B. ‘Umarmung’, gibt es zahlreiche zusätzliche Indikatoren für Stimmung oder Standpunkt, die multiple Genres von beeinflusstem Zustand umfassen, einschließlich des Standpunkts romantischer oder familiärer Annahmen der Beziehung zwischen dem Reaktor und dem ursprünglichen Poster.

Darstellung verschiedener Arten von Beziehungen in Twitters verfügbarer ‘Umarmungs’-GIF-Kategorie. Die Verwendung diverser Genres, Tropen, Geschlechtsdarstellungen und anderer Faktoren addiert Granularität zur potenziellen Interpretierbarkeit einer GIF-Wahl für diese Sentiment.

Das ReactionGIF-Datenset wurde aus den ersten 100 GIFs in jeder verfügbaren Reaktionskategorie auf Twitter abgeleitet, was zu einer Datenbank von 4300 animierten Bildern führte. Wenn ein GIF in mehr als einer Kategorie erscheint, wird die Kategorie mit der höheren Platzierung in der GUI höher gewichtet. Bilder, die in mehreren Kategorien erscheinen, werden einem Reaktionsähnlichkeitsfaktor zugewiesen – einem Maß, das für die Studie erfunden wurde.

Affinitäten werden dann mithilfe hierarchischer Clustering und Durchschnittsverknüpfung entdeckt.

Erweiterung von Reaktions-GIF-Daten

Das Datenset wurde generiert und beschriftet, indem die Methode gegen 30.000 Tweets angewendet wurde. Das ‘reiche affektive Signal’ einer Reaktionskategorie ermöglichte es den Forschern, das Datenset mit zusätzlichen affektiven Beschriftungen zu erweitern, basierend auf den positiven und negativen Reaktionskategorie-Clustern, und Emotionsbeschriftungen mit einem dedizierten Reaktions-zu-Emotionen-Mappingschema hinzuzufügen, basierend auf dem Mehrheitsurteil von drei menschlichen Evaluatoren auf Beispiel-Tweets.

Frühere Arbeiten von Yahoo und der University of Rochester, die sich mit der Annotation von GIFs befassen, haben diese Schicht von ausgelöstem Text nicht, noch Reaktionskategorien, sondern sind rein semantisch.

Die Forscher bewerteten das Datenset über vier Ansätze: RoBERTa, das Convolutional Neural Network (CNN) GloVe, einen logistischen Regressionsklassifikator und einen einfachen Mehrheitsklassifikator. Das Gewicht der Überzeugung für jede Kategorie tritt quite klar in den Ergebnissen hervor, wobei Approbation, Zustimmung und Mitgefühl am leichtesten zu identifizieren sind (und am meisten vertreten), und Entschuldigung am schwierigsten zu bewerten, vielleicht weil dies die Möglichkeit von Sarkasmus einschließt.

Das RoBERTa-Modell generierte den höchsten getesteten Rangdurchschnitt über alle drei Methoden der Bewertung, die Affective Reaction Prediction, Induced Sentiment Prediction und Induced Emotion Prediction umfassten.

Aus Benutzerreaktionen Emotionen ableiten

Die Forscher bemerken, dass die Identifizierung von induzierter Emotion eine der herausforderndsten Aufgaben in NLP-basierten Sentiment- und Emotionsanalysen ist und dass die Verwendung von Reaktions-GIFs als Proxy die Möglichkeit für spätere Projekte bietet, ‘große Mengen an preisgünstigen, natürlich vorkommenden, hochwertigen affektiven Beschriftungen’ zu sammeln.

Trotz der Konzentration auf einen sehr spezifischen Ort von GIFs, die in die Twitter-Benutzeroberfläche eingebettet sind, behauptet die Studie, dass diese Methode auf andere soziale Medien-Plattformen, Instant-Messaging-Plattformen und potenziell in Bereichen wie Emotionserkennung und multimodaler Emotionserkennung generalisiert werden kann.

Popularität als Schlüsselindex

Der Ansatz scheint auf einer bestimmten ‘Viralität’ für jedes GIF zu basieren, wie z.B. wenn ein GIF tatsächlich über Twitters eigene Mechanismen verfügbar gemacht wird. Vermutlich können neu erstellte Benutzer-GIFs nicht in diese Ökonomie eintreten, außer durch erhöhte Popularität und Übernahme als Meme.

Reaktions-GIFs haben wiederbelebt die Verwendung des primitiven animierten GIF-Formats von 1987 über die letzten zehn Jahre, nach Jahren der Missgunst als Bandbreitenfresser (hauptsächlich für nervige Banner-Werbung) in der Internet-V1-Ära vor der Breitband-Ära.