Reaktions-GIFs bieten einen neuen Schlüssel für die Emotionserkennung in NLP

Neue Forschungsergebnisse aus Taiwan bieten eine innovative Methode für die Natürliche Sprachverarbeitung (NLP), um Sentiment-Analysen auf sozialen Medien-Foren und Sprachforschungsdatensätzen durchzuführen – indem sie animierte GIFs, die auf Textankündigungen reagieren, kategorisieren und beschriften.

Die Forscher, angeführt von Boaz Shmueli von der Nationalen Tsing-Hua-Universität in Taiwan, haben Twitters eingebaute Datenbank von Reaktions-GIFs als Index verwendet, um den affektiven Zustand einer Benutzerreaktion zu quantifizieren, wodurch die Notwendigkeit entfällt, multiple Sprachreaktionen zu verhandeln, die Herausforderung des Erkennens von Sarkasmus oder des Identifizierens der emotionalen Temperatur aus mehrdeutigen oder übermäßig kurzen Reaktionen.

Das Klicken auf den ‘GIF’-Button beim Erstellen eines Twitter-Beitrags bietet eine standardmäßige Auswahl von beschrifteten animierten GIFs, die für die NLP leichter zu interpretieren sind als die potenziell mehrdeutige Verwendung von Plain-Text-Sprache.

Die Studie charakterisiert die Verwendung von Reaktions-GIFs auf diese Weise als ‘eine neue Art von Beschriftung, die bisher in NLP-Emotionsdatensätzen nicht verfügbar ist’ und bemerkt, dass bestehende Datensätze entweder das dimensionale Modell der Emotion oder das diskrete Emotionsmodell verwenden, keines von denen diese Art von Erkenntnissen bietet.

Eine animierte GIF-Reaktion auf einen Benutzerbeitrag. Mit dem von Twitter bereitgestellten GIF, das nun in Bezug auf den affektiven Zustand kodifiziert ist, ist die Mehrdeutigkeit der Absicht im Hinblick auf die Sentiment-Analyse fast vollständig entfernt. Quelle: https://arxiv.org/pdf/2105.09967.pdf

Die Forscher haben einen Datensatz von 30.000 sarkastischen Tweets mit GIF-Reaktionen veröffentlicht. Dieser Ansatz bietet der NLP eine Unterscheidung, die in anderen aktuellen Literatur fehlt: eine Methode, um waargenommene Emotion (Emotionen, die ein Leser aus dem Text identifiziert) von hervorgerufener Emotion (eine Gefühl, das der Leser als Reaktion auf den Text erlebt) zu unterscheiden.

Reaktions-GIFs als reduktive Indikatoren

In Bezug auf eine unterstützende Reaktion auf einen Beitrag, der einen belastenden emotionalen Zustand teilt, ist ein passender GIF nützlich reduktionistisch und unmissverständlich in der Absicht, wenn er ohne unterstützenden Text gepostet wird (und diese sind die Arten von GIF-Reaktionen, auf die die Studie sich konzentrierte).

Beispielsweise enthalten Reaktionen wie ‘Das ist brutal, Mann’, ‘Das ist schade’ oder ‘Awww’ potenzielle Mehrdeutigkeiten der Absicht, von der Möglichkeit einer bestimmten ‘klinischen’ und unberührten Haltung bis hin zur Möglichkeit von Sarkasmus; aber das Posten eines von Twitters hunderten ‘Umarmungs’-GIFs lässt weniger Raum für Interpretation:

Vertiefung in die Sub-Bedeutungen einer GIF-Reaktion

Trotzdem gibt es innerhalb einer einzelnen Kategorie von Reaktionen, wie ‘Umarmung’, zahlreiche zusätzliche Indikatoren für Stimmung oder Perspektive, die multiple Genres von affektivem Zustand umfassen, einschließlich der Perspektive romantischer oder familiärer Annahmen der Beziehung zwischen dem Reaktor und dem ursprünglichen Poster.

Darstellung verschiedener Arten von Beziehungen in Twitters verfügbarer ‘Umarmungs’-GIF-Kategorie. Die Verwendung von verschiedenen Genres, Tropen, Geschlechterdarstellungen und anderen Faktoren fügt Granularität zur potenziellen Interpretierbarkeit einer GIF-Wahl für diese Sentiment hinzu.

Der ReactionGIF-Datensatz wurde aus den ersten 100 GIFs in jeder verfügbaren Reaktionskategorie auf Twitter abgeleitet, was zu einer Datenbank von 4300 animierten Bildern führte. Wenn ein GIF in mehr als einer Kategorie erscheint, wird die Kategorie mit der höheren Platzierung in der Benutzeroberfläche höher gewichtet. Bilder, die in mehreren Kategorien erscheinen, werden einem Reaktionsähnlichkeitsfaktor zugewiesen – einem für die Studie erfundenen Maß.

Affinitäten werden dann mithilfe hierarchischer Clustering und Durchschnittsverknüpfung entdeckt.

Erweiterung von Reaktions-GIF-Daten

Der Datensatz wurde generiert und beschriftet, indem die Methode gegen 30.000 Tweets angewendet wurde. Der ‘reiche affektive Signal’ einer Reaktionskategorie ermöglichte es den Forschern, den Datensatz mit zusätzlichen affektiven Beschriftungen zu erweitern, basierend auf den positiven und negativen Reaktionskategorien-Clustern, und Emotions-Beschriftungen mit einem dedizierten Reaktions-zu-Emotionen-Mappingschema hinzuzufügen, basierend auf dem Mehrheitsurteil von drei menschlichen Evaluatoren auf Beispiel-Tweets.

Frühere Arbeiten von Yahoo und der University of Rochester, die sich mit der Annotation von GIFs beschäftigen, haben diese Schicht von eliziertem Text nicht, noch Reaktionskategorien, sondern sind rein semantisch.

Die Forscher bewerteten den Datensatz über vier Ansätze: RoBERTa, das Convolutional Neural Network (CNN) GloVe, einen logistischen Regressionsklassifizierer und einen einfachen Mehrheitsklassifizierer. Das Gewicht der Überzeugung für jede Kategorie tritt in den Ergebnissen sehr deutlich hervor, wobei Zustimmung, Übereinstimmung und Mitgefühl am leichtesten zu identifizieren sind (und am häufigsten vertreten), und Entschuldigung am schwierigsten zu bewerten, vielleicht weil dies die Möglichkeit von Sarkasmus einschließt.

Das RoBERTa-Modell erzeugte den höchsten getesteten Rangdurchschnitt über alle drei Bewertungsmethoden, die aus affektiver Reaktionsvorhersage, induzierter Sentimentvorhersage und induzierter Emotionsvorhersage bestanden.

Aus Benutzerreaktionen-GIFs Emotionen ableiten

Die Forscher bemerken, dass die Identifizierung von induzierter Emotion eine der herausforderndsten Aufgaben in der NLP-basierten Sentiment- und Emotionsanalyse ist und dass die Verwendung von Reaktions-GIFs als Proxy die Möglichkeit für spätere Projekte bietet, ‘große Mengen an preiswerten, natürlich vorkommenden, hochwertigen affektiven Beschriftungen’ zu sammeln.

Trotz der Konzentration auf einen sehr spezifischen Bereich von GIFs, die in die Twitter-Benutzeroberfläche eingebettet sind, behauptet die Studie, dass diese Methode auf andere soziale Medien-Plattformen, Instant-Messaging-Plattformen und potenziell auf Branchen wie Emotionserkennung und multimodale Emotionserkennung verallgemeinert werden kann.

Popularität als Schlüsselindex

Der Ansatz scheint auf eine bestimmte ‘Viralität’ für jedes GIF zu setzen, wie wenn ein GIF tatsächlich über Twitters eigene Mechanismen verfügbar ist. Vermutlich könnten neu erstellte Benutzer-GIFs nicht in diese Ökosysteme eindringen, außer durch erhöhte Popularität und Adoption als Meme.

Reaktions-GIFs haben die Verwendung des 1987er animierten GIF-Formats in den letzten zehn Jahren wiederbelebt, nachdem es in der Internet-V1-Ära vor der Breitband-Ära als Bandbreitenfresser (hauptsächlich für störende Banner-Werbung) in Misskredit geraten war.