Реакционные GIF-изображения предлагают новый ключ к распознаванию эмоций в NLP

Новые исследования из Тайваня предлагают новый метод для обработки естественного языка (NLP) для выполнения анализа настроений в социальных сетях и языковых исследовательских наборах данных – путем категоризации и маркировки анимированных GIF-изображений, которые публикуются в ответ на текстовые объявления.

Исследователи, возглавляемые Боазом Шмуэли из Национального университета Цинхуа в Тайване, использовали встроенную базу данных реакционных GIF-изображений Twitter в качестве индекса для количественной оценки аффективного состояния ответа пользователя, исключая необходимость согласовывать несколько языковых ответов, вызов обнаружения сарказма или определения основной эмоциональной температуры из неоднозначных или чрезмерно кратких ответов.

Нажатие кнопки ‘GIF’ при составлении твита Twitter предлагает стандартный набор помеченных анимированных GIF-изображений, которые потенциально легче для NLP разбить на ‘идентифицированные’ эмоции, чем простой текстовый язык.

Статья характеризует использование реакционных GIF-изображений таким образом как ‘новый тип метки, который еще не доступен в наборах данных эмоций NLP’, и отмечает, что существующие наборы данных либо используют дименсиональную модель эмоций, либо дискретную модель эмоций, ни одна из которых не предлагает такого рода информацию.

Анимированное GIF-ответ на пост пользователя. С учетом того, что GIF Twitter теперь закодирован в терминах аффективного состояния, неоднозначность намерения практически исключена. Источник: https://arxiv.org/pdf/2105.09967.pdf

Исследователи выпустили набор данных из 30 000 саркастических твитов, содержащих реакционные GIF-ответы. Этот подход предлагает NLP различие, отсутствующее в других текущих публикациях: метод различия воспринимаемой эмоции (эмоции, которую читатель определяет из текста) и индуцированной эмоции (чувство, которое читатель испытывает в ответ на текст).

Реакционные GIF-изображения в качестве редуктивных индикаторов

В плане поддерживающего ответа на пост, который делится тревожным эмоциональным состоянием, уместный GIF полезен как редукционист и неоднозначен в намерении, когда публикуется без сопровождающего текста (и именно такие GIF-ответы были сосредоточены в исследовании).

Например, реакции, такие как ‘Это жестоко, чувак’, ‘Это стыдно’ или ‘Ох’, содержат потенциальные неоднозначности намерения, от возможности определенной ‘клинической’ и неэмоциональной точки зрения до возможности сарказма; но публикация одного из сотен GIF-изображений категории ‘объятия’ в Twitter оставляет меньше места для интерпретации:

Бурение в подзначения GIF-реакции

Тем не менее, внутри любой единой категории реакции, такой как ‘объятия’, есть многочисленные дополнительные индикаторы настроения или точки зрения, охватывающие множество жанров аффективного состояния, включая точку зрения романтических или семейных предположений о отношениях между реагирующим и исходным постером.

Изображение различных типов отношений в доступной категории ‘объятия’ Twitter. Использование различных жанров, тропов, изображений гендера и других факторов добавляет детализацию к потенциальной интерпретируемости GIF-выбора для этого настроения.

Набор данных ReactionGIF был получен из первых 100 GIF-изображений в каждой доступной категории реакции в Twitter, что привело к базе данных из 4300 анимированных изображений. Когда GIF-изображение появляется в более чем одной категории, категория с более высоким размещением в GUI имеет больший вес. Изображения, которые появляются в нескольких категориях, назначаются коэффициент подобия реакции – метрика, изобретенная для исследования.

Связи затем обнаруживаются с помощью иерархического кластерного анализа и средней связи.

Дополнение данных реакционных GIF-изображений

Набор данных был сгенерирован и помечен путем применения метода к 30 000 твитам. ‘Богатый аффективный сигнал’ категории реакции позволил исследователям дополнить набор данных дополнительными аффективными метками, основанными на кластерах положительных и отрицательных реакционных категорий, и добавить метки эмоций с помощью специальной схемы сопоставления реакций с эмоциями, основанной на большинстве вердиктов трех человеческих оценщиков на выборочных твитах.

Предыдущая работа из Yahoo и Университета Рочестера, которая занимается аннотацией GIF-изображений, не имеет этого слоя элицированного текста, ни каких-либо реакционных категорий, но является чисто семантической.

Исследователи оценили набор данных по четырем подходам: RoBERTa, свёрточная нейронная сеть (CNN) GloVe, классификатор логистической регрессии и простой классификатор большинства классов. Вес убеждения для каждой категории возникает довольно четко в результатах, с одобрением, согласием и соболезнованием наиболее легко идентифицируемыми (и наиболее представленными), и извинением наиболее трудным для оценки, возможно, поскольку это включает возможность сарказма.

Модель RoBERTa сгенерировала наивысший протестированный средний рейтинг по всем трем методам оценки, которые включали прогнозирование аффективной реакции, прогнозирование индуцированного настроения и прогнозирование индуцированной эмоции.

Извлечение эмоций пользователя из реакционных GIF-изображений

Исследователи отмечают, что определение индуцированной эмоции является одной из наиболее сложных задач в NLP-основанном анализе настроений и эмоций, и что использование реакционных GIF-изображений в качестве прокси предлагает возможность для последующих проектов собрать ‘большие объемы дешевых, естественно возникающих, высококачественных аффективных меток’.

Несмотря на сосредоточение внимания на очень конкретном локусе GIF-изображений, встроенных в опыт пользователя Twitter, исследование утверждает, что этот метод может обобщаться на другие социальные платформы, а также на платформы мгновенного обмена сообщениями, и потенциально быть полезным в таких секторах, как распознавание эмоций и многомодальное обнаружение эмоций.

Популярность в качестве ключевого индекса

Подход, кажется, полагается на определенный ‘вирусность’ для каждого GIF-изображения, такой как когда GIF-изображение фактически доступно через собственные механизмы Twitter. Принято, что новые пользовательские GIF-изображения не могут войти в эту экосистему, кроме как через увеличенную популярность и принятие в качестве мема.

Реакционные GIF-изображения восстановили использование анимированного формата GIF с 1987 года за последние десять лет, после лет пренебрежения как хоггера пропускной способности (в основном используемого для раздражающих баннеров) в эпоху Интернета V1 до широкополосного интернета.