Reaction GIFs 为 NLP的情感识别提供了新的关键

台湾最新的研究提出了一种新的方法，用于自然语言处理（NLP）对社交媒体论坛和语言研究数据集进行情感分析——通过对发布的动态 GIF 进行分类和标记。

由台湾清华大学的 Boaz Shmueli 领导的研究人员使用 Twitter 内置的反应 GIF 数据库作为索引来量化用户响应的感性状态，避免了处理多种语言响应、检测讽刺的挑战或从模糊或过于简短的响应中识别核心情感温度的需要。

点击 Twitter 发帖时的“GIF”按钮，提供了一组标准的标记动态 GIF，NLP 更容易解释，而不是使用纯文本语言。

该 论文 将这种使用反应 GIF 的方法描述为 ‘NLP 情感数据集中尚未有的新型标签’，并指出现有的数据集要么使用 维度模型，要么使用 离散情感模型，但这两种模型都不能提供这种见解。

用户帖子的动态 GIF 响应。使用 Twitter 提供的 GIF 并将其编码为感性状态，模糊的意图几乎被消除。 来源：https://arxiv.org/pdf/2105.09967.pdf

研究人员发布了一份包含 30,000 条带有 GIF 响应的讽刺推文的 数据集。这种方法为 NLP 提供了一种区别，即区分 感知的情感（读者从文本中识别的情感）和 诱发的情感（读者对文本做出反应时感受到的情感）。

反应 GIF 作为还原性指标

在对分享令人痛苦的情绪状态的帖子的支持响应中，一个合适的 GIF 在没有支持文本的情况下是有用的还原主义和无歧义的。

例如，诸如 ‘那太残酷了，伙计’、‘那真遗憾’ 或 ‘哇’ 的反应可能包含模糊的意图，从某种“临床”的和无动于衷的立场到讽刺的可能性；但发布 Twitter 的数百个“拥抱”类别的 GIF 会留下较少的解释空间：

深入探讨 GIF 反应的子含义

然而，在任何单一类别的反应中，例如“拥抱”，都有许多额外的情绪或观点的指标，涵盖了多种受影响状态，包括响应者和原始发布者之间的浪漫或家庭关系的立场。

Twitter 上可用的“拥抱”GIF 类别中各种关系的描绘。使用多种流派、套路、性别描绘和其他因素为这种情绪的潜在可解释性添加了细微差别。

ReactionGIF 数据集是从 Twitter 上每个可用反应类别的前 100 个 GIF 中导出的，导致创建了一个包含 4300 个动画图像的数据库。当一个 GIF 出现在多个类别中时，GUI 中排名更高的类别被赋予更高的权重。在多个类别中出现的图像被分配一个 反应相似性 因子——一个为本研究而发明的度量标准。

然后使用层次聚类和平均链接发现相似性。

增强反应 GIF 数据

该数据集是通过将该方法应用于 30,000 条推文而生成和标记的。反应类别的“丰富的情感信号”使研究人员能够用基于正面和负面反应类别集群的额外情感标签来增强数据集，并使用专门的反应到情感的映射方案添加情感标签，该方案基于三个人类评估者对样本推文的多数判决。

雅虎和罗切斯特大学的先前 工作 处理 GIF 的注释，但不具有这种层次的诱发文本，也没有反应类别，但仅仅是语义的。

研究人员使用四种方法评估了数据集：RoBERTa、卷积神经网络（CNN）GloVe、逻辑回归分类器和简单多数类分类器。每个类别的说服力在结果中表现得很明显，赞同、同意和哀悼最容易识别（并且最常见），而道歉最难评估，也许是因为其中可能包含讽刺。

RoBERTa 模型在所有三种评估方法中产生了最高的排名平均值，包括情感反应预测、诱发情绪预测和诱发情感预测。

从反应 GIF 中提取用户情感

研究人员观察到，识别诱发的情感是 NLP 中情感分析和情绪分析中最具挑战性的任务之一，而使用反应 GIF 作为代理提供了以后项目收集“大量廉价、自然产生、高质量的情感标签”的可能性。

尽管研究集中在 Twitter 用户体验中嵌入的 GIF 上，但该研究声称这种方法可以推广到其他社交媒体平台，以及即时通讯平台，并可能在情感识别和多模态情感检测等领域发挥作用。

受欢迎程度作为关键索引

这种方法似乎依赖于每个 GIF 的某种“病毒式传播”，例如当一个 GIF 通过 Twitter 自身的机制提供时。新用户生成的 GIF 可能不能进入这种生态系统，除非它们通过更高的受欢迎程度和作为表情包的采用而进入。

反应 GIF 已经 复兴 了 1987 年原始动态 GIF 格式的使用，在过去十年中，之前由于主要用于烦人的横幅广告而在互联网 V1 宽带时代声名狼藉。