Andersonの視点

リアクションGIFはNLPの感情認識に新たな鍵を提供する

公開日 2021年5月24日

更新日 2026年5月24日

著者

Martin Anderson

Unite.AI を Google の優先ソースに追加

台湾からの新しい研究は、ソーシャルメディアフォーラムや言語研究データセットの感情分析を行うために、Natural Language Processing (NLP) に新しい方法を提供しています。つまり、投稿に対してアニメーションGIFが返信として投稿される際に、それをカテゴリ化してラベル付けすることです。

研究者は、Boaz Shmueli が率いる台湾の国立清華大学のチームで、Twitter の内蔵データベースのリアクションGIFを使用して、ユーザーの返信の感情状態を量化しました。これにより、複数の言語の返信を処理する必要性、サーカズムの検出の課題、または曖昧または非常に短い返信からの感情温度の検出の必要性がなくなりました。

ツイッター投稿を作成する際に「GIF」ボタンをクリックすると、NLP が解釈しやすい標準的なラベル付きアニメーションGIF が表示されます。

この論文では、このようなリアクションGIFの使用を「NLP 感情データセットにはまだ利用できない新しいタイプのラベル」と表現しています。また、既存のデータセットは、感情の次元モデルまたは離散感情モデルを使用しているが、これらはこの種の洞察を提供していないと述べています。

ユーザー投稿へのアニメーションGIFの返信。ツイッターが提供するGIFは感情状態でコード化されているため、感情分析における意図の曖昧さはほぼ除去されます。Source: https://arxiv.org/pdf/2105.09967.pdf

研究者は、30,000 のサーカズムを含むツイートの GIF 反応のデータセットを公開しました。このアプローチにより、NLP に他の文献では見られない区別が可能になりました。つまり、認識された 感情 (テキストから読者が特定する感情) と 誘発された 感情 (読者がテキストに対する反応として経験する感情) を区別する方法です。

リアクションGIFは還元的指標である

感情的な状態を共有する投稿に対するサポート的な返信として、適切なGIFは、テキストなしで投稿された場合、意図が曖昧である可能性のある「その通り、男」というような返信よりも、還元主義的で意図が明確です。

たとえば、「その通り、男」、「残念」、「あぁ」 などの反応には、ある程度の意図の曖昧さが含まれています。ある程度の「冷静で無関心のある」視点から、皮肉まで含まれる可能性があります。しかし、ツイッターの数百種類の「ハグ」カテゴリのGIFのいずれかを投稿することは、解釈の余地が少なくなります:

GIF反応のサブ意味を掘り下げる

ただし、あるカテゴリの反応の中でも、たとえば「ハグ」の場合、複数の感情状態や視点を包含する追加の指標が存在します。これには、投稿者と返信者との関係のロマンチックまたは家族的な前提など、さまざまなジャンルが含まれます。

ツイッターの利用可能な「ハグ」GIFカテゴリの関係の様々な描写。ジャンル、トロープ、ジェンダー描写など、さまざまな要素がこの感情の解釈可能性に細分性を追加します。

ReactionGIF データセットは、Twitter のすべての利用可能な反応カテゴリの最初の 100 個の GIF から派生し、4300 個のアニメーション画像のデータベースを生成しました。GIF が複数のカテゴリに表示される場合、GUI 内の配置が高いカテゴリに重み付けされます。複数のカテゴリに表示される画像には、反応類似度 因子が割り当てられます。これは、この研究のために作成されたメトリックです。

類似性は、階層クラスタリングと平均リンクを使用して発見されます。

リアクションGIFデータの拡張

データセットは、30,000 のツイートに対してこの方法を適用して生成およびラベル付けされました。反応カテゴリの「豊かな感情信号」により、研究者は、正の反応カテゴリクラスターと負の反応カテゴリクラスターに基づいて、追加の感情ラベルでデータセットを拡張できました。また、専用の反応から感情へのマッピングスキーマに基づいて、感情ラベルを追加しました。これは、サンプルツイートに対する 3 人の人間評価者の多数決によって行われました。

以前の研究では、ヤフーとロチェスター大学が行った GIF の注釈付けに関するものですが、こちらはこの層の引き出されたテキストや反応カテゴリがないため、純粋に意味論的です。

研究者は、4 つのアプローチでデータセットを評価しました: RoBERTa、GloVe を使用する Convolutional Neural Network (CNN)、ロジスティック回帰分類器、およびシンプルな多数クラス分類器。各カテゴリの確信の重みは結果で明らかになり、賛同、同意、哀悼が最も容易に特定でき (そして最も表現され)、謝罪が最も評価が難しいと考えられます。たぶん、皮肉が含まれる可能性があるためです。