人工知能

リアクションGIFはNLPの感情認識に新しい鍵を提供する

Published May 24, 2021

Updated April 28, 2026

Martin Anderson

台湾からの新しい研究は、ソーシャルメディアフォーラムと言語研究データセットで感情分析を実行するために、Natural Language Processing (NLP) に新しい方法を提供しています。アニメーションGIFをカテゴリ化してラベル付けすることで、テキストアナウンスに応じて投稿されたアニメーションGIFを使用して、ユーザーのレスポンスの感情状態を量化することができます。

研究者たちは、台湾の国立清華大学のBoaz Shmueliが率いています。Twitterの組み込みデータベースのリアクションGIFを使用して、ユーザーのレスポンスの感情状態を量化するために、多言語のレスポンスを交渉する必要性、挑戦を検出する必要性、または曖昧または極めて短いレスポンスからの核心的な感情温度を識別する必要性を排除しています。

Twitter投稿を組み立てるときに「GIF」ボタンをクリックすると、標準的なラベル付きアニメーションGIFが表示され、NLPが解釈するには平文テキストよりも容易です。

論文では、このようなリアクションGIFの使用を「NLP感情データセットではまだ利用できない新しいタイプのラベル」と表現し、既存のデータセットは、感情の次元モデルまたは離散感情モデルを使用しているが、どちらもこのような洞察を提供していないと述べています。

ユーザー投稿へのアニメーションGIFのレスポンス。Twitterが提供するGIFは感情状態をコード化しているため、意図の曖昧さはほぼ除去されます。 ソース: https://arxiv.org/pdf/2105.09967.pdf

研究者たちは、30,000件のサーカズムを含むツイートのGIF反応のデータセットを公開しました。このアプローチは、現在の文献から欠けているNLPへの区別を提供します。つまり、認識された感情（テキストから読者が識別する感情）と誘発された感情（テキストへの反応として読者が経験する感情）を区別する方法です。

リアクションGIFとしての還元的指標

投稿が心の痛みを共有している場合、適切なGIFは、テキストなしで投稿された場合（この研究ではこれらのタイプのGIFレスポンスに焦点を当てました）、意図が曖昧である可能性があります。

たとえば、「それはひどい、男」、「それは残念」、または「アワー」には、特定の「臨床的」で無感情の視点から、皮肉まで、意図の曖昧さが含まれています。しかし、Twitterの数百の「ハグ」カテゴリのGIFの1つを投稿すると、解釈の余地が少なくなります：

GIF反応のサブ意味の分析

ただし、1つのカテゴリ（「ハグ」など）の中でも、さまざまな気分や視点を表す多数の追加の指標があり、ロマンチックまたは家族的な関係の前提を含む、影響を受ける状態のさまざまなジャンルがあります。

Twitterの利用可能な「ハグ」GIFカテゴリの関係の表現。ジャンル、トロープ、性別の表現など、さまざまな要素を使用することで、GIFの選択によるこの感情の解釈可能性に細分性が追加されます。

ReactionGIFデータセットは、Twitterの各利用可能な反応カテゴリの最初の100個のGIFから派生し、4300個のアニメーション画像のデータベースになりました。GIFが複数のカテゴリに表示される場合、GUIに表示されるカテゴリの順位が高い方が重み付けされます。複数のカテゴリに表示される画像には、反応の類似性係数が割り当てられます。これは、この研究のために作成されたメトリックです。

類似性は、階層クラスタリングと平均結合によって発見されます。

リアクションGIFデータの増強

データセットは、30,000件のツイートにこの方法を適用して生成およびラベル付けされました。反応カテゴリの「豊かな感情信号」により、研究者は、正の反応カテゴリクラスターと負の反応カテゴリクラスターに基づいて、追加の感情ラベルでデータセットを増強し、3人の人間評価者の多数決に基づいて、専用の反応から感情へのマッピングスキーマを使用して、感情ラベルを追加しました。

以前の研究は、ヤフーとロチェスター大学から行われ、GIFの注釈付けについて扱っていますが、引き出されたテキストのこの層や反応カテゴリはありません。ただ純粋に意味論的です。

研究者たちは、4つのアプローチでデータセットを評価しました：RoBERTa、Convolutional Neural Network (CNN) GloVe、ロジスティック回帰分類器、および単純な多数クラス分類器。各カテゴリの確信の重みは結果から明らかで、賛同、同意、哀悼が最も容易に識別され（そして最も表現され）、謝罪が最も難しい評価となりました。皮肉の可能性を含むためです。