Reakční GIFy nabízejí nový klíč k rozpoznání emocí v NLP

Nový výzkum z Tchaj-wanu nabízí novou metodu pro Natural Language Processing (NLP) k provedení sentimentální analýzy na sociálních médiích a jazycových výzkumných datech – pomocí kategorizace a označování animovaných GIFů, které jsou zveřejňovány v reakci na textová oznámení.

Vědci, vedeni Boazem Shmuelim z National Tsing Hua University na Tchaj-wanu, použili Twitterovu vestavěnou databázi reakčních GIFů jako index pro kvantifikaci afektivního stavu uživatele, čímž se vyhnuli potřebě zpracovat více jazykových odpovědí, výzvu detekovat sarkasmus, nebo identifikovat základní emocionální teplotu z ambivalentních nebo příliš krátkých odpovědí.

Kliknutím na tlačítko ‘GIF’ při vytváření příspěvku na Twitteru se nabízí standardní sada označených animovaných GIFů, které jsou pro NLP snazší interpretovat než prostý textový jazyk.

Článek charakterizuje použití reakčních GIFů tímto způsobem jako ‘nový typ označení, který dosud není k dispozici v NLP emocionálních datech’, a uvádí, že stávající datové sady buď používají dimenzionální model emocí nebo diskrétní emocionální model, žádný z nich však nenabízí tento typ přehledu.

Animovaný GIF odpověď na uživatelský příspěvek. Díky Twitterovým GIFům, které jsou nyní kódovány z hlediska afektivního stavu, je ambivalence záměru téměř odstraněna. Zdroj: https://arxiv.org/pdf/2105.09967.pdf

Vědci zveřejnili datovou sadu 30 000 sarkastických tweetů obsahujících GIF reakce. Tento přístup nabízí NLP rozlišení, které chybí v ostatních současných literárních pracech: metodu pro rozlišení vnímané emoce (emuce, které čtenář identifikuje z textu) od vyvolané emoce (pocity, které čtenář prožívá jako reakci na text).

Reakční GIFy jako reduktivní indikátory

Z hlediska podpůrné reakce na příspěvek, který sdílí stresující emocionální stav, je vhodný GIF užitečně redukcionistický a neambivalentní v záměru, když je zveřejněn bez podpůrného textu (a tyto jsou typy GIF reakcí, na které se studie zaměřila).

Například reakce, jako ‘To je kruté, člověče’, ‘To je škoda’ nebo ‘Ách’ obsahují potenciální ambivalence záměru, od možnosti jistého ‘klinického’ a neovlivněného postoje až po možnost sarkasmu; ale zveřejnění jednoho z Twitterových stovek ‘objímajících’-kategorie GIFů zanechává méně prostoru pro interpretaci:

Prohlubování se do sub-významů GIF reakce

Nicméně, v rámci každé kategorie reakce, jako je ‘objímání’, existují numerous další indikátory nálady nebo postoje, zahrnující multiple žánry ovlivněného stavu, včetně postoje romantického nebo rodinného předpokladu vztahu mezi respondentem a původním přispěvatelem.

Zobrazení různých typů vztahů v Twitterově dostupné ‘objímající’-kategorii GIF. Použití různých žánrů, tropů, genderových zobrazení a dalších faktorů přidává granularitu potenciální interpretovatelnosti GIF výběru pro tento sentiment.

Reakční GIF datová sada byla odvozena z prvních 100 GIFů v každé dostupné reakční kategorii na Twitteru, vedoucí k databázi 4300 animovaných obrázků. Pokud se GIF objeví ve více než jedné kategorii, je kategorie s vyšším umístěním v GUI vážen vyšší. Obrázky, které se objevují ve více kategoriích, jsou přiřazeny reakční podobnost faktor – metrika vynalezená pro studii.

Affinity jsou poté objeveny pomocí hierarchického clusterování a průměrného propojení.

Doplňování reakčních GIF dat

Datová sada byla generována a označena aplikací metody proti 30 000 tweetům. ‘Bohatý afektivní signál’ reakční kategorie umožnil výzkumníkům doplnit datovou sadu o další afektivní označení, založené na pozitivních a negativních reakčních kategoriích, a přidat emocionální označení s věnovanou reakcí-na-emoci mapovací schématem, založenou na většinovém verdiktu tří lidských hodnotitelů na vzorku tweetů.

Předchozí práce z Yahoo a University of Rochester, která se zabývá označením GIFů, nemá tuto vrstvu vyvolaného textu, ani žádné reakční kategorie, ale je čistě semantická.

Výzkumníci vyhodnotili datovou sadu napříč čtyřmi přístupy: RoBERTa, Konvoluční neuronová síť (CNN) GloVe, logistický regresní klasifikátor a jednoduchý většinový klasifikátor. Váha přesvědčení pro každou kategorii se objevuje poměrně jasně ve výsledcích, s approbací, souhlasem a soucitem nejsnazšími pro identifikaci (a nejvíce reprezentovanými), a omluvou nejobtížnější pro vyhodnocení, možná proto, že zahrnuje možnost sarkasmu.

RoBERTa model vygeneroval nejvyšší testovaný průměrný rank napříč všemi třemi metodami hodnocení, které zahrnovaly Affective Reaction Prediction, Induced Sentiment Prediction a Induced Emotion Prediction.

Získávání uživatelské emoce z reakčních GIFů

Výzkumníci pozorují, že identifikace vyvolané emoce je jednou z nejobtížnějších úkolů v NLP-založené sentimentální a emocionální analýze, a že použití reakčních GIFů jako proxy nabízí možnost pro pozdější projekty shromáždit ‘velké množství levných, přirozeně se vyskytujících, vysoce kvalitních afektivních označení’.

Navzdory tomu, že se soustředili na velmi specifické místo GIFů vložených do Twitterovy uživatelské zkušenosti, studie tvrdí, že tato metoda může být generalizována na jiné sociální média, stejně jako na instant messaging platformy, a potenciálně být užitečná v sektorech, jako je rozpoznání emocí a multimodální emocionální detekce.

Popularita jako klíčový index

Přístup se zdá být založen na jisté ‘virality’ pro každý GIF, jako když je GIF skutečně dostupný prostřednictvím Twitterových vlastních mechanismů. Předpokladem je, že noví uživatelé generovaní GIFy nemohou vstoupit do tohoto ekosystému, kromě zvýšené popularity a přijetí jako meme.

Reakční GIFy obnovily použití 1987’s primitivního animovaného GIF formátu za posledních deset let, poté, co následovaly roky zavržení jako spotřebitel šířky pásma (primárně používaný pro otravné bannerové reklamy) v internetovém V1 před-broadband éře.