Reaktio-GIFit tarjoavat uuden avaimen tunneherkkyyden tunnistamiseen NLP:ssä

Uusi tutkimus Taiwasta tarjoaa uuden menetelmän luonnollisen kielen prosessoinnille (NLP) suorittaa mielipideanalyysiä sosiaalisen median foorumeilla ja kielitutkimuksen aineistoissa – luokittelemalla ja merkitsemällä animoituja GIF-kuvia, jotka julkaistaan tekstiuutisten vastauksena.

Tutkijat, joita johti Boaz Shmueli National Tsing Hua Universitystä Taiwasta, ovat käyttäneet Twitterin sisäänrakennettua reaktio-GIF-tietokantaa indeksinä mittaamaan käyttäjän vastauksen affektiivista tilaa, välttämällä useiden kielen vastausten, sarkasmin havaitsemisen haasteen tai emotionaalisen lämpötilan tunnistamisen epämääräisistä tai liian lyhyistä vastauksista.

Klikkaamalla ‘GIF’-painiketta Twitter-viestin kirjoittamisen aikana, saat käyttöön vakiovalikoiman merkittyjä animoituja GIF-kuvia, jotka ovat NLP:lle helpommin tulkitettavissa kuin yksinkertainen tekstikieli.

Tutkimus kuvaa reaktio-GIFien käyttöä tällaisena uutena ‘merkkinä, jota ei ole vielä NLP-tunneaineistoissa’, ja toteaa, että olemassa olevat aineistot käyttävät joko dimensiomallia tai erillistä tuntemallia, joista kumpikaan ei tarjoa tällaista näkemystä.

Animoitu GIF-vastaus käyttäjän viestiin. Kun Twitterin toimittama GIF on koodattu affektiiviseksi tilaksi, tarkoituksen epämääräisyys on poistunut lähes kokonaan. Lähde: https://arxiv.org/pdf/2105.09967.pdf

Tutkijat ovat julkaisseet aineiston 30 000 sarkastista twiittiä, joissa on GIF-vastauksia. Tämä lähestymistapa tarjoaa NLP:lle eron, joka puuttuu muusta kirjallisuudesta: menetelmän havaitun emotion (emotion, jonka lukija tunnistaa tekstistä) ja indusoitu emotion (tunne, jonka lukija kokee reaktiona tekstiin) välillä.

Reaktio-GIFit vähentävinä osoittimina

Tukevan vastauksen osalta viestiin, jossa jaetaan ahdistavaa emotionaalista tilaa, sopiva GIF on hyödyllisesti reduktiivinen ja epämääräinen tarkoituksessa, kun se julkaistaan ilman tukitextiä (ja nämä ovat GIF-vastauksia, joita tutkimus keskittyi).

Esimerkiksi reaktiot, kuten ‘Se on julma, mies’, ‘Se on häpeä’ tai ‘Aww’, sisältävät potentiaalisia tarkoituksen epämääräisyyksiä, mahdollisesta ‘kliinisestä’ ja vaikutuksettoman näkökulmasta sarkasmia, mutta yhden Twitterin satojen ‘halaus’-luokan GIFin julkaiseminen jättää vähemmän tilaa tulkinnalle:

Porautuminen GIF-vastausten alimerkityksiin

Kuitenkin yhden reaktion kategoriassa, kuten ‘halaus’, on useita lisämerkintöjä mielialasta tai näkökulmasta, jotka kattavat useita affektiivisen tilan tyyppejä, mukaan lukien vastaajan ja alkuperäisen viestin lähettäjän välinen suhteen romaaninen tai perheellinen oletus.

Eri tyypien esittäminen Twitterin saatavilla olevassa ‘halaus’-GIF-luokassa. Erilaisten tyylilajien, troppien, sukupuolikuvausten ja muiden tekijöiden käyttö lisää hienovaraisuutta GIF-valinnan tulkinnassa tälle mielipidelle.

ReactionGIF-aineisto johdettiin Twitterin jokaisen saatavilla olevan reaktioluokan ensimmäisistä 100 GIFistä, mikä johti 4300 animoidun kuvan tietokantaan. Kun GIF esiintyy useassa luokassa, korkeamman sijoituksen GUI:ssa painotetaan korkeammaksi. GIFit, jotka esiintyvät useissa luokissa, saavat reaktioyhtäläisyyden tekijän – mittarin, joka keksittiin tutkimuksessa.

Suhteet löydetään hierarkkisella klusteroinnilla ja keskiarvolla.

Reaktio-GIF-datan täydentäminen

Aineisto luotiin ja merkittiin soveltamalla menetelmää 30 000 twiittiin. Reaktioluokan ‘rikas affektiivinen signaali’ antoi tutkijoille mahdollisuuden täydentää aineistoa lisäksi affektiivisilla merkeillä, positiivisten ja negatiivisten reaktioluokkien klustereiden perusteella, ja lisätä emotion merkeillä omalla reaktio-emotion kartoituskaavalla, joka perustuu kolmen ihmisen arvioijan enemmistöpäätökseen näytteessä olevista twiiteistä.

Aiempi työ Yahoolta ja Rochesterin yliopistosta, joka käsittelee GIFien annotointia, ei sisällä tätä kerrosta herätettyä tekstiä eikä reaktioluokkia, vaan on puhtaasti semanttinen.

Tutkijat arvioivat aineistoa neljällä lähestymistavalla: RoBERTa, konvoluutio-neuroverkko (CNN) GloVe, logistinen regressio-luokittelija ja yksinkertainen enemmistöluokittelija. Kunkin luokan vakuuttavuuden paino nousee selvästi tuloksissa, joissa hyväksyntä, sopimus ja myötätunto ovat helpoimmin tunnistettavissa (ja eniten edustettuina), ja anteeksianto on vaikein arvioida, koska se sisältää sarkasmin mahdollisuuden.

RoBERTa-malli tuotti korkeimman testatun keskiarvon kaikissa kolmessa arviointimenetelmässä, jotka koostuivat affektiivisesta reaktioprediktiosta, indusoidusta mielipideprediktiosta ja indusoidusta emotionprediktiosta.

Käyttäjän emotion tunnistaminen reaktio-GIFeistä

Tutkijat toteavat, että indusoidun emotion tunnistaminen on yksi haasteellisimmista tehtävistä NLP-pohjaisessa mielipide- ja emotionanalyysissä, ja että reaktio-GIFien käyttäminen välittäjänä tarjoaa mahdollisuuden myöhemmille projekteille kerätä ‘suuria määriä halpoja, luonnostaan olevia, laadukkaita affektiivisia merkkejä’.

Vaikka tutkimus keskittyi hyvin spesifiseen reaktio-GIFien osaan, jotka on upotettu Twitterin käyttäjäkokemukseen, tutkimus väittää, että tämä menetelmä voidaan yleistää muihin sosiaalisen median alustoihin, sekä instant messaging -alustoille, ja mahdollisesti olla hyödyllistä aloilla, kuten emotion tunnistamisessa ja multimodaalisessa emotion havaitsemisessa.

Suosiosta avainindeksi

Lähestymistapa näyttää riippuvan tietynlaisesta ‘viraalista’ jokaiselle GIFille, kuten kun GIF on saatavilla Twitterin omien mekanismien kautta. Luultavasti uudet käyttäjien luomat GIFit eivät voi tulla tähän ekosysteemiin muuten kuin suosiota ja omaksumista meeminä.

Reaktio-GIFit ovat elvyttäneet 1987 animoidun GIF-muodon käytön viimeisen kymmenen vuoden aikana, jota seurasi vuosia epäsuosiota bittinhlöörinä (pääasiassa käytetty ärsyttävissä banner-mainoksissa) Internet V1 -epälaajakaistaisessa aikakaudessa.