Reactie-GIFs Bieden een Nieuwe Sleutel tot Emotieherkenning in NLP

Nieuw onderzoek uit Taiwan biedt een novate methode voor Natural Language Processing (NLP) om sentimentanalyse uit te voeren op sociale media-fora en taalonderzoeksdatasets – door geanimeerde GIFs die in reactie op tekstmededelingen worden gepost, te categoriseren en te labelen.

De onderzoekers, onder leiding van Boaz Shmueli van de National Tsing Hua University in Taiwan, hebben Twitter’s ingebouwde database van reactie-GIFs gebruikt als index om de affectieve staat van een gebruikersreactie te kwantificeren, waardoor de noodzaak om meerdere taalreacties te onderhandelen, de uitdaging van het detecteren van sarcasme, of het identificeren van de kernemotionele temperatuur vanuit dubbelzinnige of excessief korte reacties, wordt omzeild.

Het klikken op de ‘GIF’-knop bij het opstellen van een Twitter-bericht biedt een standaardset van gelabelde geanimeerde GIFs die potentieel gemakkelijker voor NLP zijn te parseren naar ‘geïdentificeerde’ emoties dan platte tekst.

Het artikel karakteriseert het gebruik van reactie-GIFs op deze manier als ‘een nieuw type label, nog niet beschikbaar in NLP-emotiedatasets’, en merkt op dat bestaande datasets het dimensionale model van emotie of het discrete emotiemodel gebruiken, geen van beide biedt deze soort inzicht.

Een geanimeerde GIF-reactie op een gebruikersbericht. Met de door Twitter geleverde GIF nu gecodeerd in termen van affectieve staat, is de ambiguïteit van intentie vrijwel verwijderd. Bron: https://arxiv.org/pdf/2105.09967.pdf

De onderzoekers hebben een dataset van 30.000 sarcastische tweets met GIF-reacties vrijgegeven. Deze aanpak biedt NLP een onderscheid dat afwezig is in andere huidige literatuur: een methode om waargenomen emotie (emoties die een lezer identificeert uit de tekst) te onderscheiden van geïnduceerde emotie (een gevoel dat de lezer ervaart als reactie op de tekst).

Reactie-GIFs Als Reductieve Indicatoren

In termen van een ondersteunende reactie op een bericht dat een verontrustende emotionele staat deelt, is een passende GIF nuttig reductief en ondubbelzinnig in intentie, wanneer deze zonder ondersteunende tekst wordt gepost (en dit zijn de soorten GIF-reacties waarop de studie zich concentreerde).

Bijvoorbeeld, reacties zoals ‘Dat is brutaal, man’, ‘Dat is een schande’ of ‘Awww’ bevatten potentieel ambiguïteiten van intentie, van de mogelijkheid van een bepaalde ‘klinische’ en onbeïnvloede standpunt tot de mogelijkheid van sarcasme; maar het posten van een van Twitter’s honderden ‘omhelzings’-GIFs laat minder ruimte voor interpretatie:

Dieper Inzoomen Op Sub-Betekenissen Van Een GIF-Reactie

Niettemin, binnen elke enkele categorie van reactie, zoals ‘omhelzing’, zijn er talloze aanvullende indicatoren van stemming of standpunt die meerdere genres van beïnvloede staat omvatten, waaronder het standpunt van romantische of familiaire veronderstellingen van de relatie tussen de reageerder en de oorspronkelijke poster.

Weergave van verschillende soorten relaties in Twitter’s beschikbare ‘omhelzings’-GIF-categorie. Het gebruik van diverse genres, tropen, geslachtsweergaven en andere factoren voegen granulariteit toe aan de potentiële interpreteerbaarheid van een GIF-keuze voor deze sentiment.

De ReactionGIF-dataset is afgeleid van de eerste 100 GIFs in elke beschikbare reactiecategorie op Twitter, wat resulteert in een database van 4300 geanimeerde afbeeldingen. Wanneer een GIF in meer dan één categorie voorkomt, wordt de categorie met de hogere plaatsing in de GUI hoger gewogen. Afbeeldingen die in meerdere categorieën voorkomen, worden een reactiesimilariiteitsfactor toegewezen – een maatstaf die voor de studie is uitgevonden.

Affiniteiten worden vervolgens ontdekt met behulp van hiërarchische clustering en gemiddelde koppeling.

Reactie-GIF-Gegevens Aanvullen

De dataset is gegenereerd en gelabeld door de methode toe te passen op 30.000 tweets. Het ‘rijke affectieve signaal’ van een reactiecategorie stelde de onderzoekers in staat om de dataset aan te vullen met aanvullende affectieve labels, op basis van de positieve en negatieve reactiecategorieclusters, en om emotielabels toe te voegen met een speciaal reacties-naar-emoties-mappingschema, op basis van de meerderheidsuitspraak van drie menselijke evaluatoren op steekproef-tweets.

Eerder onderzoek van Yahoo en de Universiteit van Rochester, dat gaat over het annoteren van GIFs, heeft deze laag van geëliciteerde tekst niet, noch enige reactiecategorieën, maar is puur semantisch.

De onderzoekers hebben de dataset geëvalueerd over vier benaderingen: RoBERTa, het Convolutional Neural Network (CNN) GloVe, een logistische regressieclassificator en een eenvoudige meerderheidsclassificator. Het gewicht van overtuiging voor elke categorie komt vrij duidelijk naar voren in de resultaten, met goedkeuring, overeenstemming en medeleven het meest gemakkelijk te identificeren (en het meest vertegenwoordigd), en verontschuldiging het moeilijkst te evalueren, misschien omdat dit de mogelijkheid van sarcasme omvat.

Het RoBERTa-model heeft de hoogste geteste ranggemiddelde gegenereerd over alle drie methoden van evaluatie, die bestonden uit Affectieve Reactievoorspelling, Geïnduceerde Sentimentvoorspelling en Geïnduceerde Emotievoorspelling.

Gebruikersemotie Afleiden Van Reactie-GIFs

De onderzoekers merken op dat het identificeren van geïnduceerde emotie een van de moeilijkste taken is in NLP-gebaseerde sentiment- en emotieanalyse, en dat het gebruik van reactie-GIFs als proxy de mogelijkheid biedt voor latere projecten om ‘grote hoeveelheden goedkope, natuurlijk voorkomende, hoge kwaliteit affectieve labels’ te verzamelen.

Ondanks het concentreren op een zeer specifieke locus van GIFs die zijn ingebed in de Twitter-gebruikerservaring, stelt de studie dat deze methode kan generaliseren naar andere sociale media-platforms, evenals instant messaging-platforms, en potentieel nuttig kan zijn in sectoren zoals emotieherkenning en multimodale emotiedetectie.

Populariteit Als Een Sleutelindex

De aanpak lijkt te vertrouwen op een bepaalde ‘viraliteit’ voor elke GIF, zoals wanneer een GIF daadwerkelijk beschikbaar wordt gesteld via Twitter’s eigen mechanismen. Verondersteld wordt dat nieuwe, door gebruikers gegenereerde GIFs deze ecostructuur niet kunnen binnentreden, behalve door toegenomen populariteit en adoptie als een meme.

Reactie-GIFs hebben de populariteit van 1987’s primitieve geanimeerde GIF-formaat de afgelopen tien jaar nieuw leven ingeblazen, na jaren van diskrediet als een bandwidthvretende factor (voornamelijk gebruikt voor irritante banneradvertenties) in het Internet V1-pre-breedbandtijdperk.