Reactie-GIFs Bieden een Nieuwe Sleutel tot Emotieherkenning in NLP

Nieuw onderzoek uit Taiwan biedt een novate methode voor Natural Language Processing (NLP) om sentimentanalyse uit te voeren op sociale media-fora en taalonderzoeksdatasets – door geanimeerde GIFs te categoriseren en te labelen die als reactie op tekstberichten worden gepost.

De onderzoekers, onder leiding van Boaz Shmueli van de National Tsing Hua University in Taiwan, hebben de ingebouwde database van Twitter van reactie-GIFs gebruikt als index om de affectieve staat van een gebruikersreactie te kwantificeren, waardoor de noodzaak om meerdere taalreacties te onderhandelen, de uitdaging van het detecteren van sarcasme, of het identificeren van de kernemotietemperatuur vanuit dubbelzinnige of excessief korte reacties, wordt geëlimineerd.

Klikken op de ‘GIF’-knop bij het opstellen van een Twitter-bericht biedt een standaardset van gelabelde geanimeerde GIFs die potentieel gemakkelijker voor NLP te parseren zijn naar ‘geïdentificeerde’ emoties dan platte tekst.

Het artikel karakteriseert het gebruik van reactie-GIFs op deze manier als ‘een nieuw type label, nog niet beschikbaar in NLP-emotiedatasets’, en merkt op dat bestaande datasets het dimensionale model van emotie of het discrete emotiemodel gebruiken, waarvan geen van beiden deze soort inzicht biedt.

Een geanimeerde GIF-reactie op een gebruikersbericht. Met de door Twitter geleverde GIF nu gecodeerd in termen van affectieve staat, is de dubbelzinnigheid van intentie zo goed als verwijderd. Source: https://arxiv.org/pdf/2105.09967.pdf

De onderzoekers hebben een dataset van 30.000 sarcastische tweets met GIF-reacties vrijgegeven. Deze aanpak biedt NLP een onderscheid dat afwezig is in andere huidige literatuur: een methode om waargenomen emotie (emoties die een lezer identificeert uit de tekst) te onderscheiden van geïnduceerde emotie (een gevoel dat de lezer ervaart als reactie op de tekst).

Reactie-GIFs Als Reductieve Indicatoren

In termen van een ondersteunende reactie op een bericht dat een verontrustende emotionele staat deelt, is een passende GIF nuttig reductionistisch en ondubbelzinnig in intentie, wanneer deze zonder ondersteunende tekst wordt gepost (en dit zijn de soorten GIF-reacties waarop de studie zich concentreerde).

Om bijvoorbeeld te reageren met ‘Dat is meedogenloos, man’, ‘Dat is een schande’ of ‘Aww’ bevat potentieel dubbelzinnigheden van intentie, van de mogelijkheid van een bepaalde ‘klinische’ en ongevoelige houding tot de mogelijkheid van sarcasme; maar het posten van een van de honderden ‘omhelzings’-categorie-GIFs van Twitter laat minder ruimte voor interpretatie:

Dieper Graven In Sub-Betekenissen Van Een GIF-Reactie

Toch zijn er, binnen elke enkele categorie van reactie, zoals ‘omhelzing’, talrijke aanvullende indicatoren van stemming of gezichtspunt die meerdere genres van beïnvloede staat omvatten, waaronder het standpunt van romantische of familiaire veronderstellingen van de relatie tussen de reageerder en de oorspronkelijke poster.

Weergave van verschillende soorten relaties in de beschikbare ‘omhelzings’-GIF-categorie van Twitter. Het gebruik van diverse genres, tropen, geslachtsweergaven en andere factoren voegt granulariteit toe aan de potentiële interpreteerbaarheid van een GIF-keuze voor deze sentiment.

De ReactionGIF-dataset is afgeleid van de eerste 100 GIFs in elke beschikbare reactiecategorie op Twitter, wat resulteert in een database van 4300 geanimeerde afbeeldingen. Wanneer een GIF in meer dan één categorie voorkomt, wordt de categorie met de hogere plaatsing in de GUI hoger gewaardeerd. Afbeeldingen die in meerdere categorieën voorkomen, krijgen een reactie-overeenkomstfactor – een metric die voor de studie is uitgevonden.

Affiniteiten worden vervolgens ontdekt met behulp van hiërarchische clustering en gemiddelde koppeling.

Reactie-GIF-Gegevens Aanvullen

De dataset is gegenereerd en gelabeld door de methode toe te passen op 30.000 tweets. De ‘rijke affectieve signalen’ van een reactiecategorie stelden de onderzoekers in staat om de dataset aan te vullen met aanvullende affectieve labels, op basis van de positieve en negatieve reactiecategorieclusters, en om emotielabels toe te voegen met een toegewijd reacties-naar-emoties-mappingschema, op basis van de meerderheidsuitspraak van drie menselijke evaluatoren op voorbeeldtweets.

Eerder onderzoek van Yahoo en The University Of Rochester, dat gaat over het annoteren van GIFs, heeft deze laag van geëliciteerde tekst niet, noch enige reactiecategorieën, maar is puur semantisch.

De onderzoekers hebben de dataset geëvalueerd over vier benaderingen: RoBERTa, het Convolutional Neural Network (CNN) GloVe, een logistische regressieclassificator en een eenvoudige meerderheidsclassificator. Het gewicht van overtuiging voor elke categorie komt duidelijk naar voren in de resultaten, met goedkeuring, overeenstemming en medeleven het meest gemakkelijk te identificeren (en het meest vertegenwoordigd), en verontschuldiging het moeilijkst te evalueren, misschien omdat dit de mogelijkheid van sarcasme omvat.

Het RoBERTa-model genereerde de hoogste geteste ranggemiddelde over alle drie methoden van evaluatie, die bestond uit Affectieve Reactievoorspelling, Geïnduceerde Sentimentvoorspelling en Geïnduceerde Emotievoorspelling.

Gebruikersemotie Afleiden Van Reactie-GIFs

De onderzoekers merken op dat het identificeren van geïnduceerde emotie een van de meest uitdagende taken is in NLP-gebaseerde sentiment- en emotieanalyse, en dat het gebruik van reactie-GIFs als proxy de mogelijkheid biedt voor latere projecten om ‘grote hoeveelheden goedkope, natuurlijk voorkomende, hoogwaardige affectieve labels’ te verzamelen.

Ondanks het concentreren op een zeer specifieke locus van GIFs die zijn ingebed in de Twitter-gebruikerservaring, stelt de studie dat deze methode kan generaliseren naar andere sociale media-platforms, evenals naar instant messaging-platforms, en potentieel nuttig kan zijn in sectoren zoals emotieherkenning en multimodale emotiedetectie.

Populariteit Als Sleutelindex

De aanpak lijkt te vertrouwen op een zekere ‘viraliteit’ voor elke GIF, zoals wanneer een GIF daadwerkelijk beschikbaar wordt gesteld via Twitter’s eigen mechanismen. Vermoedelijk kunnen nieuwe, door de gebruiker gegenereerde GIFs deze ecostructuur niet binnentreden, behalve door toename van populariteit en adoptie als een meme.

Reactie-GIFs hebben de gebruiksduur van het in 1987 geïntroduceerde, primitieve geanimeerde GIF-formaat de afgelopen tien jaar nieuw leven ingeblazen, na jaren van slechte reputatie als een bandwidthvretende factor (voornamelijk gebruikt voor irritante banneradvertenties) in de Internet V1-pre-broadband-era.