Tepki GIF'leri NLP'de Duygu Tanıma için Yeni Bir Anahtar Sunuyor

Tayvan'daki yeni araştırma, metin duyurularına yanıt olarak gönderilen animasyonlu GIF'leri kategorize ederek ve etiketleyerek, sosyal medya forumlarında ve dil araştırma veri kümelerinde duygu analizi gerçekleştirmek için Doğal Dil İşleme'ye (NLP) yeni bir yöntem sunuyor.

Tayvan'daki Ulusal Tsing Hua Üniversitesi'nden Boaz Shmueli liderliğindeki araştırmacılar, bir kullanıcının tepkisinin duygusal durumunu ölçmek için bir endeks olarak Twitter'ın yerleşik tepki GIF'leri veritabanını kullandılar ve böylece birden fazla dil tepkisi üzerinde pazarlık yapma ihtiyacını ortadan kaldırdılar. meydan okuma alaycılığı tespit etme veya belirsiz veya aşırı kısa yanıtlardan temel duygusal sıcaklığı belirleme.

Bir Twitter gönderisi oluştururken 'GIF' butonuna tıklamak, NLP'nin düz metin diline göre 'tanımlanmış' duygulara ayrıştırmasının daha kolay olabileceği standart bir etiketli animasyonlu GIF seti sunar.

MKS kâğıt tepki GIF'lerinin kullanımını şu şekilde karakterize eder: 'NLP duygu veri kümelerinde henüz mevcut olmayan yeni bir etiket türü', ve mevcut veri kümelerinin ya kullandığını not eder boyutlu model duygu ya da ayrık duygular modelihiçbiri bu tür bir içgörü sunmuyor.

Bir kullanıcı gönderisine animasyonlu bir GIF yanıtı. Twitter tarafından sağlanan GIF'in artık duygusal durum açısından kodlanmasıyla, niyet belirsizliği neredeyse tamamen ortadan kalktı. Kaynak: https://arxiv.org/pdf/2105.09967.pdf

Araştırmacılar bir yayın yayınladı veri kümesi GIF tepkileri içeren 30,000 alaycı tweet. Bu yaklaşım, NLP'ye diğer güncel literatürde bulunmayan bir ayrıcalık sunuyor: algılanan duygu (bir okuyucunun metinden tanımladığı duygular) uyarılmış duygu (okuyucunun metne tepki olarak yaşadığı bir duygu).

İndirgeyici Göstergeler Olarak Tepki GIF'leri

Rahatsız edici bir duygusal durumu paylaşan bir gönderiye destekleyici bir yanıt açısından, uygun bir GIF, destekleyici bir metin olmadan gönderildiğinde faydalı bir şekilde indirgemeci ve amaç açısından nettir (ve bunlar, çalışmanın üzerinde yoğunlaştığı GIF yanıtı türleridir).

Örneğin, aşağıdaki gibi reaksiyonlar 'Bu çok acımasız, dostum', 'Bu bir utanç'ya da 'Awww' niyetin olası belirsizliklerini, belirli bir 'klinik' ve etkilenmemiş bakış açısından alaycılığa kadar içerebilir; ancak Twitter'ın yüzlerce 'sarılma' kategorisi GIF'inden birinin paylaşılması yorumlamaya daha az yer bırakıyor:

Bir GIF Tepkisinin Alt Anlamlarını Derinlemesine İncelemek

Bununla birlikte, 'sarılma' gibi herhangi bir tepki kategorisinin içinde, etkilenen durumun birden fazla türünü kapsayan ruh hali veya bakış açısının çok sayıda ek göstergesi vardır; bunlara yanıt veren ile orijinal poster arasındaki ilişkinin romantik veya ailevi varsayımları da dahildir.

Twitter'ın mevcut "sarılma" GIF kategorisinde çeşitli ilişki türlerinin tasviri. Çeşitli türlerin, kalıpların, cinsiyet tasvirlerinin ve diğer faktörlerin kullanımı, bu duygu için bir GIF seçiminin olası yorumlanabilirliğine ayrıntı katıyor.

ReactionGIF veri seti, Twitter'daki mevcut her reaksiyon kategorisindeki ilk 100 GIF'ten türetildi ve 4300 animasyonlu görüntüden oluşan bir veritabanına yol açtı. Bir GIF birden fazla kategoride göründüğünde, GUI'de daha yüksek yerleşime sahip kategorinin ağırlığı daha yüksektir. Birden çok kategoride görünen resimlere bir reaksiyon benzerliği faktör – çalışma için icat edilen bir metrik.

Benzerlikler daha sonra hiyerarşik kümeleme ve ortalama bağlantı kullanılarak keşfedilir.

Artırma Reaksiyonu GIF Verileri

Veri seti, yöntem 30,000 tweet'e uygulanarak oluşturulmuş ve etiketlenmiştir. Bir tepki kategorisinin 'zengin duygusal sinyali', araştırmacıların veri setini pozitif ve negatif reaksiyon kategorisi kümelerine dayalı ek duygusal etiketlerle artırmasına ve özel bir duygulara tepkiler eşleme şemasıyla duygu etiketleri eklemesine izin verdi. üç insan değerlendiricinin örnek tweet'lerle ilgili çoğunluk kararı.

Önceki iş Yahoo ve The University of Rochester'dan GIF'lerin ek açıklamalarıyla ilgilenen, bu ortaya çıkarılan metin katmanına veya herhangi bir reaksiyon kategorisine sahip değildir, ancak tamamen semantiktir.

Araştırmacılar veri setini dört yaklaşımla değerlendirdi: roBERTa, Evrişimsel Sinir Ağı (CNN) Eldiven, bir lojistik regresyon sınıflandırıcısı ve basit bir çoğunluk sınıfı sınıflandırıcısı. Her kategori için mahkumiyetin ağırlığı, sonuçlarda oldukça açık bir şekilde ortaya çıkıyor; en kolay tespit edilen (ve en çok temsil edilen) onay, anlaşma ve üzüntü ve belki de iğneleme olasılığını da içerdiğinden, değerlendirilmesi en zor olan özür.

RoBERTa modeli, Duygusal Tepki Tahmini, Uyarılmış Duygu Tahmini ve Uyarılmış Duygu Tahmini'nden oluşan üç değerlendirme yönteminin hepsinde test edilen en yüksek sıralama ortalamasını oluşturdu.

Tepki GIF'lerinden Kullanıcı Duygusunu Toplama

Araştırmacılar, uyarılmış duyguyu belirlemenin NLP tabanlı duyarlılık ve duygu analizinde en zorlu görevlerden biri olduğunu ve tepki GIF'lerini bir vekil olarak kullanmanın daha sonraki projeler için toplama olasılığı sunduğunu gözlemliyor. 'çok miktarda ucuz, doğal olarak oluşan, yüksek kaliteli duygusal etiketler'.

Twitter kullanıcı deneyimine gömülü GIF'lerin çok özel bir konumuna odaklanılmasına rağmen, çalışma bu yöntemin diğer sosyal medya platformlarının yanı sıra anlık mesajlaşma platformlarına da genellenebileceğini ve potansiyel olarak duygu tanıma ve multimodal gibi sektörlerde kullanılabileceğini öne sürüyor. duygu tespiti.

Anahtar Endeks Olarak Popülerlik

Bu yaklaşım, her GIF için belirli bir "viralliğe" dayanıyor gibi görünüyor; örneğin bir GIF, Twitter'ın kendi mekanizmaları aracılığıyla gerçekten kullanıma sunulduğunda. Muhtemelen, yeni kullanıcı tarafından oluşturulan GIF'ler, popülariteleri artıp bir mem olarak benimsenmedikçe bu ekosisteme giremezdi.

Tepki GIF'leri var canlandı bölgesinin kullanımını 1987'nin ilkel animasyonlu GIF'i İnternet V1 ön genişbant çağında bir bant genişliği domuzu (öncelikle sinir bozucu banner reklamlar için kullanılır) olarak yıllarca itibarsızlığın ardından, son on yılda format.