GIF Reaksi Menawarkan Kunci Baru untuk Pengenalan Emosi dalam NLP

Penelitian baru dari Taiwan menawarkan metode novel untuk Pengolahan Bahasa Alami (NLP) untuk melakukan analisis sentimen pada forum media sosial dan dataset penelitian bahasa – dengan mengkategorikan dan melabeli GIF animasi yang diposting sebagai respons terhadap pengumuman teks.

Peneliti, dipimpin oleh Boaz Shmueli dari Universitas Nasional Tsing Hua di Taiwan, telah menggunakan database GIF reaksi bawaan Twitter sebagai indeks untuk mengkuantifikasi keadaan afektif respons pengguna, menghilangkan kebutuhan untuk menegosiasikan respons bahasa multiple, tantangan mendeteksi sarkas, atau mengidentifikasi suhu emosi inti dari respons yang ambigu atau terlalu singkat.

Mengklik tombol ‘GIF’ saat membuat postingan Twitter menawarkan set standar GIF animasi yang dilabeli yang potensial lebih mudah untuk NLP untuk diparse menjadi ’emosi yang diidentifikasi’ daripada bahasa teks biasa.

Makalah tersebut menggambarkan penggunaan GIF reaksi dengan cara ini sebagai ‘jenis label baru, yang belum tersedia dalam dataset emosi NLP’, dan mencatat bahwa dataset yang ada baik menggunakan model dimensional emosi atau model emosi diskret, tidak ada yang menawarkan wawasan seperti ini.

Respons GIF animasi terhadap postingan pengguna. Dengan GIF yang disediakan Twitter sekarang dikodifikasi dalam hal keadaan afektif, ambiguitas niat hampir dihilangkan. Source: https://arxiv.org/pdf/2105.09967.pdf

Peneliti telah merilis dataset 30.000 tweet sarkastik yang mengandung respons GIF. Pendekatan ini menawarkan NLP distinsi yang tidak ada dalam literatur saat ini: metode untuk membedakan emosi yang dipersepsikan (emosi yang diidentifikasi pembaca dari teks) dari emosi yang diinduksi (perasaan yang dialami pembaca sebagai respons terhadap teks).

GIF Reaksi Sebagai Indikator Reduktif

Dalam hal respons yang mendukung terhadap postingan yang berbagi keadaan emosi yang menyedihkan, GIF yang tepat berguna dan tidak ambigu dalam niat, ketika diposting tanpa teks pendukung (dan jenis respons GIF ini yang dipelajari dalam penelitian).

Misalnya, respons seperti ‘Itu brutal, kawan’, ‘Itu memalukan’, atau ‘Aww’ mengandung ambiguitas niat, dari kemungkinan sudut pandang ‘klinis’ dan tidak terpengaruh hingga kemungkinan sarkas; tetapi posting salah satu ratusan GIF ‘pelukan’ Twitter meninggalkan sedikit ruang untuk interpretasi:

Menjelajahi Sub-Makna Respons GIF

Namun, dalam setiap kategori respons, seperti ‘pelukan’, ada banyak indikator mood atau pandangan yang mencakup banyak genre keadaan afektif, termasuk pandangan asumsi hubungan romantis atau keluarga antara responder dan poster asli.

Gambaran berbagai jenis hubungan dalam kategori GIF ‘pelukan’ Twitter. Penggunaan genre, trope, gambaran gender, dan faktor lain menambah granularitas pada interpretasi potensial pilihan GIF untuk sentimen ini.

Dataset ReactionGIF berasal dari 100 GIF pertama di setiap kategori respons yang tersedia di Twitter, menghasilkan database 4300 gambar animasi. Di mana GIF muncul di lebih dari satu kategori, kategori dengan penempatan lebih tinggi dalam GUI diberi bobot lebih tinggi. Gambar yang muncul di beberapa kategori diberi faktor kesamaan respons – metrik yang ditemukan untuk penelitian ini.

Affinitas kemudian ditemukan menggunakan klaster hierarkis dan tautan rata-rata.

Mengembangkan Data GIF Reaksi

Dataset ini dibuat dan dilabeli dengan menerapkan metode ini terhadap 30.000 tweet. ‘Sinyal afektif kaya’ dari kategori respons memungkinkan peneliti untuk mengembangkan dataset dengan label afektif tambahan, berdasarkan klaster kategori respons positif dan negatif, dan menambahkan label emosi dengan skema pemetaan reaksi-ke-emosi yang didedikasikan, berdasarkan keputusan mayoritas tiga evaluator manusia pada sampel tweet.

Penelitian sebelumnya dari Yahoo dan Universitas Rochester, yang berkaitan dengan anotasi GIF, tidak memiliki lapisan teks yang diilhami ini, atau kategori respons, tetapi murni semantik.

Peneliti mengevaluasi dataset melintasi empat pendekatan: RoBERTa, Jaringan Saraf Konvolusi (CNN) GloVe, klasifikasi regresi logistik, dan klasifikasi kelas mayoritas sederhana. Bobot keyakinan untuk setiap kategori muncul dengan jelas dalam hasil, dengan persetujuan, kesepakatan, dan simpati paling mudah diidentifikasi (dan paling banyak direpresentasikan), dan permintaan maaf paling sulit untuk dievaluasi, mungkin karena ini termasuk kemungkinan sarkas.

Model RoBERTa menghasilkan peringkat rata-rata tertinggi yang diuji melintasi ketiga metode evaluasi, yang terdiri dari Prediksi Reaksi Afektif, Prediksi Sentimen yang Diinduksi, dan Prediksi Emosi yang Diinduksi.

Menggali Emosi Pengguna dari GIF Reaksi

Peneliti mengamati bahwa mengidentifikasi emosi yang diinduksi adalah salah satu tugas paling menantang dalam analisis sentimen dan emosi berbasis NLP, dan bahwa menggunakan GIF reaksi sebagai proksi menawarkan kemungkinan untuk proyek-proyek selanjutnya untuk mengumpulkan ‘jumlah besar label afektif yang murah, alami, dan berkualitas tinggi’.

Meskipun berkonsentrasi pada lokus GIF yang sangat spesifik yang tertanam dalam pengalaman pengguna Twitter, penelitian ini berpendapat bahwa metode ini dapat diterapkan pada platform media sosial lain, serta platform perpesanan instan, dan potensial berguna dalam sektor seperti pengenalan emosi dan deteksi emosi multimodal.

Popularitas Sebagai Indeks Kunci

Pendekatan ini tampaknya bergantung pada ‘virality’ tertentu untuk setiap GIF, seperti ketika GIF sebenarnya tersedia melalui mekanisme Twitter sendiri. Presumably, GIF buatan pengguna yang baru tidak dapat memasuki ekosistem ini kecuali melalui popularitas dan adopsi yang meningkat sebagai meme.

GIF reaksi telah menghidupkan kembali penggunaan format GIF animasi primitif 1987 selama sepuluh tahun terakhir, setelah tahun-tahun ketidakjayaan sebagai penghisap bandwidth (terutama digunakan untuk iklan spanduk yang mengganggu) di era Internet V1 sebelum broadband.