GIF Reaksi Menawarkan Kunci Baru untuk Pengenalan Emosi dalam NLP

Penelitian baru dari Taiwan menawarkan metode baru untuk Natural Language Processing (NLP) untuk melakukan analisis sentimen pada forum media sosial dan dataset penelitian bahasa – dengan mengkategorikan dan melabeli GIF animasi yang diposting sebagai respons terhadap pengumuman teks.

Peneliti, dipimpin oleh Boaz Shmueli dari Universitas Nasional Tsing Hua di Taiwan, telah menggunakan database GIF reaksi bawaan Twitter sebagai indeks untuk mengkuantifikasi keadaan afektif respons pengguna, menghilangkan kebutuhan untuk menegosiasikan respons bahasa yang berbeda, tantangan mendeteksi sarkasme, atau mengidentifikasi suhu emosi inti dari respons yang ambigu atau terlalu singkat.

Mengklik tombol ‘GIF’ saat membuat postingan Twitter menawarkan set standar GIF animasi yang dilabeli yang lebih mudah untuk NLP untuk ditafsirkan daripada penggunaan bahasa teks biasa.

Makalah ini menggambarkan penggunaan GIF reaksi dengan cara ini sebagai ‘jenis label baru, yang belum tersedia dalam dataset emosi NLP’, dan mencatat bahwa dataset yang ada menggunakan model dimensional emosi atau model emosi diskret, yang tidak menawarkan wawasan seperti ini.

GIF animasi respons terhadap postingan pengguna. Dengan GIF yang disediakan Twitter sekarang dikodifikasi dalam hal keadaan afektif, ambiguitas niat hampir dihilangkan. Source: https://arxiv.org/pdf/2105.09967.pdf

Para peneliti telah merilis dataset 30.000 tweet sarkastik yang berisi respons GIF. Pendekatan ini menawarkan NLP perbedaan yang tidak ada dalam literatur saat ini: metode untuk membedakan emosi yang dirasakan (emosi yang diidentifikasi pembaca dari teks) dari emosi yang diinduksi (perasaan yang dialami pembaca sebagai respons terhadap teks).

GIF Reaksi Sebagai Indikator Reduktif

Dalam hal respons yang mendukung terhadap postingan yang berbagi keadaan emosi yang menyedihkan, GIF yang tepat berguna dan tidak ambigu dalam niat, ketika diposting tanpa teks pendukung (dan jenis respons GIF ini yang dipelajari dalam penelitian).

Sebagai contoh, respons seperti ‘Itu brutal, kawan’, ‘Itu memalukan’, atau ‘Aww’ mengandung potensi ambiguitas niat, dari kemungkinan sudut pandang yang ‘klinis’ dan tidak terpengaruh hingga kemungkinan sarkasme; tetapi posting salah satu GIF ‘pelukan’ dari ratusan GIF yang tersedia di Twitter meninggalkan sedikit ruang untuk interpretasi:

Menjelajahi Sub-Makna dari Respons GIF

Namun, dalam kategori respons tunggal, seperti ‘pelukan’, ada banyak indikator tambahan dari suasana hati atau pandangan yang mencakup berbagai genre keadaan afektif, termasuk sudut pandang asumsi hubungan romantis atau keluarga antara responden dan pengguna asli.

Gambaran berbagai jenis hubungan dalam kategori ‘pelukan’ GIF yang tersedia di Twitter. Penggunaan genre, trope, gambaran gender, dan faktor lainnya menambah granularitas pada interpretasi potensial dari pilihan GIF untuk sentimen ini.

Dataset ReactionGIF berasal dari 100 GIF pertama di setiap kategori respons yang tersedia di Twitter, menghasilkan database 4300 gambar animasi. Ketika GIF muncul di lebih dari satu kategori, kategori dengan penempatan yang lebih tinggi dalam GUI diberi bobot lebih tinggi. Gambar yang muncul di beberapa kategori diberi faktor kesamaan respons – metrik yang diciptakan untuk penelitian ini.

Afinitas kemudian ditemukan menggunakan klaster hierarkis dan tautan rata-rata.

Mengembangkan Data GIF Reaksi

Dataset ini dibuat dan dilabeli dengan menerapkan metode ini terhadap 30.000 tweet. ‘Sinyal afektif yang kaya’ dari kategori respons memungkinkan peneliti untuk mengembangkan dataset dengan label afektif tambahan, berdasarkan klaster kategori respons positif dan negatif, dan menambahkan label emosi dengan skema pemetaan respons-emosi yang didedikasikan, berdasarkan keputusan mayoritas tiga evaluator manusia pada tweet sampel.

Penelitian sebelumnya dari Yahoo dan Universitas Rochester, yang berkaitan dengan anotasi GIF, tidak memiliki lapisan teks yang dihasilkan ini, atau kategori respons, tetapi murni semantik.

Peneliti mengevaluasi dataset melintasi empat pendekatan: RoBERTa, Jaringan Saraf Konvolusi (CNN) GloVe, klasifikasi regresi logistik, dan klasifikasi kelas mayoritas sederhana. Bobot keyakinan untuk setiap kategori muncul dengan jelas dalam hasilnya, dengan persetujuan, kesepakatan, dan simpati paling mudah diidentifikasi (dan paling banyak diwakili), dan permintaan maaf paling sulit dievaluasi, mungkin karena ini termasuk kemungkinan sarkasme.

Model RoBERTa menghasilkan peringkat rata-rata tertinggi yang diuji melintasi ketiga metode evaluasi, yang terdiri dari Prediksi Reaksi Afektif, Prediksi Sentimen yang Diinduksi, dan Prediksi Emosi yang Diinduksi.

Mengumpulkan Emosi Pengguna dari GIF Reaksi

Peneliti mengamati bahwa mengidentifikasi emosi yang diinduksi adalah salah satu tugas paling menantang dalam analisis sentimen dan emosi berbasis NLP, dan bahwa menggunakan GIF reaksi sebagai proksi menawarkan kemungkinan untuk proyek-proyek selanjutnya untuk mengumpulkan ‘jumlah besar label afektif yang murah, alami, dan berkualitas tinggi’.

Meskipun memfokuskan pada lokus GIF yang sangat spesifik yang tertanam dalam pengalaman pengguna Twitter, penelitian ini berpendapat bahwa metode ini dapat diterapkan pada platform media sosial lain, serta platform perpesanan instan, dan berpotensi berguna dalam sektor seperti pengenalan emosi dan deteksi emosi multimodal.

Popularitas Sebagai Indeks Kunci

Pendekatan ini tampaknya bergantung pada ‘virality’ tertentu untuk setiap GIF, seperti ketika GIF sebenarnya tersedia melalui mekanisme Twitter sendiri. Presumably, GIF pengguna yang baru tidak dapat memasuki ekosistem ini kecuali melalui peningkatan popularitas dan adopsi sebagai meme.

GIF reaksi telah menghidupkan kembali penggunaan format GIF animasi primitif 1987 selama sepuluh tahun terakhir, setelah bertahun-tahun kehilangan reputasi sebagai penghisap bandwidth (terutama digunakan untuk iklan spanduk yang mengganggu) di era Internet V1 sebelum broadband.