Memahami Emote Twitch dalam Analisis Sentimen

Penggunaan emoji, emotikon, emote, meme, GIF, dan cara non-verbal lainnya oleh masyarakat untuk berkomunikasi di platform media sosial telah membuat upaya ilmuwan data untuk memahami lanskap sosial global menjadi semakin sulit dalam beberapa tahun terakhir; setidaknya, sejauh tren sosial global dapat dipahami dari wacana publik.

Meskipun Natural Language Processing (NLP) telah menjadi alat yang kuat dalam analisis sentimen selama dekade terakhir, sektor ini mengalami kesulitan tidak hanya dalam mengikuti perkembangan kosakata yang terus berubah, tetapi juga dalam mencoba memahami makna posting berbasis gambar di platform media sosial seperti Facebook dan Twitter.

Karena jumlah terbatas platform media sosial yang sangat populer adalah satu-satunya sumber daya hyperscale yang sebenarnya untuk penelitian ini, maka sangat penting bagi sektor AI untuk setidaknya mencoba untuk mengikuti perkembangan tersebut.

Pada bulan Juli, sebuah makalah dari Taiwan menawarkan metode baru untuk mengategorikan sentimen pengguna berdasarkan ‘reaction GIF’ yang diposting di thread media sosial (lihat gambar di bawah), menggunakan database 30.000 tweet untuk mengembangkan cara untuk memprediksi reaksi terhadap postingan. Makalah tersebut menemukan bahwa respons berbasis gambar lebih mudah diukur, karena mereka kurang mungkin mengandung sarkasme, tantangan yang terkenal dalam analisis sentimen.

Peneliti dari Taiwan mempelajari penggunaan animated reaction GIF sebagai ‘indikator reduktif’ sentimen dalam makalah 2021.

Awal tahun ini, upaya penelitian yang dipimpin oleh Universitas Boston melatih model pembelajaran mesin untuk memprediksi meme gambar yang mungkin menjadi viral di Twitter; dan pada bulan Agustus, peneliti Inggris memeriksa pertumbuhan emoji dibandingkan dengan emotikon (ada perbedaan) di media sosial, mengompilasi dataset 7-bahasa besar tentang sentimen Twitter yang menggunakan gambar.

Emote Twitch

Sekarang, peneliti AS telah mengembangkan metodologi pembelajaran mesin untuk lebih memahami, mengategorikan, dan mengukur pseudo-kosakata emote yang terus berkembang di jaringan Twitch yang sangat populer.

Emote adalah neologisme yang digunakan di Twitch untuk mengungkapkan emosi, mood, atau lelucon internal. Karena mereka secara definisi adalah ekspresi baru, tantangan bagi sistem pembelajaran mesin bukanlah untuk terus-menerus mengkatalogkan emote baru (yang mungkin hanya digunakan sekali, atau jatuh dari penggunaan dengan cepat), tetapi untuk memperoleh pemahaman yang lebih baik tentang kerangka yang terus-menerus menghasilkan mereka; dan mengembangkan sistem yang dapat mengenali emote sebagai ‘kata atau frasa yang secara sementara valid’ yang suhu emosional/politiknya mungkin perlu diukur sepenuhnya dari konteks.

Tetangga dari emote ‘FeelsGoodMan’, yang maknanya dapat diubah oleh sufiks yang tidak jelas. Sumber: https://arxiv.org/pdf/2108.08411.pdf

Makalah tersebut berjudul FeelsGoodMan: Menginfer Semantik Neologisme Twitch, dan berasal dari tiga peneliti di Spiketrap, sebuah perusahaan analisis media sosial di San Francisco.

Bait dan Switch

Meskipun kebaruan dan umur singkat mereka, emote Twitch sering menggabungkan materi budaya (termasuk emote lama) dengan cara yang dapat mengarahkan kerangka sentimen ke arah yang salah. Mengikuti perubahan makna emote seiring waktu dapat bahkan mengungkapkan inversi atau negasi total sentimen atau niat aslinya.

Sebagai contoh, peneliti mencatat bahwa penggunaan asli salah meme Pepe-the-frog oleh alt-right telah hampir sepenuhnya kehilangan rasa politik aslinya dalam konteks penggunaannya di Twitch.

Penggunaan frasa tersebut, bersama dengan gambar katak kartun dari komik 2005 oleh seniman Matt Furie, menjadi meme alt-right pada 2010-an. Meskipun Vox menulis pada 2017 bahwa penggunaan meme oleh alt-right telah bertahan meskipun Furie secara terbuka menolak penggunaan tersebut, peneliti San Francisco di balik makalah baru telah menemukan sebaliknya*:

‘Katak kartun Furie diadopsi oleh poster sayap kanan di forum online seperti 4chan pada awal 2010-an. Sejak itu, Furie telah berkampanye untuk merebut kembali makna karakternya, dan emote telah mengalami peningkatan dalam penggunaan non-kebencian dan positif di Twitch. Hasil kami di Twitch setuju, menunjukkan bahwa “FeelsGoodMan” dan lawannya “FeelsBadMan” sebagian besar digunakan secara harfiah.’

Masalah di Hilir

Jenis ‘bait dan switch’ seperti ini mengenai ‘fitur’ umum sebuah meme dapat menghambat proyek penelitian NLP yang telah mengategorikan sebagai ‘kebencian’, ‘sayap kanan’ atau ‘nasionalis [AS]’, dan yang telah membuang informasi tersebut ke repositori sumber terbuka. Proyek NLP lainnya mungkin tidak memilih untuk memeriksa keabsahan data lama; mungkin tidak memiliki mekanisme praktis untuk melakukannya; dan mungkin tidak menyadari kebutuhan tersebut.

Akibatnya adalah bahwa menggunakan dataset Twitch 2017 untuk merumuskan algoritma ‘kategorisasi politik’ akan mengatributkan aktivitas alt-right yang signifikan di Twitch, berdasarkan frekuensi emote FeelsGoodMan. Twitch mungkin atau mungkin tidak penuh dengan influencer alt-right, tetapi, menurut peneliti makalah baru, Anda tidak dapat membuktikannya dengan katak.

Makna politik meme ‘Pepe’ tampaknya telah dibuang secara santai oleh 140 juta pengguna Twitch (41% di antaranya berusia di bawah 24), yang secara efektif telah merebut kembali karya tersebut dari pencuri asli dan melukisnya dengan warna mereka sendiri, tanpa agenda tertentu.

Metode dan Data

Peneliti menemukan bahwa data emote Twitch yang dilabeli ‘hampir tidak ada’, meskipun kesimpulan dari studi sebelumnya bahwa ada delapan juta emote total, dan 400.000 ada di dataset Twitch tunggal dalam seminggu yang dipilih oleh peneliti sebelumnya.

Studi 2017 yang membahas prediksi emote di Twitch membatasi diri untuk memprediksi hanya 30 emote Twitch teratas, dengan skor 0,39 untuk prediksi emote.

Untuk mengatasi kekurangan tersebut, peneliti San Francisco mengambil pendekatan baru terhadap data lama, membaginya 80/20 antara pelatihan dan pengujian, dan menerapkan metode pembelajaran mesin ‘tradisional’, yang belum pernah digunakan sebelumnya untuk mempelajari data Twitch. Metode ini termasuk Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM, dengan kernel linear), dan Logistic Regression.

Pendekatan ini outperformed baseline sentimen Twitch sebelumnya sebesar 63,8%, dan memungkinkan peneliti untuk mengembangkan kerangka kerja LOOVE (Learning Out Of Vocabulary Emotions), yang dapat mengidentifikasi neologisme dan ‘memperkaya’ model yang ada dengan definisi baru.

Arsitektur kerangka kerja LOOVE (Learning Out Of Vocabulary Emotions) yang dikembangkan oleh peneliti.

LOOVE memfasilitasi pelatihan word embeddings yang tidak diawasi, dan juga mengakomodasi pelatihan ulang dan fine-tuning berkala, menghilangkan kebutuhan akan dataset yang dilabeli, yang akan sangat tidak praktis, mengingat skala tugas dan evolusi emote yang cepat.

Dalam rangka proyek ini, peneliti melatih ‘Pseudo-Dictionary’ emote pada dataset Twitch yang tidak dilabeli, dan menghasilkan 444.714 embeddings kata, emote, emoji, dan emotikon.

Lebih lanjut, mereka melengkapi lexicon VADER dengan lexicon emoji/emotikon, dan selain dataset EC yang disebutkan sebelumnya, juga menggunakan tiga dataset lain yang tersedia secara publik untuk klasifikasi sentimen terner, dari Twitter, Rotten Tomatoes, dan dataset YELP yang disampel.

Hasilnya bervariasi, tetapi peneliti menyatakan bahwa baseline terbaik mereka outperformed metrik sebelumnya sebesar 7,36 poin persentase.

Peneliti menganggap bahwa nilai proyek ini adalah pengembangan LOOVE, berdasarkan word-to-vector (W2V) embeddings yang dilatih pada lebih dari 313 juta pesan obrolan Twitch dengan bantuan K-Nearest Neighbor (KNN).

Penulis menyimpulkan:

‘Fitur yang mendorong kerangka kerja ini adalah pseudo-dictionary emote yang dapat digunakan untuk menghasilkan sentimen untuk emote yang tidak diketahui. Dengan menggunakan pseudo-dictionary emote ini, kami menciptakan tabel sentimen untuk 22.507 emote. Ini adalah kasus pertama dari pemahaman emote pada skala ini.’

* Konversi saya dari kutipan inline ke tautan.