Розуміння Twitch Emotes в аналізі настрою

Розуміння зростаючого використання публікою емодзі, емоціконів, емотів, мемів, GIF-образів та інших невербальних способів спілкування на соціальних медіа-платформах в останні роки все більше плутало зусилля вчених-даних, щоб зрозуміти глобальну соціологічну картину; принаймні, у тому вигляді, у якому світові соціологічні тенденції можуть бути визначені з публічних дискусій.

Хоча обробка природної мови (NLP) стала потужним інструментом у аналізі настрою за останні десять років, цій галузі важко не тільки слідкувати за постійно змінюваною лексикою сленгів і лінгвістичних скорочень кількох мов, але й намагатися розшифрувати значення образних публікацій на соціальних медіа-платформах, таких як Facebook і Twitter.

Відтак, обмежена кількість дуже популярних соціальних медіа-платформ є єдиною справжньою гіпермасштабною ресурсом для цього типу досліджень, тому для сектору штучного інтелекту важливо хоча б намагатися підтримувати темп з ними.

У липні була представлена робота з Тайваню, яка запропонувала новий метод категоризації настрою користувачів на основі ‘реакційних GIF-образів’, опублікованих у соціальних медіа-повідомленнях (див. зображення нижче), використовуючи базу даних з 30 000 твітів для розробки способу передбачення реакцій на повідомлення. У роботі було виявлено, що образні відповіді в багатьох випадках легше оцінити, оскільки вони менш схильні містити сарказм, видатний виклик у аналізі настрою.

Дослідники з Тайваню вивчали використання анімованих реакційних GIF-образів як ‘редуктивних індикаторів’ настрою в роботі 2021 року.

Раніше цього року дослідження під керівництвом Бостонського університету навчили моделі машинного навчання передбачати образні меми, які можуть стати вірусними в Twitter; а в серпні британські дослідники вивчили зростання емодзі у порівнянні з емоціконами (існує відмінність) на соціальних медіа, склавши великомасштабну 7-мовну базу даних піктографічного настрою Twitter.

Twitch Emotes

Тепер американські дослідники розробили методологію машинного навчання для кращого розуміння, категоризації та вимірювання постійно змінюваної псевдолексики емотів на дуже популярній мережі Twitch.

Емоти – це неологізми, використовувані на Twitch для вираження емоцій, настрою або внутрішніх жартів. Оскільки вони за визначенням є новими виразами, викликом для системи машинного навчання є не тільки нескінченно каталогізувати нові емоти (які можуть бути використані лише один раз або вийти з використання швидко), але й здобути краще розуміння рамок, які постійно генерують їх; і розробити системи, здатні розпізнавати еміт як ‘тимчасово дійсний’ слово або складений вираз, чиємо емоційний/політичний темп може потребувати оцінки повністю з контексту.

Сусіди емота ‘FeelsGoodMan’, значення якого може бути змінено незрозумілими суфіксами. Джерело: https://arxiv.org/pdf/2108.08411.pdf

Робота названа FeelsGoodMan: Виведення семантики неологізмів Twitch, і походила від трьох дослідників компанії Spiketrap, компанії соціального медіа-аналізу в Сан-Франциско.

Bait and Switch

Незважаючи на свою новизну та часто коротке життя, емоти Twitch часто переробляють культурний матеріал (включаючи старіші емоти) таким чином, що може спрямувати рамки аналізу настрою в неправильному напрямку. Відслідковування зміни значення емота під час його еволюції може навіть розкрити повну інверсію або заперечення його первісного настрою чи наміру.

Наприклад, дослідники відзначають, що первісне альтернативне праве невживання емота FeelsGoodMan майже повністю втратило свій первісний політичний колір у контексті його використання на Twitch.

Використання фрази разом з образом мультяшного жаби з коміксу 2005 року художника Метта Фурі стало фар-правим мемом у 2010-х роках. Хоча Vox написав у 2017 році, що права апропріація мему вижила після того, як Фурі відділився від такого використання, дослідники з Сан-Франциско за новою роботою виявили інше*:

‘Мультяшна жаба Фурі була прийнята правими постерами на різних онлайн-форумах, таких як 4chan, на початку 2010-х років. Відтоді Фурі проводив кампанію за повернення значення свого персонажа, і еміт побачив зростання більш мейнстрімового невенному та позитивному використання на Twitch. Наші результати на Twitch підтверджують це, показуючи, що “FeelsGoodMan” і його аналог “FeelsBadMan” в основному використовуються буквально.’

Trouble Downstream

Цей тип ‘приманки і переключення’ щодо загальних ‘властивостей’ мему може перешкоджати дослідженням NLP, які вже категоризували його як ‘ненависний’, ‘правий’ або ‘націоналіст [США]’, і які викинули цю інформацію у довгострокові відкриті репозиторії. Пізніші проекти NLP можуть не вибрати перевірку валюти старих даних; можуть не мати жодного практичного механізму для цього; і можуть навіть не бути усвідомлені необхідності.

В результаті використання наборів даних Twitch 2017 року для формулювання ‘політичної категоризації’ алгоритму буде приписувати помітну альтернативну праву діяльність на Twitch, засновану на частоті емота FeelsGoodMan. Twitch може бути або не бути повним альтернативних правих впливових осіб, але, згідно з дослідниками нової роботи, цього не можна довести за допомогою жаби.

Політичне значення мему ‘Pepe’ здається було випадково викинуте 140 мільйонами користувачів Twitch (41% з яких молодші 24 років), які фактично знову викрали роботу у первісних злодіїв і розфарбували її у свої власні кольори, без будь-якої особливої агенди.

Method and Data

Дослідники виявили, що позначені дані емотів Twitch були ‘практично відсутні’, незважаючи на висновок попереднього дослідження, що існує вісім мільйонів загальних емотів, і 400 000 були присутні у одному тижні виходу Twitch за тиждень, вибраний попередніми дослідниками.

Робота 2017 року щодо передбачення емотів на Twitch обмежила себе лише передбаченням 30 найкращих емотів Twitch, набравши лише 0,39 для передбачення емотів.

Для вирішення цього питання дослідники з Сан-Франциско підійшли до старих даних по-новому, розділивши їх на 80/20 між навчанням і тестуванням, і застосувавши ‘традиційні’ методи машинного навчання, які раніше не використовувалися для вивчення даних Twitch. Ці методи включали Наївний Баєс (NB), Случайний Ліс (RF), Машину Опорних Векторів (SVM, з лінійними ядрами), і Логістичну Регресію.

Цей підхід перевершив попередні базові лінії сентименту Twitch на 63,8%, і дозволив дослідникам згодом розробити рамку LOOVE (Learning Out Of Vocabulary Emotions), яка здатна розпізнавати неологізми та ‘багатити’ існуючі моделі цими новими визначеннями.

Архітектура рамки LOOVE (Learning Out Of Vocabulary Emotions), розробленої дослідниками.

LOOVE забезпечує несупервізоване навчання вкладень слів, і також підтримує періодичне повторне навчання та тонке налаштування, усуваючи потребу у позначених наборах даних, які були б логістично непрактичними, враховуючи масштаб завдання та швидку еволюцію емотів.

На службі проекту дослідники навчили псевдословник емотів на позначеному наборі даних Twitch, генеруючи 444 714 вкладень слів, емотів, емодзі та емоціконів.

Далі вони доповнили лексикон VADER лексиконом емодзі/емоціконів, і крім вищезгаданого набору даних EC, також використали три інші публічно доступні набори даних для тернарної класифікації сентименту, з Twitter, Rotten Tomatoes та вибраного набору даних YELP.

Враховуючи велику різноманітність методологій та наборів даних, використаних у дослідженні, результати різноманітні, але дослідники стверджують, що їхній найкращий базовий варіант перевершив найближчий попередній метрик на 7,36 процентних пунктів.

Дослідники вважають, що тривала цінність проекту полягає у розробці рамки LOOVE, заснованої на вкладеннях слово-в-вектор (W2V), навчених на понад 313 мільйонах повідомлень чату Twitch за допомогою K-Nearest Neighbor (KNN).

Автори висновують:

‘Основною особливістю рамки є псевдословник емотів, який можна використовувати для виведення сентименту невідомих емотів. Використовуючи цей псевдословник емотів, ми створили таблицю сентименту для 22 507 емотів. Це перший випадок розуміння емотів у такому масштабі.’

* Моя конвертація внутрішніх посилань у гіперпосилання.