Comprender los Emotes de Twitch en el Análisis de Sentimiento

El uso creciente del público de emojis, emoticonos, emotes, memes, GIFs y otras formas no verbales de comunicación en las plataformas de redes sociales ha confundido, en los últimos años, cada vez más los esfuerzos de los científicos de datos para comprender el panorama sociológico global; al menos, en la medida en que las tendencias sociológicas mundiales pueden discernirse del discurso público.

Aunque el Procesamiento de Lenguaje Natural (NLP) se ha convertido en una herramienta poderosa en el análisis de sentimiento en la última década, el sector tiene dificultades no solo para mantenerse al día con un lexicón en constante evolución de slang y atajos lingüísticos en múltiples lenguas, sino también para intentar descodificar el significado de publicaciones basadas en imágenes en plataformas de redes sociales como Facebook y Twitter.

Desde que el número limitado de plataformas de redes sociales muy populares son el único recurso verdaderamente hiperscale para este tipo de investigación, es esencial para el sector de la IA intentar mantener el ritmo con él.

En julio, un nuevo método para categorizar el sentimiento del usuario en función de ‘GIFs de reacción’ publicados en hilos de redes sociales (ver imagen a continuación), utilizando una base de datos de 30.000 tweets para desarrollar una forma de predecir reacciones a una publicación. El documento encontró que las respuestas basadas en imágenes son, en muchos sentidos, más fáciles de evaluar, ya que es menos probable que contengan sarcasmo, un desafío notable en el análisis de sentimiento.

Investigadores de Taiwán estudiaron el uso de GIFs de reacción animados como ‘indicadores reductivos’ de sentimiento en un documento de 2021.

Al principio de este año, un esfuerzo de investigación liderado por la Universidad de Boston entrenó modelos de aprendizaje automático para predecir memes de imágenes que probablemente se vuelvan virales en Twitter; y en agosto, investigadores británicos examinaron el crecimiento de los emojis en comparación con los emoticonos (hay una diferencia) en las redes sociales, compilando un conjunto de datos a gran escala de 7 lenguas de sentimiento pictórico de Twitter.

Emotes de Twitch

Ahora, investigadores estadounidenses han desarrollado una metodología de aprendizaje automático para comprender, categorizar y medir mejor el pseudo-lexicón en constante evolución de emotes en la red de Twitch muy popular.

Los emotes son neologismos utilizados en Twitch para expresar emoción, estado de ánimo o chistes internos. Dado que son, por definición, expresiones nuevas, el desafío para un sistema de aprendizaje automático no es necesariamente catalogar infinitamente nuevos emotes (que pueden usarse solo una vez, o dejar de usarse rápidamente), sino ganar una mejor comprensión del marco que genera constantemente; y desarrollar sistemas capaces de reconocer un emote como una ‘palabra o frase compuesta temporalmente válida’ cuya temperatura emocional/política puede necesitar evaluarse enteramente desde el contexto.

Vecinos del emote ‘FeelsGoodMan’, cuyo significado puede alterarse por sufijos oscuros. Fuente: https://arxiv.org/pdf/2108.08411.pdf

El documento se titula FeelsGoodMan: Inferir la semántica de los neologismos de Twitch, y proviene de tres investigadores de Spiketrap, una empresa de análisis de redes sociales en San Francisco.

Engaño y Cambio

A pesar de su novedad y vidas a menudo breves, los emotes de Twitch reciclan con frecuencia material cultural (incluidos emotes más antiguos) de una manera que puede desviar los marcos de análisis de sentimiento en la dirección equivocada. Rastrear el cambio en el significado de un emote a medida que evoluciona incluso puede revelar una inversión o negación completa de su sentimiento o intención original.

Por ejemplo, los investigadores señalan que el uso original del mal uso del meme Pepe-the-frog por la alt-right ha perdido casi por completo su sabor político original en el contexto de su uso en Twitch.

El uso de la frase, junto con una imagen de una rana de dibujo animado de un cómic de 2005 del artista Matt Furie, se convirtió en un meme de la derecha en la década de 2010. Aunque Vox escribió en 2017 que la apropiación del meme por la derecha había sobrevivido a la disociación de Furie con tal uso, los investigadores de San Francisco detrás del nuevo documento han encontrado lo contrario*:

‘La rana de dibujo animado de Furie fue adoptada por publicaciones de derecha en varios foros en línea como 4chan a principios de la década de 2010. Desde entonces, Furie ha hecho campaña para recuperar el significado de su personaje, y el emote ha visto un aumento en un uso más mainstream no de odio y uso positivo en Twitch. Nuestros resultados en Twitch están de acuerdo, mostrando que “FeelsGoodMan” y su contraparte “FeelsBadMan” se utilizan principalmente de manera literal.’

Problemas Río Abajo

Este tipo de ‘engaño y cambio’ con respecto a las características generalizadas de un meme puede obstaculizar los proyectos de investigación de NLP que ya han categorizado como ‘odioso’, ‘de derecha’ o ‘nacionalista [EE. UU.]’, y que han descargado esa información en repositorios de código abierto a largo plazo. Los proyectos de NLP posteriores pueden no elegir auditar la moneda del datos más antiguos; pueden no tener ningún mecanismo práctico para hacerlo; y pueden no ser conscientes de la necesidad.

La consecuencia de esto es que usar conjuntos de datos de Twitch de 2017 para formular un algoritmo de ‘categorización política’ atribuiría una notable actividad de la alt-right en Twitch, basada en la frecuencia del emote FeelsGoodMan. Twitch puede o no estar lleno de influyentes de la alt-right, pero, según los investigadores del nuevo documento, no se puede probar por la rana.

La importancia política del meme ‘Pepe’ parece haber sido descartada casualmente por los 140 millones de usuarios de Twitch (41% de los cuales tienen menos de 24 años), que han robado efectivamente la obra de los ladrones originales y la han pintado con sus propios colores, sin ninguna agenda particular.

Método y Datos

Los investigadores encontraron que los datos de emotes de Twitch etiquetados eran ‘virtualmente inexistentes’, a pesar de la conclusión de un estudio anterior de que hay ocho millones de emotes totales, y 400,000 estaban presentes en la sola semana de salida de Twitch en la semana elegida por esos investigadores anteriores.

Un estudio de 2017 que abordaba la predicción de emotes en Twitch se limitó a predecir solo los 30 emotes principales de Twitch, con una puntuación de solo 0,39 para la predicción de emotes.

Para abordar la escasez, los investigadores de San Francisco adoptaron un enfoque nuevo para los datos más antiguos, dividiéndolos 80/20 entre entrenamiento y prueba, y aplicando métodos de ‘aprendizaje automático tradicional’, que no se habían utilizado antes para estudiar datos de Twitch. Estos métodos incluyeron Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM, con núcleos lineales), y Regresión Logística.

Este enfoque superó las líneas de base de sentimiento de Twitch anteriores en un 63,8%, y permitió a los investigadores desarrollar posteriormente el marco LOOVE (Learning Out Of Vocabulary Emotions), que puede identificar neologismos y ‘enriquecer’ los modelos existentes con estas nuevas definiciones.

Arquitectura del marco LOOVE (Learning Out Of Vocabulary Emotions) desarrollado por los investigadores.

LOOVE facilita el entrenamiento no supervisado de incrustaciones de palabras, y también acomoda el entrenamiento y afinamiento periódicos, lo que elimina la necesidad de conjuntos de datos etiquetados, que serían imprácticos desde el punto de vista logístico, considerando la escala de la tarea y la rápida evolución de los emotes.

En el servicio del proyecto, los investigadores entrenaron un ‘diccionario pseudo-emote’ en un conjunto de datos no etiquetados de Twitch, generando 444,714 incrustaciones de palabras, emotes, emojis y emoticonos.

Además, ampliaron un lexicón VADER con un lexicón de emojis/emoticonos, y, además del conjunto de datos EC mencionado, también explotaron tres conjuntos de datos públicos adicionales para clasificación de sentimiento ternaria, de Twitter, Rotten Tomatoes y un conjunto de datos muestreado de YELP.

Dado la gran variedad de metodologías y conjuntos de datos utilizados en el estudio, los resultados son variados, pero los investigadores afirman que su mejor línea de base superó la métrica anterior más cercana en 7,36 puntos porcentuales.

Los investigadores consideran que el valor continuo del proyecto es el desarrollo de LOOVE, basado en incrustaciones de vector-palabra (W2V) entrenadas en más de 313 millones de mensajes de chat de Twitch con la ayuda de K-Nearest Neighbor (KNN).

Los autores concluyen:

‘Una característica impulsora detrás del marco es un diccionario pseudo-emote que se puede utilizar para derivar el sentimiento de emotes desconocidos. Utilizando este diccionario pseudo-emote, creamos una tabla de sentimiento para 22,507 emotes. Este es el primer caso de comprensión de emotes a esta escala.’

* Mi conversión de citas en línea a hipervínculos.