Comprender los gestos de Twitch en el análisis de sentimientos

del publico uso creciente de emojis, emoticones, emotes, memes, GIF y otras formas no verbales de comunicarse en las plataformas de redes sociales, en los últimos años, ha confundido cada vez más los esfuerzos de los científicos de datos para comprender el panorama sociológico global; al menos, en la medida en que las tendencias sociológicas mundiales puedan discernirse a partir del discurso público.

Aunque el procesamiento del lenguaje natural (PNL) se ha convertido en una poderosa herramienta en el análisis de sentimientos durante la última década, el sector tiene dificultades no sólo para mantenerse al día con un léxico en constante evolución de jerga y atajos lingüísticos en varios idiomas, sino también en intentar decodificar el significado de basado en imágenes publicaciones en plataformas de redes sociales como Facebook y Twitter.

Puesto que el número limitado de las plataformas de redes sociales altamente pobladas son el único recurso verdaderamente a gran escala para este tipo de investigación, es esencial que el sector de la IA al menos intente mantener el ritmo.

En julio, un periódico de Taiwán ofreció una nuevo método para categorizar el sentimiento del usuario en función de los 'GIF de reacción' publicados en los hilos de las redes sociales (ver imagen a continuación), utilizando una base de datos de 30,000 tweets para desarrollar una forma de predecir las reacciones a una publicación. El documento descubrió que las respuestas basadas en imágenes son, en muchos sentidos, más fáciles de medir, ya que es menos probable que contengan sarcasmo, un desafío notable en el análisis de sentimientos.

Investigadores de Taiwán estudiaron el uso de GIF de reacción animada como "indicadores reductores" de sentimiento en un artículo de 2021.

A principios de este año, un esfuerzo de investigación dirigido por la Universidad de Boston modelos de aprendizaje automático entrenados para predecir memes de imágenes que probablemente se vuelvan virales en Twitter; y en agosto, investigadores británicos examinaron el crecimiento de los emojis en comparación con los emoticonos (hay una un cambio) en las redes sociales, compilando un conjunto de datos a gran escala en 7 idiomas de sentimientos pictográficos de Twitter.

Twitch Emotes

Ahora, investigadores estadounidenses han desarrollado una metodología de aprendizaje automático para comprender, categorizar y medir mejor el pseudoléxico en constante evolución de emotes en la popular red Twitch.

Los gestos son neologismos que se usan en Twitch para expresar emociones, estados de ánimo o bromas internas. Dado que son, por definición, nuevas expresiones, el desafío para un sistema de aprendizaje automático no es necesariamente catalogar interminablemente nuevos emotes (que pueden usarse solo una vez o dejar de usarse rápidamente), sino obtener una mejor comprensión del marco que los genera sin cesar; y desarrollar sistemas capaces de reconocer un emoticón como una palabra o frase compuesta 'temporalmente válida' cuya temperatura emocional/política puede necesitar medirse completamente a partir del contexto.

Vecinos del emoticón 'FeelsGoodMan', cuyo significado puede ser alterado por sufijos oscuros. Fuente: https://arxiv.org/pdf/2108.08411.pdf

El se titula FeelsGoodMan: inferir la semántica de los neologismos de Twitch, y proviene de tres investigadores de Spiketrap, una empresa de análisis de redes sociales en San Francisco.

Cebo y el interruptor

A pesar de su novedad y su breve duración, los emoticones de Twitch suelen reciclar material cultural (incluidos los emoticones más antiguos) de una manera que puede desviar los marcos de análisis de sentimientos en la dirección equivocada. Rastrear el cambio en el significado de un emoticón a medida que evoluciona puede incluso revelar una inversión o negación completa de su sentimiento o intención original.

Por ejemplo, los investigadores señalan que el original alt-right mal uso del epónimo se sientebuenohombre El meme Pepe-the-frog ha perdido casi por completo su sabor político original en el contexto de su uso en Twitch.

El uso de la frase, junto con una imagen de una rana de dibujos animados de un cómic de 2005 del artista Matt Furie, se convirtió en un meme de extrema derecha en la década de 2010. aunque vox escribí en 2017 que la apropiación del meme por parte de la derecha había sobrevivido al autoproclamado Furie disociación con tal uso, los investigadores de San Francisco detrás del nuevo artículo han descubierto lo contrario*:

La rana de dibujos animados de Furie fue adoptada por carteles de derecha en varios foros en línea como 4chan a principios de la década de 2010. Desde entonces, Furie ha hecho campaña para recuperar el significado de su personaje, y el emoticón ha visto un aumento en la corriente principal. uso sin odio y uso positivo en Twitch. Nuestros resultados en Twitch concuerdan, mostrando que "FeelsGoodMan" y su contraparte "FeelsBadMan" se utilizan principalmente de forma literal.'

Problema aguas abajo

Este tipo de 'cebo y cambio' con respecto a las 'características' generalizadas de un meme puede obstaculizar los proyectos de investigación de PNL que ya lo han categorizado como 'odioso', 'de derecha' o 'nacionalista [EE. UU.]', y que han volcado esa información en repositorios de código abierto a largo plazo. Es posible que los proyectos de NLP posteriores no opten por auditar la vigencia de los datos más antiguos; puede no tener ningún mecanismo práctico para hacerlo; y puede que ni siquiera sea consciente de la necesidad.

El resultado de esto es que el uso de conjuntos de datos basados ​​en Twitch de 2017 para formular un algoritmo de 'categorización política' atribuiría una actividad notable de la derecha alternativa en Twitch, según la frecuencia de la se sientebuenohombre ser emocionado. Twitch puede o no ser lleno de influencers de la extrema derecha, pero, según los investigadores del nuevo artículo, no se puede probar con la rana.

El significado político del meme 'Pepe' parece haber sido descartado casualmente por los 140 millones de usuarios de Twitch (41% de los cuales tienen menos de 24 años), quienes efectivamente volvieron a robar la obra de los ladrones originales y la pintaron con sus propios colores, sin ninguna agenda particular.

Método y datos

Los investigadores descubrieron que los datos de emoticonos de Twitch etiquetados eran "prácticamente inexistentes", a pesar de la conclusión de un estudio anterior que ahí hay ocho millones de emotes totales, y 400,000 XNUMX estuvieron presentes en la semana única de salida de Twitch en la semana elegida por esos investigadores anteriores.

A estudio del 2017 abordar la predicción de emotes en Twitch se limitó a predecir solo los 30 emotes principales de Twitch, con una puntuación de solo 0.39 para la predicción de emotes.

Al abordar el déficit, los investigadores de San Francisco adoptaron un nuevo enfoque para los datos más antiguos, dividiéndolos 80/20 entre entrenamiento y prueba, y aplicando métodos de aprendizaje automático "tradicionales", que no se habían utilizado antes para estudiar los datos de Twitch. Estos métodos incluían Bayes ingenuos (NÓTESE BIEN), Bosque al azar (RF), Máquinas de vectores soporte (SVM, con núcleos lineales), y Regresión logística.

Este enfoque superó las líneas base de sentimiento de Twitch anteriores en un 63.8 % y permitió a los investigadores desarrollar posteriormente el marco LOOVE (Learning Out Of Vocabulary Emotions), que es capaz de identificar neologismos y 'enriquecer' los modelos existentes con estas nuevas definiciones.

Arquitectura del marco LOOVE (Learning Out Of Vocabulary Emotions) desarrollado por los investigadores.

LOOVE facilita el entrenamiento no supervisado de incrustaciones de palabras y también se adapta al reentrenamiento y ajuste periódicos, lo que elimina la necesidad de conjuntos de datos etiquetados, lo que sería logísticamente poco práctico, considerando la escala de la tarea y la rápida evolución de los emotes.

Al servicio del proyecto, los investigadores entrenado un 'pseudo-diccionario' de emoticones en un conjunto de datos de Twitch sin etiquetar, en el proceso generando 444,714 incrustaciones de palabras, emotes, emojis y emoticones.

Además, aumentaron un Léxico VADER con una Léxico de emoji/emoticones, y además del conjunto de datos de la CE antes mencionado, también explotó otros tres conjuntos de datos disponibles públicamente para ternario clasificación de sentimientos, de Twitter, Rotten Tomatoes y un conjunto de datos YELP de muestra.

Dada la gran variedad de metodologías y conjuntos de datos utilizados en el estudio, los resultados son variados, pero los investigadores afirman que su línea de base del mejor de los casos superó a la métrica anterior más cercana en 7.36 puntos porcentuales.

Los investigadores consideran que el valor continuo del proyecto es el desarrollo de LOOVE, basado en incrustaciones de palabra a vector (W2V) entrenadas en más de 313 millones de mensajes de chat de Twitch con la ayuda de K-vecino más cercano (KNN).

Los autores concluyen:

'Una característica de conducción detrás del marco es un pseudo-diccionario de emoticones que se puede usar para derivar sentimientos para emoticones desconocidos. Usando este pseudo-diccionario de emoticones, creamos una tabla de sentimientos para 22,507 emotes. Este es el primer caso de comprensión emocional en esta escala.

* Mi conversión de citas en línea a hipervínculos.