Los GIF de reacción ofrecen una nueva clave para el reconocimiento de emociones en el NLP

Nueva investigación en Taiwán está ofreciendo un método novedoso para que el Procesamiento de Lenguaje Natural (NLP) realice análisis de sentimiento en foros de medios sociales y conjuntos de datos de investigación de lenguaje – al categorizar y etiquetar GIF animados que se publican en respuesta a anuncios de texto.

Los investigadores, liderados por Boaz Shmueli de la Universidad Nacional Tsing Hua en Taiwán, han utilizado la base de datos integrada de Twitter de GIF de reacción como un índice para cuantificar el estado afectivo de una respuesta del usuario, evitando la necesidad de negociar múltiples respuestas lingüísticas, el desafío de detectar sarcasmo, o de identificar la temperatura emocional central desde respuestas ambiguas o excesivamente breves.

Hacer clic en el botón ‘GIF’ al componer una publicación de Twitter ofrece un conjunto estándar de GIF animados etiquetados que son potencialmente más fáciles de parsear en ’emociones identificadas’ que el lenguaje de texto plano.

El documento caracteriza el uso de GIF de reacción de esta manera como ‘un nuevo tipo de etiqueta, no disponible aún en los conjuntos de datos de emociones del NLP’, y señala que los conjuntos de datos existentes utilizan el modelo dimensional de la emoción o el modelo de emociones discretas, ninguno de los cuales ofrece este tipo de información.

Una respuesta de GIF animado a una publicación de usuario. Con el GIF suministrado por Twitter codificado en términos de estado afectivo, la ambigüedad de la intención es prácticamente eliminada. Source: https://arxiv.org/pdf/2105.09967.pdf

Los investigadores han lanzado un conjunto de datos de 30,000 tweets sarcásticos que contienen reacciones de GIF. Este enfoque ofrece al NLP una distinción que está ausente en la literatura actual: un método para distinguir emoción percibida (emociones que un lector identifica desde el texto) de emoción inducida (un sentimiento que el lector experimenta como reacción al texto).

GIF de reacción como indicadores reductivos

En términos de una respuesta de apoyo a una publicación que comparte un estado emocional angustiante, un GIF apropiado es útilmente reductivo y unívoco en intención, cuando se publica sin texto de apoyo (y estos son los tipos de respuestas de GIF que el estudio se centró en).

Por ejemplo, reacciones como ‘Eso es brutal, tío’, ‘Eso es una lástima’ o ‘Aww’ contienen posibles ambigüedades de intención, desde la posibilidad de un cierto punto de vista ‘clínico’ y no afectado hasta la posibilidad de sarcasmo; pero la publicación de uno de los cientos de GIF de ‘abrazo’ de Twitter deja menos espacio para la interpretación:

Profundizando en los sub-significados de una reacción de GIF

Sin embargo, dentro de cualquier categoría de reacción, como ‘abrazo’, hay numerosos indicadores adicionales de estado de ánimo o punto de vista que abarcan múltiples géneros de estado afectivo, incluyendo el punto de vista de suposiciones románticas o familiares de relación entre el que responde y el publicador original.

Representación de los diversos tipos de relación en la categoría de ‘abrazo’ de GIF disponible en Twitter. El uso de géneros, tropos, representaciones de género y otros factores agrega granularidad a la posible interpretación de una elección de GIF para este sentimiento.

El conjunto de datos ReactionGIF se derivó de los primeros 100 GIF en cada categoría de reacción disponible en Twitter, lo que llevó a una base de datos de 4300 imágenes animadas. Donde un GIF aparece en más de una categoría, la categoría con el lugar más alto en la GUI se pondera más. Las imágenes que aparecen en múltiples categorías se les asigna un factor de similitud de reacción – una métrica inventada para el estudio.

Las afinidades se descubren utilizando clustering jerárquico y enlace promedio.

Ampliando los datos de GIF de reacción

El conjunto de datos se generó y etiquetó aplicando el método contra 30,000 tweets. La ‘rica señaligen afectiva’ de una categoría de reacción permitió a los investigadores ampliar el conjunto de datos con etiquetas afectivas adicionales, basadas en los clusters de categorías de reacción positiva y negativa, y agregar etiquetas de emoción con un esquema de mapeo de reacciones a emociones dedicado, basado en el veredicto mayoritario de tres evaluadores humanos en tweets de muestra.

Trabajos anteriores de Yahoo y la Universidad de Rochester, que tratan con la anotación de GIF, no tienen esta capa de texto elicitado, ni ninguna categoría de reacción, sino que son puramente semánticos.

Los investigadores evaluaron el conjunto de datos a través de cuatro enfoques: RoBERTa, la Red Neuronal Convolucional (CNN) GloVe, un clasificador de regresión logística y un clasificador de clase de mayoría simple. El peso de convicción para cada categoría emerge con bastante claridad en los resultados, con aprobación, acuerdo y condolencia más fáciles de identificar (y más representados), y disculpa más difícil de evaluar, quizás porque esto incluye la posibilidad de sarcasmo.

El modelo RoBERTa generó el promedio de clasificación más alto probado en todos los tres métodos de evaluación, que comprendían Predicción de Reacción Afectiva, Predicción de Sentimiento Inducido y Predicción de Emoción Inducida.

Extraer la emoción del usuario de los GIF de reacción

Los investigadores observan que identificar la emoción inducida es una de las tareas más desafiantes en el análisis de sentimiento y emoción basado en NLP, y que utilizar GIF de reacción como proxy ofrece la posibilidad de que proyectos posteriores recolecten ‘grandes cantidades de etiquetas afectivas de alta calidad, naturales y baratas’.

A pesar de centrarse en un locus muy específico de GIF incrustados en la experiencia del usuario de Twitter, el estudio sostiene que este método puede generalizarse a otras plataformas de medios sociales, así como a plataformas de mensajería instantánea, y potencialmente ser de utilidad en sectores como el reconocimiento de emociones y la detección de emociones multimodales.

Popularidad como un índice clave

El enfoque parece depender de una cierta ‘viralidad’ para cada GIF, como cuando un GIF está disponible a través de los propios mecanismos de Twitter. Presumiblemente, GIF novedosos generados por el usuario no podrían entrar en esta ecoestructura excepto a través de una mayor popularidad y adopción como meme.

Los GIF de reacción han revivido el uso del formato de GIF animado primitivo de 1987 en los últimos diez años, posterior a años de mala reputación como un consumidor de ancho de banda (principalmente utilizado para anuncios de banner molestos) en la era de Internet V1 pre-banda ancha.