Los GIFs de reacción ofrecen una nueva clave para el reconocimiento de emociones en NLP

Nueva investigación procedente de Taiwán está ofreciendo un método novedoso para que el Procesamiento de Lenguaje Natural (NLP) realice un análisis de sentimiento en foros de medios sociales y conjuntos de datos de investigación de lenguaje – categorizando y etiquetando GIFs animados que se publican en respuesta a anuncios de texto.

Los investigadores, liderados por Boaz Shmueli de la Universidad Nacional Tsing Hua en Taiwán, han utilizado la base de datos integrada de Twitter de GIFs de reacción como un índice para cuantificar el estado afectivo de la respuesta de un usuario, evitando la necesidad de negociar múltiples respuestas en diferentes idiomas, el desafío de detectar sarcasmo, o de identificar la temperatura emocional central desde respuestas ambiguas o excesivamente breves.

Hacer clic en el botón ‘GIF’ al componer una publicación de Twitter ofrece un conjunto estándar de GIFs animados etiquetados que son potencialmente más fáciles para que el NLP los analice en ’emociones identificadas’ que el lenguaje de texto plano.

El artículo caracteriza el uso de GIFs de reacción de esta manera como ‘un nuevo tipo de etiqueta, que aún no está disponible en los conjuntos de datos de emociones del NLP’, y observa que los conjuntos de datos existentes utilizan el modelo dimensional de emoción o el modelo de emociones discretas, ninguno de los cuales ofrece este tipo de información.

Una respuesta de GIF animado a una publicación de usuario. Con el GIF suministrado por Twitter ahora codificado en términos de estado afectivo, la ambigüedad de la intención se elimina casi por completo. Source: https://arxiv.org/pdf/2105.09967.pdf

Los investigadores han lanzado un conjunto de datos de 30.000 tweets sarcásticos que contienen reacciones de GIF. Este enfoque ofrece al NLP una distinción que está ausente en la literatura actual: un método para distinguir la emoción percibida (emociones que un lector identifica desde el texto) de la emoción inducida (un sentimiento que el lector experimenta como reacción al texto).

GIFs de reacción como indicadores reductivos

En términos de una respuesta de apoyo a una publicación que comparte un estado emocional angustiante, un GIF apropiado es útilmente reductivo y unívoco en la intención, cuando se publica sin texto de apoyo (y estos son los tipos de respuestas de GIF que el estudio se centró en).

Por ejemplo, reacciones como ‘Eso es brutal, tío’, ‘Eso es una lástima’, o ‘Aww’ contienen posibles ambigüedades de intención, desde la posibilidad de un cierto punto de vista ‘clínico’ y no afectado hasta la posibilidad de sarcasmo; pero la publicación de uno de los cientos de GIFs de la categoría ‘abrazo’ de Twitter deja menos espacio para la interpretación:

Perforación en sub-significados de una reacción de GIF

Sin embargo, dentro de cualquier categoría única de reacción, como ‘abrazo’, hay numerosos indicadores adicionales de estado de ánimo o punto de vista que abarcan múltiples géneros de estado afectivo, incluyendo el punto de vista de suposiciones románticas o familiares de relación entre el respondedor y el publicador original.

Representación de varios tipos de relación en la categoría de GIFs de ‘abrazo’ disponible en Twitter. El uso de géneros, tropos, representaciones de género y otros factores agregan granularidad a la posible interpretación de una elección de GIF para este sentimiento.

El conjunto de datos ReactionGIF se derivó de los primeros 100 GIFs en cada categoría de reacción disponible en Twitter, lo que llevó a una base de datos de 4300 imágenes animadas. Cuando un GIF aparece en más de una categoría, la categoría con el lugar más alto en la GUI se pondera más. Las imágenes que aparecen en múltiples categorías se les asigna un factor de similitud de reacción – una métrica inventada para el estudio.

Las afinidades se descubren utilizando clustering jerárquico y enlace promedio.

Ampliación de los datos de GIF de reacción

El conjunto de datos se generó y etiquetó aplicando el método contra 30.000 tweets. La ‘señal de afecto rico’ de una categoría de reacción permitió a los investigadores ampliar el conjunto de datos con etiquetas afectivas adicionales, basadas en los clusters de categorías de reacción positiva y negativa, y agregar etiquetas de emoción con un esquema de mapeo de reacciones a emociones dedicado, basado en el veredicto mayoritario de tres evaluadores humanos en tweets de muestra.

El trabajo anterior trabajo de Yahoo y la Universidad de Rochester, que trata de la anotación de GIFs, no tiene esta capa de texto provocado, ni ninguna categoría de reacción, sino que es puramente semántico.

Los investigadores evaluaron el conjunto de datos en cuatro enfoques: RoBERTa, la Red Neuronal Convolucional (CNN) GloVe, un clasificador de regresión logística, y un clasificador de clase de mayoría simple. El peso de convicción para cada categoría emerge bastante claramente en los resultados, con aprobación, acuerdo y condolencia más fáciles de identificar (y más representados), y disculpa más difícil de evaluar, quizás porque esto incluye la posibilidad de sarcasmo.

El modelo RoBERTa generó el promedio de clasificación más alto probado en todos los tres métodos de evaluación, que comprendieron la predicción de reacción afectiva, la predicción de sentimiento inducido y la predicción de emoción inducida.

Extraer la emoción del usuario de los GIFs de reacción

Los investigadores observan que identificar la emoción inducida es una de las tareas más desafiantes en el análisis de sentimiento y emoción basado en NLP, y que utilizar GIFs de reacción como proxy ofrece la posibilidad de que proyectos posteriores recolecten ‘grandes cantidades de etiquetas afectivas de alta calidad, baratas e inocuas’.

A pesar de centrarse en un locus muy específico de GIFs incrustados en la experiencia del usuario de Twitter, el estudio sostiene que este método puede generalizarse a otras plataformas de medios sociales, así como a plataformas de mensajería instantánea, y potencialmente ser de utilidad en sectores como el reconocimiento de emociones y la detección de emociones multimodales.

Popularidad como un índice clave

El enfoque parece depender de una cierta ‘viralidad’ para cada GIF, como cuando un GIF está realmente disponible a través de los propios mecanismos de Twitter. Presumiblemente, los GIFs novedosos generados por el usuario no podrían entrar en esta ecosistema excepto a través de una mayor popularidad y adopción como meme.

Los GIFs de reacción han revivido el uso del formato de GIF animado primitivo de 1987 durante los últimos diez años, después de años de mala reputación como un consumidor de ancho de banda (principalmente utilizado para anuncios de banner molestos) en la era de Internet V1 pre-banda ancha.