Los GIF de reacción ofrecen una nueva clave para el reconocimiento de emociones en PNL

Una nueva investigación realizada en Taiwán ofrece un método novedoso para que el procesamiento del lenguaje natural (PLN) realice análisis de sentimientos en foros de redes sociales y conjuntos de datos de investigación de idiomas, categorizando y etiquetando GIF animados que se publican en respuesta a anuncios de texto.

Los investigadores, dirigidos por Boaz Shmueli de la Universidad Nacional Tsing Hua de Taiwán, utilizaron la base de datos integrada de Twitter de reacciones GIF como un índice para cuantificar el estado afectivo de la respuesta de un usuario, obviando la necesidad de negociar respuestas en varios idiomas, la Reto de detectar el sarcasmo, o de identificar la temperatura emocional central a partir de respuestas ambiguas o excesivamente breves.

Al hacer clic en el botón 'GIF' al redactar una publicación de Twitter, se ofrece un conjunto estándar de GIF animados etiquetados que son potencialmente más fáciles de analizar para la PNL en emociones 'identificadas' que el lenguaje de texto sin formato.

El caracteriza el uso de GIF de reacción de esta manera como 'un nuevo tipo de etiqueta, aún no disponible en los conjuntos de datos de emociones de PNL', y señala que los conjuntos de datos existentes utilizan el modelo dimensional de la emoción o la modelo de emociones discretas, ninguno de los cuales ofrece este tipo de información.

Una respuesta GIF animada a una publicación de un usuario. Con el GIF proporcionado por Twitter ahora codificado en términos de estado afectivo, la ambigüedad de la intención casi se elimina. Fuente: https://arxiv.org/pdf/2105.09967.pdf

Los investigadores han publicado un datos de 30,000 tweets sarcásticos que contienen reacciones GIF. Este enfoque ofrece a la PNL una distinción que está ausente en otra literatura actual: un método para distinguir percibidas emoción (emociones que un lector identifica del texto) de inducido emoción (un sentimiento que el lector experimenta como una reacción al texto).

GIF de reacción como indicadores reductivos

En términos de una respuesta de apoyo a una publicación que comparte un estado emocional angustioso, un GIF apropiado tiene una intención útilmente reduccionista y sin ambigüedades, cuando se publica sin texto de apoyo (y estos son los tipos de respuesta GIF en los que se concentró el estudio).

Por ejemplo, reacciones como 'Eso es brutal, hombre', 'Es una pena'o 'Awww' contener posibles ambigüedades de intención, desde la posibilidad de un cierto punto de vista "clínico" y no afectado hasta la posibilidad de sarcasmo; pero la publicación de uno de los cientos de GIF de categoría 'abrazo' de Twitter deja menos espacio para la interpretación:

Profundizando en los subsignificados de una reacción GIF

No obstante, dentro de cualquier categoría única de reacción, como 'abrazo', hay numerosos indicadores adicionales de estado de ánimo o punto de vista que abarcan múltiples géneros de estado afectado, incluido el punto de vista de las suposiciones románticas o familiares de la relación entre el que responde y el cartel original.

Representación de varios tipos de relaciones en la categoría GIF de 'abrazo' disponible en Twitter. El uso de diversos géneros, tropos, representaciones de género y otros factores agregan granularidad a la interpretabilidad potencial de una elección de GIF para este sentimiento.

El conjunto de datos de ReactionGIF se derivó de los primeros 100 GIF en cada categoría de reacción disponible en Twitter, lo que generó una base de datos de 4300 imágenes animadas. Cuando un GIF aparece en más de una categoría, la categoría con la ubicación más alta en la GUI tiene una mayor ponderación. A las imágenes que aparecen en varias categorías se les asigna un similitud de reacción factor – una métrica inventada para el estudio.

Luego, las afinidades se descubren mediante la agrupación jerárquica y el enlace promedio.

Aumento de datos GIF de reacción

El conjunto de datos se generó y etiquetó aplicando el método a 30,000 tuits. La 'señal afectiva rica' de una categoría de reacción permitió a los investigadores aumentar el conjunto de datos con etiquetas afectivas adicionales, basadas en los grupos de categorías de reacción positiva y negativa, y agregar etiquetas de emoción con un esquema de mapeo de reacciones a emociones dedicado, basado en el veredicto mayoritario de tres evaluadores humanos en tuits de muestra.

Anterior trabajo de Yahoo y la Universidad de Rochester, que se ocupa de la anotación de GIF, no tiene esta capa de texto provocado, ni categorías de reacción, sino que es puramente semántica.

Los investigadores evaluaron el conjunto de datos a través de cuatro enfoques: roberta, la red neuronal convolucional (CNN) Guante, un clasificador de regresión logística y un clasificador de clase de mayoría simple. El peso de la convicción para cada categoría emerge bastante claramente en los resultados, siendo la aprobación, el acuerdo y la conmiseración los más fáciles de identificar (y más representados), y la disculpa lo más difícil de evaluar, quizás porque esto incluye la posibilidad de sarcasmo.

El modelo RoBERTa generó el promedio de clasificación probado más alto en los tres métodos de evaluación, que comprendían Predicción de reacción afectiva, Predicción de sentimiento inducido y Predicción de emoción inducida.

Obtener la emoción del usuario a partir de los GIF de reacción

Los investigadores observan que identificar la emoción inducida es una de las tareas más desafiantes en el análisis de sentimiento y emoción basado en PNL, y que el uso de GIF de reacción como proxy ofrece la posibilidad de que proyectos posteriores recopilen 'grandes cantidades de etiquetas afectivas económicas, naturales y de alta calidad'.

A pesar de concentrarse en un lugar muy específico de los GIF incrustados en la experiencia del usuario de Twitter, el estudio sostiene que este método puede generalizarse a otras plataformas de redes sociales, así como a las plataformas de mensajería instantánea, y potencialmente ser útil en sectores como el reconocimiento de emociones y multimodal. detección de emociones.

Popularidad como índice clave

El enfoque parece basarse en una cierta "viralidad" para cada GIF, como cuando un GIF está realmente disponible a través de los propios mecanismos de Twitter. Presumiblemente, los nuevos GIF generados por usuarios no podrían ingresar a esta ecoestructura, excepto a través de una mayor popularidad y adopción como meme.

Los GIF de reacción tienen revivido el uso de GIF animado primitivo de 1987 formato en los últimos diez años, después de años de descrédito como un acaparador de ancho de banda (principalmente utilizado para molestos anuncios publicitarios) en la era anterior a la banda ancha de Internet V1.