GIFs de Reação Oferecem uma Nova Chave para o Reconhecimento de Emoções em NLP

Nova pesquisa realizada em Taiwan está oferecendo um método novato para o Processamento de Linguagem Natural (NLP) realizar análise de sentimento em fóruns de mídia social e conjuntos de dados de pesquisa de linguagem – categorizando e rotulando GIFs animados que são postados em resposta a anúncios de texto.

Os pesquisadores, liderados por Boaz Shmueli da Universidade Nacional Tsing Hua em Taiwan, utilizaram o banco de dados interno do Twitter de GIFs de reação como um índice para quantificar o estado afetivo de uma resposta do usuário, eliminando a necessidade de negociar múltiplas respostas de linguagem, o desafio de detectar sarcasmo, ou de identificar a temperatura emocional central de respostas ambíguas ou excessivamente breves.

Clicar no botão ‘GIF’ ao compor uma postagem no Twitter oferece um conjunto padrão de GIFs animados rotulados que são potencialmente mais fáceis para o NLP analisar em ’emoções identificadas’ do que a linguagem de texto puro.

O artigo caracteriza o uso de GIFs de reação desta forma como ‘um novo tipo de rótulo, ainda não disponível em conjuntos de dados de emoção do NLP’, e observa que os conjuntos de dados existentes utilizam o modelo dimensional de emoção ou o modelo de emoções discretas, nenhum dos quais oferece esse tipo de insight.

Uma resposta de GIF animado a uma postagem de usuário. Com o GIF fornecido pelo Twitter agora codificado em termos de estado afetivo, a ambiguidade de intenção é quase removida. Fonte: https://arxiv.org/pdf/2105.09967.pdf

Os pesquisadores lançaram um conjunto de dados de 30.000 tweets sarcásticos contendo reações de GIF. Esta abordagem oferece ao NLP uma distinção que está ausente da literatura atual: um método para distinguir emoção percebida (emoções que um leitor identifica do texto) de emoção induzida (um sentimento que o leitor experimenta como reação ao texto).

GIFs de Reação como Indicadores Redutivos

Em termos de uma resposta de apoio a uma postagem que compartilha um estado emocional angustiante, um GIF apropriado é útilmente redutivista e não ambíguo em intenção, quando postado sem texto de apoio (e esses são os tipos de resposta de GIF que o estudo se concentrou).

Por exemplo, reações como ‘Isso é brutal, cara’, ‘Isso é uma pena’, ou ‘Ahhh’ contêm possíveis ambiguidades de intenção, desde a possibilidade de um certo ponto de vista ‘clínico’ e não afetado até a possibilidade de sarcasmo; mas a postagem de um dos centenas de GIFs da categoria ‘abraço’ do Twitter deixa menos espaço para interpretação:

Perfurmando em Sub-Significados de uma Reação de GIF

No entanto, dentro de qualquer categoria única de reação, como ‘abraço’, existem numerosos indicadores adicionais de humor ou ponto de vista que abrangem múltiplos gêneros de estado afetado, incluindo o ponto de vista de suposições românticas ou familiares de relacionamento entre o respondente e o postador original.

Depictação de vários tipos de relacionamento na categoria de GIFs de ‘abraço’ disponível no Twitter. O uso de gêneros, tropos, representações de gênero e outros fatores adiciona granularidade à potencial interpretabilidade de uma escolha de GIF para este sentimento.

O conjunto de dados ReactionGIF foi derivado dos primeiros 100 GIFs em cada categoria de reação disponível no Twitter, resultando em um banco de dados de 4300 imagens animadas. Quando um GIF aparece em mais de uma categoria, a categoria com a colocação mais alta na GUI é ponderada mais altamente. Imagens que aparecem em múltiplas categorias são atribuídas a um fator de similaridade de reação – uma métrica inventada para o estudo.

Afinidades são então descobertas usando agrupamento hierárquico e ligação média.

Aumentando os Dados de GIFs de Reação

O conjunto de dados foi gerado e rotulado aplicando o método contra 30.000 tweets. O ‘sinal afetivo rico’ de uma categoria de reação permitiu que os pesquisadores aumentassem o conjunto de dados com rótulos afetivos adicionais, com base nos clusters de categorias de reação positiva e negativa, e adicionassem rótulos de emoção com um esquema de mapeamento de reações para emoções dedicado, com base no veredicto majoritário de três avaliadores humanos em tweets de amostra.

Trabalho anterior trabalho da Yahoo e da Universidade de Rochester, que lida com a anotação de GIFs, não tem essa camada de texto elucidado, nem categorias de reação, mas é puramente semântico.

Os pesquisadores avaliaram o conjunto de dados em quatro abordagens: RoBERTa, a Rede Neural Convolucional (CNN) GloVe, um classificador de regressão logística, e um classificador de classe majoritária simples. O peso de convicção para cada categoria emerge quite claramente nos resultados, com aprovação, concordância e condolências mais fáceis de identificar (e mais representados), e desculpas mais difíceis de avaliar, talvez desde que isso inclui a possibilidade de sarcasmo.

O modelo RoBERTa gerou a classificação mais alta testada em todas as três métodos de avaliação, que compreendiam Previsão de Reação Afetiva, Previsão de Sentimento Induzido e Previsão de Emoção Induzida.

Coletando Emoção do Usuário a Partir de GIFs de Reação

Os pesquisadores observam que identificar emoção induzida é uma das tarefas mais desafiadoras na análise de sentimento e emoção baseada em NLP, e que usar GIFs de reação como um proxy oferece a possibilidade para projetos posteriores coletarem ‘grandes quantidades de rótulos afetivos de alta qualidade, baratos e naturalmente ocorrentes’.

Apesar de se concentrar em um locus muito específico de GIFs incorporados na experiência do usuário do Twitter, o estudo sustenta que este método pode ser generalizado para outras plataformas de mídia social, bem como plataformas de mensagens instantâneas, e potencialmente ser útil em setores como reconhecimento de emoção e detecção de emoção multimodal.

Popularidade como um Índice-Chave

A abordagem parece depender de uma certa ‘virulência’ para cada GIF, como quando um GIF é realmente disponibilizado por meio dos próprios mecanismos do Twitter. Presumivelmente, GIFs novos e criados pelo usuário não poderiam entrar nessa ecologia a não ser por meio do aumento da popularidade e adoção como um meme.

GIFs de reação reviveram o uso do formato de GIF animado primitivo de 1987 nos últimos dez anos, subsequentemente a anos de desrepute como um consumidor de banda (primariamente usado para anúncios de banner irritantes) na era pré-banda larga da Internet V1.