GIFs de reação oferecem uma nova chave para o reconhecimento de emoções em PNL

Uma nova pesquisa realizada em Taiwan está oferecendo um novo método de Processamento de Linguagem Natural (PNL) para realizar análises de sentimentos em fóruns de mídia social e conjuntos de dados de pesquisa linguística – categorizando e rotulando GIFs animados que são postados em resposta a anúncios de texto.

Os pesquisadores, liderados por Boaz Shmueli, da National Tsing Hua University em Taiwan, usaram o banco de dados de GIFs de reação embutido no Twitter como um índice para quantificar o estado afetivo da resposta de um usuário, eliminando a necessidade de negociar respostas em vários idiomas, o desafiar de detectar sarcasmo ou de identificar a temperatura emocional central de respostas ambíguas ou excessivamente breves.

Clicar no botão 'GIF' ao compor uma postagem no Twitter oferece um conjunto padrão de GIFs animados rotulados que são potencialmente mais fáceis para o NLP analisar em emoções 'identificadas' do que em linguagem de texto simples.

A papel caracteriza o uso de GIFs de reação dessa forma como 'um novo tipo de rótulo, ainda não disponível em conjuntos de dados de emoção NLP', e observa que os conjuntos de dados existentes usam o modelo dimensional de emoção ou o modelo de emoções discretas, nenhum dos quais oferece esse tipo de percepção.

Uma resposta GIF animada a uma postagem do usuário. Com o GIF fornecido pelo Twitter agora codificado em termos de estado afetivo, a ambigüidade de intenção é praticamente removida. Fonte: https://arxiv.org/pdf/2105.09967.pdf

Os pesquisadores lançaram um conjunto de dados de 30,000 tweets sarcásticos contendo reações GIF. Essa abordagem oferece à PNL uma distinção ausente em outras literaturas atuais: um método para distinguir percebido emoção (emoções que um leitor identifica no texto) de induzido emoção (um sentimento que o leitor experimenta como uma reação ao texto).

GIFs de reação como indicadores redutores

Em termos de resposta de apoio a uma postagem que compartilha um estado emocional angustiante, um GIF apropriado é reducionista útil e inequívoco em sua intenção, quando postado sem texto de apoio (e esses são os tipos de resposta de GIF nos quais o estudo se concentrou).

Por exemplo, reações como 'Isso é brutal, cara', 'Isso é uma vergonha'ou 'Awww' contêm ambiguidades potenciais de intenção, desde a possibilidade de um certo ponto de vista 'clínico' e não afetado até a possibilidade de sarcasmo; mas a postagem de uma das centenas de GIFs da categoria 'abraço' do Twitter deixa menos espaço para interpretação:

Analisando os subsignificados de uma reação GIF

No entanto, dentro de qualquer categoria única de reação, como 'abraço', existem vários indicadores adicionais de humor ou ponto de vista que abrangem vários gêneros de estado afetado, incluindo o ponto de vista de suposições românticas ou familiares de relacionamento entre o respondente e o pôster original.

Representação de vários tipos de relacionamento na categoria GIF 'abraço' disponível no Twitter. O uso de diversos gêneros, alegorias, representações de gênero e outros fatores adicionam granularidade à interpretabilidade potencial de uma escolha de GIF para esse sentimento.

O conjunto de dados ReactionGIF foi derivado dos primeiros 100 GIFs em cada categoria de reação disponível no Twitter, levando a um banco de dados de 4300 imagens animadas. Onde um GIF aparece em mais de uma categoria, a categoria com o posicionamento mais alto na GUI tem um peso maior. As imagens que aparecem em várias categorias recebem um semelhança de reação fator – uma métrica inventada para o estudo.

As afinidades são então descobertas usando agrupamento hierárquico e ligação média.

Aumentando Dados de GIF de Reação

O conjunto de dados foi gerado e rotulado aplicando o método em 30,000 tweets. O 'sinal afetivo rico' de uma categoria de reação permitiu que os pesquisadores aumentassem o conjunto de dados com rótulos afetivos adicionais, com base nos grupos de categorias de reações positivas e negativas, e adicionassem rótulos de emoção com um esquema de mapeamento dedicado de reações a emoções, com base em o veredicto da maioria de três avaliadores humanos em exemplos de tweets.

Prévio trabalho do Yahoo e da Universidade de Rochester, que lida com a anotação de GIFs, não possui essa camada de texto eliciado, nem quaisquer categorias de reação, mas é puramente semântica.

Os pesquisadores avaliaram o conjunto de dados em quatro abordagens: Roberto, a Rede Neural Convolucional (CNN) Luva, um classificador de regressão logística e um classificador de classe de maioria simples. O peso da convicção para cada categoria surge bastante claro nos resultados, sendo a aprovação, concordância e comiseração os mais fáceis de identificar (e os mais representados), e o pedido de desculpas os mais difíceis de avaliar, talvez porque isso inclua a possibilidade de sarcasmo.

O modelo RoBERTa gerou a maior média de classificação testada em todos os três métodos de avaliação, que incluíam Previsão de Reação Afetiva, Previsão de Sentimento Induzido e Previsão de Emoção Induzida.

Coletando a emoção do usuário a partir de GIFs de reação

Os pesquisadores observaram que a identificação da emoção induzida é uma das tarefas mais desafiadoras na análise de sentimentos e emoções baseada em PNL, e que o uso de GIFs de reação como proxy oferece a possibilidade de projetos posteriores coletarem 'grandes quantidades de rótulos afetivos baratos, naturais e de alta qualidade'.

Apesar de se concentrar em um locus muito específico de GIFs incorporados à experiência do usuário do Twitter, o estudo afirma que esse método pode ser generalizado para outras plataformas de mídia social, bem como plataformas de mensagens instantâneas, e potencialmente útil em setores como reconhecimento de emoções e multimodal. detecção de emoções.

Popularidade como um índice chave

A abordagem parece depender de uma certa 'viralidade' para cada GIF, como quando um GIF é realmente disponibilizado através dos próprios mecanismos do Twitter. Presumivelmente, novos GIFs gerados por usuários não poderiam entrar nessa ecoestrutura, exceto por meio do aumento de popularidade e adoção como um meme.

GIFs de reação têm revivido o uso de GIF animado primitivo de 1987 formato nos últimos dez anos, após anos de descrédito como um devorador de largura de banda (usado principalmente para banners irritantes) na era pré-banda larga da Internet V1.