Expressão de Emoção por meio de Tipografia com IA

As tendências atuais e inovações em comunicações de texto (incluindo e-mail, mensagens e sistemas de legendas) devem negociar o abismo afetivo entre a fala escrita e a fala falada de maneira crua e aproximativa.

Por exemplo, nos últimos anos, surgiram letras alternadas como um meme provocativo em guerras de flama nas mídias sociais, enquanto o uso odiado de letras maiúsculas (bem como efeitos tipográficos ousados permitidos por algumas plataformas de comentários) continua a provocar a intervenção dos moderadores. Esses são métodos monótonos e apenas representativos para esclarecer a intenção da palavra escrita.

Ao mesmo tempo, o crescimento da popularidade de emoticons e emojis, como um conveyer híbrido de sentimento textual/visual, tem ativamente engajado o setor de pesquisa em Processamento de Linguagem Natural (NLP) nos últimos anos, juntamente com o interesse no significado de GIFs animados que os usuários postam em threads de comentários.

Com o tempo, a linguagem escrita evoluiu um fundo inovador desses métodos ‘aditivos’ linguísticos, que tentam ou proxyar a emoção ou evocá-la na ausência da informação tonal da fala falada.

Geralmente, no entanto, precisamos renderizar a emoção da melhor forma possível a partir do contexto da palavra escrita. Considere, por exemplo, a exclamação ‘Oh, Oh, Oh!’, no final do solilóquio noturno de Lady Macbeth, argumentavelmente um estudo de caso da extensão com que a entonação pode afetar o significado.

Na maioria das adaptações, essa lamentação dolorida dura 2-6 segundos; na produção de 1976 da Royal Shakespeare Company de Macbeth, dirigida por Trevor Nunn, Judi Dench levou a leitura dessa linha a um talvez inigualado recorde de 24,45 segundos, em uma interpretação marcante do papel.

(O próprio sistema de legendas automático do YouTube para esse clipe descreve a ululação de Dench como [MÚSICA])

Traduzindo Prosódia para Tipografia

Um artigo recente do Brasil propõe um sistema de tipografia modulada por fala que poderia potencialmente incorporar tal prosódia, e outros componentes paralinguísticos, diretamente em legendas de fala, adicionando uma dimensão de emoção que é mal capturada pela prepensão de adjetivos como [Gritando], ou os outros truques ‘chatos’ disponíveis para convenções de legendas fechadas.

‘Propomos um modelo novo de Tipografia Modulada por Fala, onde recursos acústicos da fala são usados para modular a aparência visual do texto. Isso poderia permitir que a transcrição de uma fala dada não apenas represente as palavras ditas, mas como elas foram ditas.

‘Com isso, esperamos descobrir parâmetros tipográficos que possam ser geralmente reconhecidos como proxies visuais para os recursos prosódicos de amplitude, tom e duração.’

O fluxo de trabalho que translitera a prosódia em estilização tipográfica. Visando produzir o sistema mais versátil e amplamente implantável possível, os autores limitaram-se a deslocamento de base, kerning e negrito, este último sendo fornecido pela versatilidade de uma fonte de tipo aberto. Fonte: https://arxiv.org/pdf/2202.10631.pdf

O artigo é intitulado Hidden bawls, whispers, and yelps: can text be made to sound more than just its words?, e vem de Calua de Lacerda Pataca e Paula Dornhofer Paro Costa, dois pesquisadores da Universidade Estadual de Campinas, no Brasil.

Palavras em Negrito

Embora o objetivo mais amplo do projeto seja desenvolver sistemas que possam transmitir prosódia e outros recursos linguísticos paramétricos em legendas, os autores também acreditam que um sistema desse tipo poderia eventualmente desenvolver uma audiência mais ampla no mundo ouvinte.

Há muitas iniciativas anteriores nesse espaço, incluindo um projeto de 1983 que propôs um sistema de legendas que poderia incluir ‘efeitos especiais, cor e letras maiúsculas [para representar] a rica informação tonal negada às crianças surdas[.]’.

Em contraste, o projeto brasileiro pode aproveitar tanto a transcrição automatizada quanto os novos desenvolvimentos no reconhecimento de afeto, que se combinam para permitir um fluxo de trabalho que pode importar e caracterizar os componentes de uma trilha sonora de fala.

Depois que os recursos prosódicos são extraídos e processados, eles são mapeados para os carimbos de tempo das palavras na fala, produzindo tokens que podem ser usados para aplicar a modulação baseada em regras da tipografia da legenda (veja imagem acima).

Esse resultado pode representar visualmente a extensão com que uma sílaba particular pode ser prolongada, sussurrada, enfatizada ou de outra forma conter informações contextuais que seriam perdidas em uma transcrição bruta.

Da fase de teste do projeto, note a forma como o kerning (o espaço entre as letras de uma palavra) foi ampliado para refletir uma pronúncia prolongada.

Os autores esclarecem que seu trabalho não pretende contribuir diretamente para a pesquisa de reconhecimento de emoção e reconhecimento de afeto, mas busca classificar os recursos da fala e representá-los com um conjunto simples e limitado de convenções visuais novas.

No mínimo, o destaque adicional que o sistema fornece desambigua frases onde o objeto da ação pode não ser claro para os espectadores que não podem ouvir o som (seja por deficiência ou circunstâncias de reprodução, como ambientes barulhentos).

Para usar meu próprio exemplo de 2017, que examinou a forma como os sistemas de aprendizado de máquina podem também ter dificuldade em entender onde o objeto e a ação se encontram em uma frase, é fácil ver a extensão com que o destaque pode radicalmente mudar o significado de uma frase simples:

Eu não roubei aquilo. (Alguém mais roubou)
Eu não roubei aquilo, (Eu nego a alegação de que eu roubei)
Eu não roubei aquilo. (Eu possuo, o roubo não se aplica)
Eu não roubei aquilo. (Mas eu roubei algo mais)

Potencialmente, um fluxo de trabalho de prosódia > tipografia mecanicista, como o sugerido pelos autores brasileiros, também poderia ser útil como um auxiliar no desenvolvimento de conjuntos de dados para pesquisa de computação de afeto, uma vez que facilita o processamento de dados puramente textuais que, no entanto, incorporam algumas dimensões paralinguísticas pré-inferidas.

Além disso, os pesquisadores observam que a carga linguística extra de texto ciente de prosódia poderia ser útil em uma variedade de tarefas baseadas em NLP, incluindo avaliação de satisfação do cliente e para a inferência de depressão a partir do conteúdo do texto.

Tipografia Elástica

A estrutura desenvolvida pelos pesquisadores oferece variação no deslocamento de base, onde uma letra pode ser mais alta ou mais baixa em relação à ‘linha de base’ em que a frase repousa; kerning, onde o espaço entre as letras de uma palavra pode ser contraído ou expandido; e peso da fonte (negrito).

Esses três estilos são mapeados para os recursos extraídos da fala aos quais o projeto se limitou: respectivamente, tom, duração e magnitude.

A progressão do estilo em uma frase. No #1, vemos as fronteiras de sílaba definidas no processo de extração. No #2, vemos uma representação de cada uma das três modulações (magnitude|peso, kerning|duração e tom|deslocamento de base), aplicadas individualmente. No #3, vemos as modulações tipográficas combinadas na saída final, como apresentada aos 117 participantes em um teste do sistema.

Como uma única fonte pode exigir uma fonte adicional e separada para variações como negrito e itálico, os pesquisadores usaram uma implementação do Google Inter da fonte OpenType Inter, que integra uma gama granular de pesos em uma única fonte.

Do artigo, um gráfico detalhando a extensão com que um glifo OpenType da fonte Inter pode expressar uma gama de ênfases em negrito ao longo do esqueleto da spline de base mínima.

Testes

A expressão de kerning e deslocamento de base foi incorporada a um plugin de navegador, que permitiu testes realizados em 117 participantes com capacidade de audição.

O conjunto de dados para os testes foi criado especificamente para o projeto, contratando-se um ator que leu uma seleção de poemas várias vezes com um destaque diferente em cada tomada, correspondendo aos três recursos que o projeto está estudando. A poesia foi escolhida porque permite uma gama de ênfases (mesmo além da intenção do poeta) sem soar artificial.

Os participantes foram divididos em dois grupos. O primeiro recebeu 15 rodadas da leitura do ator de um estância acompanhada por texto animado e modulado, que se desenrolou em tempo com o clipe de áudio.

O segundo grupo recebeu exatamente o mesmo conjunto de tarefas, mas foi apresentado com imagens estáticas do texto modulado, que não mudaram durante a reprodução do clipe de áudio do ator.

A taxa média de respostas corretas foi de 67% para o grupo de imagem estática e 63% para o grupo de texto animado. Comentários dos participantes solicitados pelos pesquisadores após os testes confirmaram a teoria de que a carga cognitiva da interpretação dinâmica pode ter contribuído para as pontuações mais baixas para os testes não estáticos. No entanto, o tipo de sistema de legendas e mensagens para o qual essa estrutura seria destinada geralmente fornece texto pré-concluído por padrão.

Comentários dos participantes também indicaram que há limites rígidos para o uso do kerning para indicar duração, com um comentarista observando que, quando as letras estão espaçadas muito longe, torna-se difícil individuar uma palavra.

Os pesquisadores também observam:

‘[Alguns] participantes sentiram que o modelo deveria ser capaz de incorporar representações mais nuances e complexas da fala, o que ele deveria fazer com um vocabulário visual mais variado e expressivo. Embora isso não seja uma tarefa simples, é encorajador imaginar como diferentes aplicações de tipografia modulada por fala poderiam se ramificar à medida que esse novo campo se desenvolve.’

Publicado pela primeira vez em 24 de fevereiro de 2022.