Leitura Labial com Visemas e Aprendizado de Máquina

Pesquisas recentes da Escola de Engenharia de Computação de Teerã oferecem uma abordagem aprimorada para o desafio de criar sistemas de aprendizado de máquina capazes de ler lábios.

O artigo, intitulado Leitura Labial Usando Decodificação de Visemas, relata que o novo sistema alcança uma melhoria de 4% na taxa de erro de palavra em relação ao melhor dos modelos anteriores semelhantes. O sistema aborda a falta geral de dados de treinamento úteis neste setor mapeando visemas para conteúdo de texto derivado das seis milhões de amostras no conjunto de dados OpenSubtitles de títulos de filmes traduzidos.

Um visema é o equivalente visual de um fonema, efetivamente um mapeamento áudio-imagens que pode constituir uma ‘característica’ em um modelo de aprendizado de máquina.

Visemas em ação. Fonte: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

Os pesquisadores começaram estabelecendo a taxa de erro mais baixa nos conjuntos de dados disponíveis e desenvolvendo sequências de visemas a partir de procedimentos de mapeamento estabelecidos. Gradualmente, este processo desenvolve um léxico visual de palavras – embora seja necessário definir probabilidades de precisão para diferentes palavras que compartilham um visema (como ‘coração’ e ‘arte’).

Visemas extraídos do texto. Fonte: https://arxiv.org/pdf/2104.04784.pdf

Quando duas palavras idênticas resultam no mesmo visema, a palavra mais frequentemente ocorrente é selecionada.

O modelo se baseia no aprendizado de sequência para sequência tradicional adicionando uma etapa de subprocessamento na qual os visemas são previstos a partir do texto e modelados em um pipeline dedicado:

Above, métodos de sequência para sequência tradicionais em um modelo de caractere; abaixo, a adição de modelagem de caractere de visema no modelo de pesquisa de Teerã. Fonte: https://arxiv.org/pdf/2104.04784.pdf

O modelo foi aplicado sem contexto visual contra o conjunto de dados LRS3-TED, lançado pela Universidade de Oxford em 2018, com a pior taxa de erro de palavra (WER) obtida um respeitável 24,29%.

A pesquisa de Teerã também incorpora o uso de um conversor de grafema para fonema.

Em um teste contra a pesquisa de Oxford de 2017 Leitura Labial de Frases no Mundo (veja abaixo), o método Video-Para-Visema alcançou uma taxa de erro de palavra de 62,3%, em comparação com 69,5% para o método de Oxford.

Os pesquisadores concluem que o uso de um volume maior de informações de texto, combinado com mapeamento de grafema para fonema e visema, promete melhorias sobre o estado da arte em sistemas de leitura labial automatizados, enquanto reconhece que os métodos usados podem produzir resultados ainda melhores quando incorporados em frameworks atuais mais sofisticados.

A leitura labial dirigida por máquina tem sido uma área ativa e contínua de pesquisa em visão computacional e NLP nos últimos duas décadas. Entre muitos outros exemplos e projetos, em 2006, o uso de software de leitura labial automatizada capturou manchetes quando usado para interpretar o que Adolf Hitler estava dizendo em alguns dos famosos filmes mudos feitos em sua retirada bávara, embora a aplicação pareça ter desaparecido na obscuridade desde então (doze anos depois, Sir Peter Jackson recorreu a leitores labiais humanos para restaurar as conversas de footage da Primeira Guerra Mundial no projeto Eles Não Envelhecerão).

Em 2017, Leitura Labial de Frases no Mundo, uma colaboração entre a Universidade de Oxford e a divisão de pesquisa de IA do Google produziu um modelo de leitura labial capaz de inferir corretamente 48% da fala em vídeo sem som, onde um leitor labial humano poderia alcançar apenas 12,4% de precisão a partir do mesmo material. O modelo foi treinado em milhares de horas de footage da BBC.

Este trabalho seguiu um iniciativa separada da Oxford/Google do ano anterior, intitulado LipNet, uma arquitetura de rede neural que mapeia sequências de vídeo de comprimento variável para sequências de texto usando uma Rede Recorrente com Porta (GRN), que adiciona funcionalidade à arquitetura base de uma Rede Neural Recorrente (RNN). O modelo alcançou um desempenho 4,1 vezes melhor do que os leitores labiais humanos.

Além do problema de obter uma transcrição precisa em tempo real, o desafio de interpretar a fala a partir de vídeo se aprofunda à medida que você remove o contexto útil, como áudio, footage ‘de frente’ bem iluminada e uma linguagem/cultura onde os fonemas/visemas são relativamente distintos.

Embora não haja atualmente uma compreensão empírica de quais línguas são as mais difíceis de ler labialmente na ausência completa de áudio, o japonês é um principais concorrentes. As diferentes maneiras pelas quais os nativos japoneses (assim como certos outros nativos asiáticos ocidentais e orientais) usam expressões faciais contra o conteúdo de sua fala já os tornam um desafio maior para sistemas de análise de sentimentos.

No entanto, é importante notar que grande parte da literatura científica sobre o assunto é geralmente circunspecta, não menos porque mesmo a pesquisa objetiva e bem-intencionada neste campo arrisca cruzar para o perfil racial e a promulgação de estereótipos existentes.

Línguas com uma alta proporção de componentes guturais, como checheno e holandês, são particularmente problemáticas para técnicas de extração de fala automatizadas, enquanto culturas onde o falante pode expressar emoção ou deferência olhando para longe (novamente, geralmente em culturas asiáticas) adicionam outra dimensão onde os pesquisadores de leitura labial de IA precisarão desenvolver métodos adicionais de ‘preenchimento’ a partir de outros indícios contextuais.