Corrigir Chamadas de Vídeo Borrosas em Tempo Real Usando apenas CPU

Um novo método cria um modelo de IA do seu rosto em segundos, para corrigir chamadas de vídeo borrosas em tempo real — executado inteiramente em um laptop básico CPU, sem a necessidade de hardware poderoso ou processamento em nuvem.

Embora os usuários em países com recursos limitados sejam os mais afetados por imagens de vídeo de baixa qualidade, é frequentemente um problema de “primeiro mundo” também – por exemplo, se um dos participantes da chamada estiver usando um ponto de acesso Wi-Fi sobrecarregado, ou algum outro processo ou pessoa na casa do participante estiver dominando a largura de banda disponível; ou mesmo se essa pessoa estiver visitando um país com conectividade ruim.

Desde que o problema é comum, uma certa atenção tem sido dedicada a ele na literatura de pesquisa, com soluções propostas via deblocking, denoising, super-resolução e vários outros métodos. O sistema VQFR de 2022 restaura imagens faciais degradadas substituindo recursos de imagem de baixa qualidade por representações de maior qualidade extraídas de um código de aprendizado; o GFP-GAN de 2021 aproveita priors faciais gerados para melhorar imagens de baixa qualidade; e o RTFVE: Realtime Face Video Enhancement usa imagens de referência de alta qualidade para realizar a restauração facial:

Clique para reproduzir, se necessário. Do projeto de melhoria facial RTFVE de 2025, melhoria de faces com aceleração de GPU. Fonte

Do ponto de vista do usuário com recursos limitados, a maioria dessas soluções não é viável, pois transfere o trabalho para uma GPU que pode não estar disponível no setup desse usuário. No entanto, usar a CPU (muito menos capaz) para tarefas de visão computacional é normalmente um processo offline, significando que um teria que esperar a CPU terminar o processamento antes que a saída estivesse disponível.

Isso é inaceitável para o cenário de vídeo de chamada, que é ávido em recursos, mas também, frequentemente, carente de recursos: qualquer sistema de melhoria facial verdadeiramente democrático precisaria executar na CPU com no mínimo 24fps em uma resolução razoável; e isso é muito para pedir.

Enfrentando

Esse cenário exigente é atendido por uma nova oferta de pesquisa dos EUA, que é capaz, segundo os autores, de treinar um modelo em menos de 100 segundos a partir de quadros esparsos do rosto do espectador, com o modelo final executando como uma camada intersticial entre o usuário e a conferência, por meio de camadas de API oficiais em aplicativos de vídeo de conferência, como o Zoom:

Clique para reproduzir, se necessário. Da página do projeto FSFVE, melhorias de amostra para cenários de webcam, usando um modelo leve (3,5MB) treinado em menos de dois minutos. Fonte

O artigo afirma:

‘O modelo FSFVE pode ser treinado logo antes de uma vídeo chamada ou no início da chamada. Apenas algumas imagens de alta qualidade do assunto são necessárias; por exemplo, 5 a 30 imagens, tornando-o um aprendizado de poucos exemplos. Logo antes da chamada ou no início da chamada, alguns segundos de vídeo de alta qualidade do usuário podem ser obtidos; por exemplo, 3 segundos, fornecendo 3∗24=72 quadros, supondo uma taxa de quadros de 24 quadros/segundo (FPS).

‘Esse vídeo de alta qualidade pode ser rapidamente reencodado em um vídeo de baixa qualidade com base nas configurações da vídeo chamada e, em seguida, com os quadros de baixa e alta qualidade, o modelo é treinado.’

Uma característica notável do novo sistema é sua flexibilidade em relação a quem “paga” pelo processamento do modelo; se o próprio espectador, por algum motivo, não puder fornecer a potência da CPU para o treinamento, isso pode ser transferido para o correspondente, enviando um pequeno número de quadros de alta qualidade, com o modelo assim treinado “remotamente” para o usuário com recursos limitados.

Alternativamente, o treinamento pode ser transferido sistematicamente para um servidor para treinamento. Os autores observam:

‘O servidor pode ser usado para casos em que os dispositivos de envio e recebimento são muito lentos para o treinamento (ou mesmo se não forem, para aliviar os dispositivos dessa tarefa).

‘Em qualquer caso, o tamanho do modelo é relativamente pequeno (cerca de 3,5 MB), assim como alguns quadros de alta qualidade, e uma vez que o treinamento esteja completo, o modelo pode ser executado em tempo real em uma CPU de laptop típica.’

Em testes, com modelos treinados contra linhas de base e trabalhos anteriores (incluindo o mencionado RTFVE, que forma a base do novo trabalho), o FSFVE superou consistentemente o vídeo comprimido não aprimorado, um ResNet otimizado para CPU e o modelo RTFVE-0 modificado, ainda executando em tempo real na CPU.

O novo artigo é intitulado FSFVE: Few Shot Compressed Face Video Enhancement e vem completo com um demo e um repositório GitHub.

Método

O FSFVE foi treinado no conjunto de dados aberto FaceForensics++*, que consiste em 363 vídeos de 1080p de atores falando, dos quais os autores extraíram a categoria falando contra uma parede, como sendo a mais próxima do estilo de uma vídeo chamada típica:

Clique para reproduzir, se necessário. Exemplos do conjunto de dados FaceForensics++. Fonte

Esse subconjunto chega a 27 vídeos de cerca de 972 quadros cada – principalmente vistas frontais, mas, necessariamente, algumas vistas laterais também.

Para gerar vídeos de baixa qualidade projetados para simular problemas de conexão de vídeo de chamada, os autores comprimiram o conjunto de dados usando os códigos de vídeo H264 e H265. Os níveis de compressão foram definidos para uma CRF que varia de 36, 40 e 44 (considerando que zero é perda e 51 é extremamente bloqueado).

Cada quadro foi recortado para uma região de 256 × 256 ao redor do rosto usando o detetor de rosto BlazeFace, após o qual as teclas faciais foram usadas para alinhar o rosto localizando os olhos e aplicando uma transformação afim (que gira, dimensiona e move o rosto para uma posição consistente), de modo que os olhos permaneçam nivelados e aproximadamente na mesma posição em todos os quadros.

Isso foi realizado com a Biblioteca de Reconhecimento Facial:

Um exemplo de extração de lineamentos faciais de uma imagem com a Biblioteca de Reconhecimento Facial Python. Fonte

Porque o modelo é projetado para aprender a partir de apenas alguns quadros de uma única vídeo chamada, os quadros de treinamento precisavam capturar tanto a variação facial quanto possível. Portanto, o agrupamento k-means foi usado em vez de métodos de seleção mais simples (ou seja, amostragem aleatória ou intervalos fixos).

Cada quadro recortado e alinhado foi passado pelo codificador de rosto RTFVE mencionado anteriormente para gerar uma representação numérica, após o qual o agrupamento k-means agrupou quadros semelhantes em 30 clusters. O processo de agrupamento foi repetido cinco vezes para obter o melhor agrupamento, e o quadro mais próximo do centro de cada cluster foi selecionado para treinamento. Esse processo produziu um conjunto diversificado de 30 imagens para cada vídeo.

Treinamento e Testes

Os modelos foram treinados por 100 épocas, o que é relativamente baixo, considerando o número muito pequeno de imagens envolvidas. No entanto, como os autores observam, um modelo superajustado é, na verdade, desejável nesse cenário, mesmo que não possa capturar todas as possíveis eventualidades, como expressões faciais incomuns, poses ou ocultação de recursos faciais. As prioridades, em vez disso, são flexibilidade moderada em generalização e velocidade de treinamento.

O otimizador RAdam foi usado com uma taxa de aprendizado de 10^-4.

Para os testes iniciais, o sistema foi comparado com o vídeo comprimido original; um ResNet leve configurado para inferência em tempo real na CPU; e o mencionado RTFVE – o único outro sistema de melhoria facial em tempo real na CPU conhecido.

Para garantir uma comparação justa, o RTFVE foi modificado para remover sua dependência de imagens de referência de alta qualidade durante a inferência, preservando uma velocidade e contagem de parâmetros semelhantes, produzindo uma variante chamada RTFVE-0. Os modelos ResNet e RTFVE-0 foram treinados usando a função de perda L1. Para garantir uma comparação justa, todos os modelos usaram o mesmo otimizador RAdam e configurações de treinamento, com uma instância de modelo treinada separadamente a partir de 30 quadros, para cada vídeo.

Para acelerar o treinamento, uma perda focal personalizada no domínio de frequência (destacando os detalhes de imagem mais visualmente importantes durante o treinamento) foi introduzida, para dar mais peso aos componentes DCT de baixa frequência (as informações de imagem após a conversão em valores de frequência), que têm a maior influência na qualidade de imagem percebida.

A ponderação foi derivada da matriz de quantização de luminância JPEG, fazendo com que o modelo priorize as estruturas de imagem mais visualmente importantes durante o treinamento.

Testes Quantitativos

Tanto a precisão técnica de reconstrução (distorsão) quanto a qualidade visual percebida foram medidas para os testes. A distorsão foi medida pela Taxa de Sinal para Ruído de Pico (PSNR) e Índice de Similaridade Estrutural (SSIM); e a qualidade perceptual pela Semelhança de Patch de Imagem Percebida Aprendida (LPIPS):

Desempenho do FSFVE contra o vídeo comprimido original, um ResNet otimizado para CPU e o RTFVE-0 modificado em vídeos H.264 e H.265 em três níveis de compressão, com PSNR e SSIM mais altos indicando melhor qualidade de reconstrução e LPIPS mais baixo indicando melhor qualidade perceptual.

O FSFVE superou consistentemente o vídeo comprimido original, bem como os modelos de melhoria de CPU baseados em CPU, em todos os níveis de compressão.

Com vídeo H.264, o PSNR aumentou em 1,11dB, 1,37dB e 1,51dB sobre a linha de base nos valores CRF de 36, 40 e 44, com melhorias correspondentes no SSIM e pontuações LPIPS mais baixas nos dois níveis de compressão mais altos (indicando melhor qualidade de imagem percebida).

Lucros semelhantes foram registrados com o H.265, sugerindo que a abordagem permanece eficaz em ambos os principais códigos de vídeo. Como mostrado abaixo, a melhoria se tornou mais pronunciada à medida que a compressão aumentou, indicando que o método se saiu particularmente bem nas condições de baixa largura de banda que foi projetado para abordar:

PSNR à medida que a taxa de bits aumenta para o vídeo H.264 original e a saída aprimorada. A lacuna em expansão em taxas de bits mais baixas mostra que o FSFVE entrega seus maiores ganhos de qualidade em condições de compressão mais pesada e restrita em largura de banda.

O ResNet otimizado para CPU e o RTFVE-0 forneceram apenas melhorias modestas sobre a linha de base comprimida, enquanto o FSFVE superou ambos por mais de 1,1dB, mantendo o desempenho em tempo real em 30,24 FPS, apesar de conter cerca de um milhão de parâmetros.

Como mostrado abaixo, o desempenho melhorou constantemente à medida que mais quadros de treinamento foram fornecidos. Mesmo com apenas cinco imagens de treinamento, o FSFVE melhorou o PSNR em mais de 0,75dB sobre a linha de base comprimida, enquanto dez quadros de treinamento foram suficientes para exceder uma melhoria de 1dB – indicando que a abordagem permaneceu eficaz com dados de treinamento muito limitados:

Efeito do tamanho do conjunto de treinamento no PSNR para quadros de vídeo H.264 não vistos em CRF 44. Mesmo cinco imagens de treinamento melhoraram a qualidade sobre a linha de base comprimida, com o desempenho aumentando constantemente à medida que mais quadros estavam disponíveis.

Testes Qualitativos

Nos resultados abaixo, para a fase qualitativa dos testes, vemos quadros de vídeo H.264 fortemente comprimidos em CRF 44 com a saída correspondente do FSFVE:

Comparação de quadros de vídeo H.264 fortemente comprimidos em CRF 44 com a saída correspondente do FSFVE. Os resultados aprimorados, afirma o artigo, reduzem artefatos de compressão, restauram a estrutura facial e produzem pele mais suave e natural, preservando a identidade e expressão do assunto. Por favor, consulte o PDF de origem e os vídeos originais para melhores exemplos.

Os autores afirmam que as imagens comprimidas exibem artefatos proeminentes ao redor dos olhos, nariz e boca, juntamente com pele com textura não natural e distorções nos recursos faciais, enquanto os resultados aprimorados reduzem substancialmente esses defeitos:

‘No primeiro exemplo, os olhos parecem não claros com o preto da maquiagem dos olhos se misturando com a cor dos olhos. Há sinais claros de aliasing com os lábios. As sobrancelhas falta definição e a pele parece distorcida. No segundo exemplo, a pele é altamente texturizada com artefatos de speckle.

‘Há artefatos de blocking abaixo da boca que alteram a forma do queixo. Há também linhas verticais.

‘Nosso modelo é capaz de remediar esses artefatos, gerando uma saída visualmente agradável com pele mais clara e restaura alguns dos detalhes finos que foram perdidos na compressão.

‘Importante, a saída aprimorada permanece fiel à identidade no vídeo.’

Conclusão

Parece inevitável que esses esforços contínuos em toda a indústria e academia para aumentar a qualidade dos dados de vídeo de chamada de baixo sinal eventualmente colidirão com os esforços opostos para identificar imagens de vídeo de deepfake em vídeo de chamada.

Desde que, como o novo artigo observa, sistemas intersticiais como o FSFVE podem ser aplicados legitimamente a fluxos de vídeo de chamada por meio de APIs oficiais, é possível que o conteúdo não processado permaneça disponível para uso por medidas anti-deepfake, à medida que elas surgem – e se tornam mais importantes.

* Referido no novo artigo como o conjunto de dados ‘DeepFakeDetector’, embora não pareça ser conhecido por esse nome, mesmo dentro do artigo FaceForensics++ que os autores vinculam a este respeito.

Publicado pela primeira vez na terça-feira, 14 de julho de 2026