Desenvolvedores do TikTok Apagam Rostos para Aplicativos de Realidade Aumentada

A ByteDance, empresa multinacional de internet chinesa por trás do TikTok, desenvolveu um novo método para apagar rostos em vídeo, de modo que distorções de identidade e outros efeitos bizarros possam ser impostos a pessoas em aplicativos de realidade aumentada. A empresa afirma que a técnica já foi integrada a produtos móveis comerciais, embora não especifique quais produtos.

Uma vez que os rostos em vídeo foram “zerados”, há espaço suficiente para produzir distorções impressionantes, bem como superpor outras identidades. Exemplos fornecidos em um novo artigo de pesquisadores da ByteDance ilustram as possibilidades, incluindo restaurar as características “apagadas” em várias configurações cômicas (e certamente algumas grotescas):

Algumas das possibilidades de reconfiguração facial incluídas no artigo da ByteDance. Fonte: https://arxiv.org/pdf/2109.10760.pdf

Para o final de agosto, foi divulgado que o TikTok, o primeiro aplicativo não Facebook a atingir três bilhões de instalações, havia lançado o TikTok Effect Studio (atualmente em beta fechado), uma plataforma para desenvolvedores de realidade aumentada criarem efeitos de realidade aumentada para transmissões de conteúdo do TikTok.

Em essência, a empresa está alcançando comunidades de desenvolvedores semelhantes no AR Studio do Facebook e no Snap AR, com a venerável comunidade de P&D de realidade aumentada da Apple também prestes a ser galvanizada por novo hardware nos próximos anos.

Expressões em Branco

O artigo, intitulado FaceEraser: Removendo Partes Faciais para Realidade Aumentada, observa que os algoritmos de preenchimento de imagens existentes, como o SPADE da NVIDIA, estão mais orientados para completar imagens truncadas ou semi-obscurecidas do que para realizar esse procedimento de “apagamento” incomum, e que o material de conjunto de dados existente é, portanto, previsivelmente escasso.

Como não há conjuntos de dados de verdade disponíveis para pessoas que têm uma extensão sólida de carne onde o rosto deveria estar, os pesquisadores criaram uma nova arquitetura de rede chamada pixel-clone, que pode ser superposta a modelos de preenchimento de imagens neurais existentes, e que resolve questões relacionadas a inconsistências de textura e cor exibidas (o artigo atesta) por métodos mais antigos, como o StructureFlow e o EdgeConnect.

Fluxo de trabalho geral do pixel-clone na nova pipeline.

Para treinar um modelo em “rostos em branco”, os pesquisadores excluíram imagens com óculos ou onde o cabelo obscurece a testa, pois a área entre a linha do cabelo e as sobrancelhas é geralmente o maior grupo de pixels que pode fornecer material para “colar” as características centrais do rosto.

Preparando imagens de treinamento. A área da testa é recortada com base em pontos-chave no reconhecimento de alinhamento facial, verticalmente invertida e costurada.

Uma imagem de 256×256 pixels é obtida, um tamanho pequeno o suficiente para ser alimentada no espaço latente de uma rede neural em lotes grandes o suficiente para alcançar generalização. O dimensionamento algorítmico posterior restaurará as resoluções necessárias para funcionar no espaço de realidade aumentada.

Arquitetura

A rede é composta por três redes internas, que consistem em Conclusão de Borda, Pixel-Clone e uma rede de refino. A rede de conclusão de borda usa a mesma arquitetura de codificador-decodificador empregada no EdgeConnect (ver acima), bem como nas duas aplicações de deepfake mais populares. Os codificadores diminuem a amostragem do conteúdo da imagem duas vezes, e os decodificadores restauram as dimensões originais da imagem.

O Pixel-Clone usa uma metodologia de codificador-decodificador modificada, enquanto a camada de refino usa a arquitetura U-Net, uma técnica originalmente desenvolvida para imagens biomédicas, que frequentemente aparece em projetos de pesquisa de síntese de imagens.

Durante o fluxo de trabalho de treinamento, é necessário avaliar a precisão das transformações e, conforme necessário, repetir as tentativas iterativamente até convergência. Para esse fim, dois discriminadores baseados no PatchGAN são usados, cada um dos quais avalia a realidade localizada de patches de 70×70 pixels, descontando o valor de realidade da imagem inteira.

Treinamento e Dados

A rede de conclusão de borda é treinada inicialmente de forma independente, enquanto as outras duas redes são treinadas juntas, com base nos pesos resultantes do treinamento de conclusão de borda, que são fixos e congelados durante esse procedimento.

Embora o artigo não afirme explicitamente que os exemplos de distorção de características finais sejam o objetivo central do modelo, ele implementa vários efeitos cômicos para testar a resiliência do sistema, incluindo remoção de sobrancelhas, bocas aumentadas, sub-rostos encolhidos e efeitos “toonizados” (como mostrado na imagem anterior).

O artigo afirma que “os rostos apagados permitem vários aplicativos de realidade aumentada que exigem a colocação de elementos personalizados por usuário”, indicando a possibilidade de personalizar rostos com elementos contribuídos por terceiros.

O modelo é treinado em máscaras do conjunto de dados FFHQ criado pela NVIDIA, que contém uma variedade adequada de idades, etnias, iluminação e poses e estilos faciais para alcançar uma generalização útil. O conjunto de dados contém 35.000 imagens e 10.000 máscaras de treinamento para delinear as áreas de transformação, com 4000 imagens e 1000 máscaras reservadas para fins de validação.

Amostras de treinamento.

O modelo treinado pode realizar inferência em dados do CelebA-HQ de 2017 e do VoxCeleb, rostos não vistos do FFHQ e quaisquer outros rostos não vistos e não restritos apresentados a ele. As imagens de 256×256 pixels foram treinadas na rede em lotes de 8 sobre um otimizador Adam, implementado no PyTorch, e executado em um GPU Tesla V100 por “2000.000 épocas”.

Resultados de inferência obtidos em um rosto real.

Como é comum em pesquisas de síntese de imagens baseadas em rostos, o sistema tem que lidar com falhas ocasionais provocadas por obstruções ou oclusões, como cabelo, acessórios, óculos e pelos faciais.

O relatório conclui:

‘Nossa abordagem foi comercializada e funciona bem em produtos para entradas de usuário não restritas.’