Informações de Profundidade Podem Revelar Deepfakes em Tempo Real

Pesquisas recentes da Itália descobriram que as informações de profundidade obtidas de imagens podem ser uma ferramenta útil para detectar deepfakes – mesmo em tempo real.

Enquanto a maioria das pesquisas sobre detecção de deepfakes nos últimos cinco anos se concentrou em identificação de artefatos (que pode ser mitigada por técnicas aprimoradas ou confundida com compressão de codec de vídeo ruim), iluminação ambiental, características biométricas, perturbação temporal e até intuição humana, o novo estudo é o primeiro a sugerir que as informações de profundidade poderiam ser um cifra valioso para conteúdo de deepfake.

Exemplos de mapas de profundidade derivados e a diferença na informação de profundidade perceptual entre imagens reais e falsas. Fonte: https://arxiv.org/pdf/2208.11074.pdf

Criticamente, os quadros de detecção desenvolvidos para o novo estudo operam muito bem em uma rede leve como Xception e aceitavelmente bem em MobileNet, e o novo artigo reconhece que a baixa latência de inferência oferecida por essas redes pode permitir a detecção de deepfakes em tempo real contra a nova tendência de fraude de deepfakes ao vivo, exemplificada pelo recente ataque à Binance.

Uma maior economia no tempo de inferência pode ser alcançada porque o sistema não precisa de imagens em cores completas para determinar a diferença entre mapas de profundidade reais e falsos, mas pode operar surpreendentemente de forma eficiente apenas com imagens em escala de cinza das informações de profundidade.

Os autores afirmam: ‘Este resultado sugere que a profundidade, neste caso, adiciona uma contribuição mais relevante à classificação do que os artefatos de cor.’

Os resultados representam parte de uma nova onda de pesquisas sobre detecção de deepfakes direcionadas contra sistemas de síntese facial em tempo real, como DeepFaceLive – um foco de esforço que acelerou notavelmente nos últimos 3-4 meses, após o aviso do FBI em março sobre o risco de deepfakes de vídeo e áudio em tempo real.

O artigo é intitulado DepthFake: uma estratégia baseada em profundidade para detectar vídeos de deepfake e vem de cinco pesquisadores da Universidade de Roma “La Sapienza”.

Casos Limite

Durante o treinamento, os modelos de deepfake baseados em autoencoder priorizam as regiões internas do rosto, como olhos, nariz e boca. Na maioria dos casos, em distribuições de código aberto como DeepFaceLab e FaceSwap (ambos bifurcados do código original do Reddit em 2017 antes de sua exclusão), as linhas externas do rosto não se tornam bem definidas até um estágio muito tardio no treinamento e são improváveis de corresponder à qualidade de síntese na área do rosto interno.

De um estudo anterior, vemos uma visualização de ‘mapas de saliência’ do rosto. Fonte: https://arxiv.org/pdf/2203.01318.pdf

Normalmente, isso não é importante, desde que nossa tendência seja focar primeiro nos olhos e priorizar, ‘para fora’ em níveis decrescentes de atenção, o que significa que é improvável que sejamos perturbados por essas quedas na qualidade periférica – especialmente se estivermos falando ao vivo com a pessoa que está falsificando outra identidade, o que dispara convenções sociais e limitações de processamento não presentes quando avaliamos ‘renderizado’ de deepfakes.

No entanto, a falta de detalhe ou precisão nas regiões afetadas da margem do rosto pode ser detectada algoritmicamente. Em março, um sistema que se baseia na área periférica do rosto foi anunciado. No entanto, como requer uma quantidade acima da média de dados de treinamento, é apenas destinado a celebridades que provavelmente figurarão em conjuntos de dados faciais populares (como ImageNet) que têm proveniência em técnicas atuais de visão computacional e detecção de deepfakes.

Em vez disso, o novo sistema, intitulado DepthFake, pode operar genericamente mesmo em identidades obscuras ou desconhecidas, distinguindo a qualidade da informação de mapa de profundidade estimada em conteúdo de vídeo real e falso.

Profundidade

As informações de mapa de profundidade estão sendo cada vez mais incorporadas em smartphones, incluindo implementações de estéreo assistidas por IA que são particularmente úteis para estudos de visão computacional. No novo estudo, os autores usaram o modelo FaceDepth da Universidade Nacional da Irlanda, uma rede codificadora/decodificadora convolucional que pode estimar mapas de profundidade de imagens de uma única fonte de forma eficiente.

O modelo FaceDepth em ação. Fonte: https://tinyurl.com/3ctcazma

Em seguida, o pipeline para o novo quadro dos pesquisadores italianos extrai um patch de 224×224 pixels do rosto do sujeito de ambas as imagens RGB originais e do mapa de profundidade derivado. Criticamente, isso permite que o processo copie o conteúdo central sem redimensioná-lo; isso é importante, pois algoritmos de redimensionamento de tamanho padrão afetarão adversamente a qualidade das áreas visadas.

Usando essas informações, de fontes reais e de deepfakes, os pesquisadores então treinaram uma rede neural convolucional (CNN) capaz de distinguir instâncias reais de falsas, com base nas diferenças na qualidade perceptual dos respectivos mapas de profundidade.

Pipeline conceitual para DepthFake.

O modelo FaceDepth é treinado em dados realistas e sintéticos usando uma função híbrida que oferece mais detalhes nas margens externas do rosto, tornando-o bem adaptado ao DepthFake. Ele usa uma instância de MobileNet como extrator de recursos e foi treinado com imagens de entrada de 480×640, produzindo mapas de profundidade de 240×320. Cada mapa de profundidade representa um quarto dos quatro canais de entrada usados no discriminador do novo projeto.

O mapa de profundidade é incorporado automaticamente à imagem RGB original para fornecer o tipo de imagem RGBD, repleto de informações de profundidade, que as câmeras de smartphone modernas podem produzir.

Treinamento

O modelo foi treinado em uma rede Xception pré-treinada em ImageNet, embora a arquitetura precisasse de algumas adaptações para acomodar as informações adicionais de profundidade, mantendo a inicialização correta dos pesos.

Além disso, uma discrepância nos intervalos de valores entre as informações de profundidade e o que a rede espera necessitou que os pesquisadores normalizassem os valores para 0-255.

Durante o treinamento, apenas flip e rotação foram aplicados. Em muitos casos, várias outras perturbações visuais seriam apresentadas ao modelo para desenvolver inferência robusta, mas a necessidade de preservar as informações de mapa de profundidade limitadas e muito frágeis nas fotos de origem forçou os pesquisadores a adotar um regime simplificado.

O sistema foi treinado adicionamente em escala de cinza simples de 2 canais, para determinar quão complexas as imagens de origem precisavam ser para obter um algoritmo funcional.

O treinamento ocorreu via a API TensorFlow em um NVIDIA GTX 1080 com 8GB de VRAM, usando o otimizador ADAMAX, por 25 épocas, com um tamanho de lote de 32. A resolução de entrada foi fixada em 224×224 durante a recorte, e a detecção e extração de rosto foi realizada com a biblioteca C++ dlib.

Resultados

A precisão dos resultados foi testada contra Deepfake, Face2Face, FaceSwap, Neural Texture e o conjunto de dados completo com entradas RGB e RGBD, usando o quadro FaceForensic++.

Resultados sobre a precisão em quatro métodos de deepfake e contra o conjunto de dados completo não dividido. Os resultados são divididos entre a análise de imagens RGB de origem e as mesmas imagens com um mapa de profundidade inferido incorporado. Os melhores resultados estão em negrito, com figuras de porcentagem abaixo demonstrando a extensão com que as informações do mapa de profundidade melhoram o resultado.

Em todos os casos, o canal de profundidade melhora o desempenho do modelo em todas as configurações. Xception obtém os melhores resultados, com o ágil MobileNet logo atrás. Sobre isso, os autores comentam:

‘É interessante notar que o MobileNet é ligeiramente inferior ao Xception e supera o mais profundo ResNet50. Este é um resultado notável quando se considera o objetivo de reduzir os tempos de inferência para aplicações em tempo real. Embora isso não seja a principal contribuição deste trabalho, ainda consideramos um resultado encorajador para futuros desenvolvimentos.’

Os pesquisadores também notam uma vantagem consistente de entrada RGBD e escala de cinza de 2 canais sobre entrada RGB e escala de cinza simples, observando que as conversões de escala de cinza das inferências de profundidade, que são computacionalmente muito baratas, permitem que o modelo obtenha resultados melhorados com recursos locais muito limitados, facilitando o desenvolvimento futuro de detecção de deepfakes em tempo real baseada em informações de profundidade.

Publicado pela primeira vez em 24 de agosto de 2022.