Síntese de Imagem Humana a Partir de Ondas de Rádio Refletidas

Pesquisadores da China desenvolveram um método para sintetizar imagens quase fotorealistas de pessoas sem câmeras, utilizando ondas de rádio e Redes Adversárias Generativas (GANs). O sistema que eles desenvolveram é treinado em imagens reais tiradas em boa luz, mas é capaz de capturar ‘fotos’ relativamente autênticas de humanos, mesmo em condições escuras – e até mesmo através de obstáculos significativos que esconderiam as pessoas de câmeras convencionais.

As imagens dependem de ‘mapas de calor’ de duas antenas de rádio, uma capturando dados do teto para baixo, e outra registrando perturbações de ondas de rádio a partir de uma posição ’em pé’.

As fotos resultantes dos experimentos de prova de conceito dos pesquisadores têm um aspecto ‘sem rosto’, ‘J-Horror’:

RFGAN é treinado em imagens de pessoas reais em ambientes controlados e em mapas de calor de ondas de rádio que registram atividade humana. Tendo aprendido recursos com os dados, RFGAN pode então gerar fotos com base em novos dados de RF. A imagem resultante é uma aproximação, com base na resolução limitada dos sinais de RF de baixa frequência disponíveis. Esse processo funciona mesmo em ambientes escurecidos e através de uma variedade de obstáculos potenciais. Fonte: https://arxiv.org/pdf/2112.03727.pdf

Para treinar a GAN, apelidada de RFGAN, os pesquisadores usaram dados combinados de uma câmera RGB padrão e dos mapas de calor de ondas de rádio concatenados correspondentes, produzidos no exato momento da captura. As imagens de pessoas sintetizadas no novo projeto tendem a ser borradas de uma maneira semelhante à fotografia Daguerreotype inicial, porque a resolução das ondas de rádio usadas é muito baixa, com uma resolução de profundidade de 7,5 cm e uma resolução angular de cerca de 1,3 graus.

Acima, a imagem alimentada à rede GAN – abaixo, os dois mapas de calor, horizontal e vertical, que caracterizam a pessoa no quarto e que são sintetizados dentro da arquitetura em uma representação 3D dos dados perturbados.

O novo artigo, intitulado RFGAN: Síntese Humana Baseada em RF, vem de seis pesquisadores da Universidade de Ciência e Tecnologia Eletrônica da China.

Dados e Arquitetura

Devido à falta de qualquer conjunto de dados ou projeto anterior que compartilhasse esse escopo, e ao fato de que sinais de RF não foram usados anteriormente em um quadro de síntese de imagem GAN, os pesquisadores tiveram que desenvolver metodologias novas.

A arquitetura central do RFGAN.

A normalização adaptativa foi usada para interpretar as imagens de mapa de calor gêmeas durante o treinamento, para que elas correspondam espacialmente com os dados de imagem capturados.

Os dispositivos de captura de RF foram configurados como antenas de radar de onda milimétrica (mmWave), com duas antenas, horizontal e vertical. Foi usada a modulação de frequência contínua (FMCW) e antenas lineares para transmissão e recepção.

O Gerador recebe um quadro de origem como uma camada de entrada, com a representação de mapa de calor de RF orquestrando a rede por meio da normalização no nível das camadas convolucionais.

Dados

Os dados foram coletados a partir de reflexos de sinais de RF de antena de onda milimétrica a apenas 20 Hz, com captura de vídeo humana simultânea a uma taxa de quadros muito baixa de 10 fps. Nove cenas internas foram capturadas, usando seis voluntários, cada um dos quais usou roupas diferentes para várias sessões da coleta de dados.

O resultado foi dois conjuntos de dados distintos, RF-Activity e RF-Walk, o primeiro contendo 68.860 imagens de pessoas em posições variadas (como agachado e caminhando), juntamente com 137.760 quadros de mapa de calor correspondentes; e o segundo contendo 67.860 quadros de caminhada humana aleatória, juntamente com 135.720 pares de mapas de calor associados.

Os dados, de acordo com a convenção, foram divididos de forma desigual entre treinamento e teste, com 55.225 quadros de imagem usados para treinamento e o restante reservado para teste. Os quadros de captura RGB foram redimensionados para 320×180, e os mapas de calor redimensionados para 201×160.

O modelo foi então treinado com Adam a uma taxa de aprendizado consistente de 0,0002 para ambos o gerador e o discriminador, em uma época de 80 e um tamanho de lote muito pequeno de 2. O treinamento ocorreu por meio do PyTorch em uma GPU de nível de consumidor sole GTX-1080, cujos 8 GB de VRAM seriam considerados modestos para tal tarefa (explicando o pequeno tamanho do lote).

Embora os pesquisadores tenham adaptado algumas métricas convencionais para testar a realidade da saída (detalhadas no artigo), e tenham realizado os testes de ablação habituais, não houve trabalho anterior equivalente contra o qual medir o desempenho do RFGAN.

Interesse Aberto em Sinais Secretos

RFGAN não é o primeiro projeto a tentar usar frequências de rádio para construir uma imagem volumétrica do que está acontecendo em um quarto. Em 2019, pesquisadores do MIT CSAIL desenvolveram uma arquitetura chamada RF-Avatar, capaz de reconstruir humanos 3D com base em sinais de frequência de rádio na faixa Wi-Fi, sob condições severas de oclusão.

No projeto do MIT CSAIL de 2019, ondas de rádio foram usadas para remover oclusões, mesmo incluindo paredes e roupas, para recriar sujeitos capturados em um fluxo de trabalho de CGI mais tradicional. Fonte: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Os pesquisadores do novo artigo também reconhecem trabalhos anteriores relacionados à mapeamento de ambientes com ondas de rádio (nenhum deles tentando recriar humanos fotorealistas), que buscavam estimar a velocidade humana; veja através de paredes com Wi-Fi; avaliar poses humanas; e até mesmo reconhecer gestos humanos, entre outros objetivos.

Transferibilidade e Aplicabilidade Mais Amplas

Os pesquisadores então buscaram ver se sua descoberta estava superajustada ao ambiente de captura inicial e às circunstâncias de treinamento, embora o artigo ofereça poucos detalhes sobre essa fase do experimento. Eles afirmam:

‘Para implantar nosso modelo em uma nova cena, não precisamos retreinar o modelo inteiro desde o início. Podemos ajustar o RFGAN pré-treinado usando muito pouco dados (cerca de 40 segundos de dados) para obter resultados semelhantes.’

E continuam:

‘As funções de perda e hiperparâmetros são os mesmos da etapa de treinamento. A partir dos resultados quantitativos, encontramos que o modelo RFGAN pré-treinado pode gerar quadros de atividade humana desejáveis na nova cena após o ajuste com apenas um pouco de dados, o que significa que nosso modelo proposto tem o potencial para ser amplamente utilizado.’

Com base nos detalhes do artigo sobre essa aplicação seminal de uma nova técnica, não está claro se a rede que os pesquisadores criaram é ‘treinada’ exclusivamente para os sujeitos originais, ou se os mapas de calor de RF podem deduzir detalhes como a cor da roupa, pois isso parece estar entre os dois diferentes tipos de frequências envolvidas nos métodos de captura óptica e de rádio.

De qualquer forma, RFGAN é uma nova maneira de usar os poderes imitativos e representativos das Redes Adversárias Generativas para criar uma nova e intrigante forma de vigilância – uma que poderia potencialmente operar no escuro e através de paredes, de uma maneira até mais impressionante do que os esforços recentes para ver ao redor das esquinas com luz refletida.

8 de dezembro de 2021 (dia da primeira publicação), 20h04 GMT+2 – palavra repetida removida. – MA