从反射射频波合成的人类图像

中国的研究人员开发了一种方法，使用射频波和生成对抗网络（GAN）合成近乎照片级的人类图像，而无需使用相机。他们设计的系统是在良好的光照条件下拍摄的真实图像上进行训练的，但即使在黑暗条件下，也可以捕捉到相对真实的人类“快照”，甚至可以穿过普通相机无法看到的人。

这些图像依赖于两个射频天线的“热图”，一个从天花板向下捕捉数据，另一个从“站立”位置记录射频波的干扰。

研究人员的概念验证实验得到的图像具有“无脸”和“J-恐怖”方面：

RFGAN是在控制环境中训练的真实人像和记录人类活动的射频波热图上进行训练的。通过从数据中学习特征，RFGAN可以根据新的RF数据生成快照。生成的图像是低频RF信号有限分辨率的近似值。这个过程即使在黑暗环境中也可以工作，并且可以穿过各种潜在的障碍。 来源：https://arxiv.org/pdf/2112.03727.pdf

为了训练GAN，研究人员使用了标准RGB相机和相应的射频热图的匹配数据，这些数据是在捕获时刻同时产生的。新项目中合成的人类图像往往模糊不清，类似于早期的达盖尔银版摄影，因为所使用的射频波的分辨率非常低，深度分辨率为7.5厘米，角度分辨率约为1.3度。

上图是输入GAN网络的图像，下图是两个热图，水平和垂直，分别描述了房间中的人员，并在体系结构中合成为对干扰数据的3D表示。

这篇新论文《RFGAN：基于RF的人类合成》来自中国电子科技大学的六位研究人员。

数据和体系结构

由于没有以前的数据集或具有相同范围的项目，因此研究人员不得不开发新的方法论。

RFGAN的核心体系结构。

在训练过程中，使用自适应归一化来解释双热图图像，以便它们与捕获的图像数据在空间上对应。

RF捕获设备是配置为两个天线阵列的毫米波（mmWave）雷达，水平和垂直。使用频率调制连续波（FMCW）和线性天线进行发射和接收。

生成器接受源帧作为输入层，RF融合（热图）表示通过卷积层的归一化来编排网络。

数据

数据从mmWave天线的RF信号反射中以每秒20赫兹的速度收集，同时以每秒10帧的速度捕获人类视频。九个室内场景被捕获，使用六名志愿者，每个志愿者在不同会话中穿着不同的衣服。

结果是两个不同的数据集，RF-Activity和RF-Walk，前者包含68,860张不同姿势的人类图像（例如蹲和走），以及137,760对应的热图帧；后者包含67,860张人类随机行走帧，以及135,720对应的热图对。

数据按照惯例被不均匀地分割为训练和测试集，使用55,225张图像帧和110,450对热图对进行训练，其余的保留用于测试。RGB捕获帧被调整到320×180的大小，热图被调整到201×160的大小。

模型使用Adam以0.0002的学习率在80个epoch和2的批大小下进行训练，训练过程发生在PyTorch上，使用一块消费级别的GTX-1080 GPU，其8GB的VRAM对于这种任务来说相对较小（这解释了批大小较小的原因）。

尽管研究人员修改了一些传统的度量指标来测试输出的真实性（详见论文），并进行了通常的消融测试，但由于没有先前的工作可以与RFGAN的性能进行比较。

对秘密信号的开放兴趣

RFGAN并不是第一个尝试使用射频来构建房间中正在发生的事情的体积图像的项目。2019年，MIT CSAIL的研究人员开发了一种名为RF-Avatar的体系结构，能够根据Wi-Fi范围内的射频信号在严重遮挡条件下重建3D人类。

在2019年的MIT CSAIL项目中，射频波被用来去除遮挡，甚至包括墙壁和衣服，以便在更传统的基于CGI的工作流程中重新创建捕获的对象。 来源：https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

新论文的研究人员还承认了与环境映射相关的松散相关的先前工作，这些工作使用射频波（但没有尝试重建照片级人类），旨在估计人类速度；请参见通过墙壁使用Wi-Fi；评估人类姿势；甚至识别人类手势，以及其他各种目标。

可转移性和更广泛的适用性

研究人员然后尝试确定他们的发现是否过度适应了初始捕获环境和训练情况，尽管论文对这一实验阶段的细节很少。他们声称：

‘要在新场景中部署我们的模型，我们不需要从头开始重新训练整个模型。我们可以使用很少的数据（约40秒的数据）对预训练的RFGAN进行微调以获得类似的结果。’

并继续说：

‘损失函数和超参数与训练阶段相同。从量化结果来看，我们发现预训练的RFGAN模型可以在微调后使用很少的数据生成新场景中的理想的人类活动帧，这意味着我们的提议模型具有广泛使用的潜力。’

根据论文关于这一开创性应用的细节，目前尚不清楚研究人员创建的网络是否仅适用于原始对象，还是RF热图能够推断出诸如服装颜色等细节，因为这似乎跨越了光学和射频捕获方法所涉及的两个不同频率类型。

无论如何，RFGAN都是使用生成对抗网络的模拟和代表能力来创建一种新的、令人着迷的监视形式的一种新颖方法——一种可以在黑暗中甚至穿过墙壁工作的监视形式，其方式甚至比最近使用反射光看向拐角的努力更令人印象深刻。

2021年12月8日（首次发布日期），20:04 GMT+2 – 删除重复的单词。- MA