合成人类图像从反射无线电波

来自中国的研究人员开发了一种方法，使用无线电波和生成对抗网络（GAN）合成近似真实的人类图像，而无需相机。他们开发的系统是在良好光线下的真实图像上训练的，但即使在黑暗条件下，也可以捕获相对真实的人类“快照”，甚至可以穿过可能阻挡传统相机的重大障碍。

图像依赖于两个无线电天线的“热图”，一个从天花板向下捕获数据，另一个从“站立”位置记录无线电波扰动。

研究人员的概念验证实验的结果图像具有无面部的“J-Horror”方面：

RFGAN是在控制环境中训练的真实人像和无线电波热图上训练的。通过从数据中学习特征，RFGAN可以根据新的RF数据生成快照。生成的图像是低频RF信号有限分辨率的近似值。这个过程即使在黑暗环境中也可以工作，并且可以穿过各种潜在的障碍。 来源：https://arxiv.org/pdf/2112.03727.pdf

为了训练GAN，称为RFGAN，研究人员使用了标准RGB相机和在相同时间捕获的无线电热图的匹配数据。新项目中合成的人类图像往往模糊，类似于早期的Daguerreotype摄影，因为所用无线电波的分辨率非常低，深度分辨率为7.5厘米，角度分辨率约为1.3度。

上图为输入GAN网络的图像，下图为两个热图，水平和垂直，描述了房间中的人员，并在体系结构中合成为扰动数据的3D表示。

新论文《RFGAN：基于RF的人类合成》由中国电子科技大学的六位研究人员撰写。

数据和体系结构

由于没有以前的数据集或具有相同范围的项目，因此研究人员不得不开发新的方法论。

RFGAN的核心体系结构。

在训练期间，使用自适应归一化来解释双热图图像，以便它们在空间上与捕获的图像数据对应。

RF捕获设备是配置为两个天线阵列的毫米波（mmWave）雷达，水平和垂直。使用频率调制连续波（FMCW）和线性天线进行传输和接收。

生成器接收源帧作为输入层，RF融合（热图）表示通过卷积层的归一化来编排网络。

数据

数据从毫米波天线的RF信号反射中以每秒20赫兹的速度收集，同时以每秒10帧的速度捕获人类视频。九个室内场景使用六名志愿者，每人穿着不同的衣服进行多次数据收集。

结果是两个不同的数据集，RF-Activity和RF-Walk，前者包含68,860张不同姿势（如蹲和行走）的人类图像，以及137,760对应的热图帧；后者包含67,860张人类随机行走帧，以及135,720对应的热图对。

数据按照惯例被不均匀地分割为训练和测试集，使用55,225张图像帧和110,450对热图对进行训练，其余的保留用于测试。RGB捕获帧被调整到320×180的大小，热图被调整到201×160的大小。

模型使用Adam optimizer以0.0002的学习率对生成器和判别器进行训练，训练80个epoch，批大小为2。训练使用PyTorch在一台消费级别的GTX-1080 GPU上进行，VRAM为8GB，对于这样的任务来说相对较小（这解释了批大小较小的原因）。

尽管研究人员采用了一些传统的指标来测试输出的真实性（详见论文），并进行了常规的消融测试，但由于没有先前的工作可以与RFGAN的性能进行比较。

对秘密信号的开放兴趣

RFGAN并不是第一个尝试使用无线电频率来构建房间中正在发生的事情的体积图像的项目。2019年，来自MIT CSAIL的研究人员开发了一种称为RF-Avatar的体系结构，能够根据Wi-Fi范围内的无线电频率信号在严重遮挡条件下重新构建3D人类。

在2019年的MIT CSAIL项目中，无线电波被用于去除遮挡，包括墙壁和衣服，以便在更传统的CGI工作流中重新创建捕获的主题。 来源：https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

新论文的研究人员还承认了与环境映射相关的无线电波先前工作（没有尝试重新创建真实的人类），这些工作试图估计人类速度；穿过墙壁使用Wi-Fi；评估人类姿势；甚至识别人类手势，以及其他各种目标。

可转移性和更广泛的适用性

研究人员然后尝试确定他们的发现是否过于适应初始捕获环境和训练情况，尽管论文中对这一实验阶段的细节很少。他们声称：

“要在新场景中部署我们的模型，我们不需要从头开始重新训练整个模型。我们可以使用很少的数据（约40秒的数据）对预训练的RFGAN进行微调以获得类似的结果。”

并继续说：

“损失函数和超参数与训练阶段相同。根据量化结果，我们发现预训练的RFGAN模型可以在微调后使用很少的数据生成新场景中理想的人类活动帧，这意味着我们的提议模型有可能被广泛使用。”

根据论文关于这一开创性应用的细节，目前尚不清楚研究人员创建的网络是否仅适用于原始主题，还是RF热图是否可以推断出诸如衣服颜色等细节，因为这似乎跨越了光学和无线电捕获方法所涉及的两个不同频率类型。

无论如何，RFGAN是一种使用生成对抗网络的模仿和代表能力来创建一种新的、令人着迷的监视形式的新颖方法——一种可能在黑暗中甚至穿过墙壁运作的监视形式，甚至比最近使用反射光看到拐角的努力更令人印象深刻。

2021年12月8日（首次发布日），晚8:04，GMT+2 – 删除重复的单词。- MA