从反射无线电波合成人体图像

中国的研究人员开发了一种方法，通过使用无线电波和 生成对抗网络 （GAN）。 他们设计的系统是根据在良好光线下拍摄的真实图像进行训练的，但即使在黑暗的条件下，甚至穿过传统相机无法看到的主要障碍物，也能够捕捉相对真实的人类“快照”。

这些图像依赖于两个无线电天线的“热图”，一个从天花板向下捕获数据，另一个从“站立”位置记录无线电波扰动。

研究人员的概念验证实验得出的照片有一个不露面的“J-恐怖”方面：

RFGAN 根据受控环境中的真人图像以及记录人类活动的无线电波热图进行训练。 从数据中学习到特征后，RFGAN 可以根据新的 RF 数据生成快照。 所得图像是基于可用低频射频信号的有限分辨率的近似值。 即使在黑暗的环境中并穿过各种潜在的障碍，这个过程也能发挥作用。 资料来源：https://arxiv.org/pdf/2112.03727.pdf

训练 GAN，称为 射频生成对抗网络，研究人员使用了来自标准 RGB 相机的匹配数据，以及在精确捕获时刻生成的串联的相应无线电热图。 新项目中的合成人物图像往往会以类似于早期银版摄影的方式变得模糊，因为所使用的无线电波的分辨率非常低，深度分辨率为7.5厘米，角度分辨率约为1.3度。

上面是输入到 GAN 网络的图像，下面是两个水平和垂直的热图，它们描绘了房间里的人的特征，并在架构内部合成为扰动数据的 3D 表示。

新的 纸名为 RFGAN：基于射频的人体合成，来自电子科技大学的六位研究人员。

数据和架构

由于之前缺乏共享此范围的任何数据集或项目，并且 RF 信号之前尚未在 GAN 图像合成框架中使用过，因此研究人员必须开发新的方法。

RFGAN的核心架构。

自适应归一化用于在训练期间解释双热图图像，以便它们在空间上与捕获的图像数据相对应。

RF 捕获设备是毫米波 (mmWave) 雷达，配置为水平和垂直两个天线阵列。 调频连续波（FMCW）和线性天线用于收发。

生成器接收源帧作为输入层，并通过 RF 融合（热图）表示通过卷积层级别的归一化来协调网络。

时间

数据是从毫米波天线反射的 RF 信号中收集的，频率仅为 20hz，同时以非常低的 10fps 捕获人类视频。 六名志愿者拍摄了九个室内场景，每个志愿者在不同的数据收集过程中都穿着不同的衣服。

结果是两个不同的数据集， 射频活动 和 射频步行，前者包含 68,860 张处于不同位置的人物图像（例如 蹲 和 走），以及 137,760 个相应的热图帧； 后者包含 67,860 个人类随机行走框架，以及 135,720 对相关热图。

按照惯例，数据在训练和测试之间分配不均匀，其中 55,225 个图像帧和 110、450 个热图对用于训练，其余的用于测试。 RGB 捕获帧大小调整为 320×180，热图大小调整为 201×160。

然后使用 Adam 对该模型进行训练，生成器和判别器的学习率为 0.0002，历元数为 80，（非常稀疏）批量大小为 2。训练通过 PyTorch 在消费级单一 GTX 上进行-1080 GPU，其 8GB VRAM 对于此类任务通常被认为相当适中（解释了批处理大小较小的原因）。

尽管研究人员采用了一些传统指标来测试输出的真实性（论文中有详细介绍），并进行了常规的消融测试，但之前没有类似的工作来衡量 RFGAN 的性能。

秘密信号的未平仓合约

RFGAN 并不是第一个尝试使用无线电频率来构建房间内所发生情况的立体图像的项目。 2019 年，麻省理工学院 CSAIL 的研究人员开发了一种名为 RF-阿凡达， 能够 重建 3D 人体 基于 Wi-Fi 范围内的射频信号，在严重的遮挡条件下。

在 2019 年的麻省理工学院 CSAIL 项目中，无线电波被用来消除遮挡物，甚至包括墙壁和衣服，以便在更传统的基于 CGI 的工作流程中重新创建捕获的对象。 资料来源：https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

这篇新论文的研究人员还承认，之前围绕无线电波环境映射进行的松散相关工作（没有一个试图重现照片真实的人类），这些工作试图 估计人类速度; 看到 穿墙 有无线网络； 评估人体姿势; 乃至 识别人类手势，以及其他各种目标。

可转移性和更广泛的适用性

然后，研究人员开始研究他们的发现是否过度适合最初的捕获环境和训练环境，尽管论文没有提供有关这一阶段实验的细节。 他们断言：

“为了在新场景中部署我们的模型，我们不需要从一开始就重新训练整个模型。 我们可以使用很少的数据（大约 40 秒的数据）对预训练的 RFGAN 进行微调，以获得类似的结果。

并继续：

'损失函数和超参数与训练阶段相同。 从定量结果来看，我们发现预训练的 RFGAN 模型只需少量数据进行微调后即可在新场景中生成理想的人体活动帧，这意味着我们提出的模型具有广泛应用的潜力。

根据论文中有关这项新技术的开创性应用的详细信息，尚不清楚研究人员创建的网络是否专门针对原始受试者进行了“适合训练”，或者射频热图是否可以推断出衣服颜色等细节，因为这似乎跨越了光学和无线电捕获方法中涉及的两种不同类型的频率。

无论哪种方式，RFGAN 都是一种新颖的方式，利用生成对抗网络的模仿和代表性能力来创建一种新的、有趣的监视形式——一种可能在黑暗中、穿墙操作的方式，其方式比最近的努力更令人印象深刻到 用反射光看到圆角.

8 年 2021 月 8 日（首次发布日），晚上 04:2 GMT+XNUMX – 删除了重复的单词。 - 嘛