一种可以使人像更“美丽”的 AI 系统

中国的研究人员开发了一种新的基于 AI 的图像增强系统，能够使人像更“美丽”，基于对强化学习的新方法。

新的方法使用一个“面部美丽预测网络”来迭代图像的变化，基于多个因素，其中“照明”和眼部姿势可能是关键因素。这里的原始来源（每列的左侧）来自 EigenGAN 系统，新的结果在这些的右侧。来源：https://arxiv.org/pdf/2208.04517.pdf

该技术借鉴了 2021 年另一个中国项目 EigenGAN 生成器的创新成果，该项目在识别和控制生成对抗网络（GANs）潜在空间中的多样性语义属性方面取得了显著进展。

2021 年的 EigenGAN 生成器能够在生成对抗网络的潜在空间中识别出高级概念，如“头发颜色”。新的工作建立在这一创新基础上，提供了一个可以“美化”源图像的系统，但不会改变可识别的身份——这是以前方法中的一个问题。来源：https://arxiv.org/pdf/2104.12476.pdf

该系统使用了来自 SCUT-FBP5500（SCUT）的“美学评分网络”，这是 2018 年南方科技大学的一个面部美丽预测基准数据集。

来自 2018 年的论文“SCUT-FBP5500：多范式面部美丽预测的多样性基准数据集”，该论文提出了一种“面部美丽预测”（FBP）网络，能够根据感知到的吸引力对面部进行排名，但不能实际转换或“升级”面部。来源：https://arxiv.org/pdf/1801.06345.pdf

与新工作不同，2018 年的项目不能实际执行转换，但包含了 5,500 张面部的算法价值判断，由 60 名混合性别标注者（50/50 分割）提供。这些已被纳入新的系统作为一个有效的 判别器，以告知可能增强图像“吸引力”的转换。

有趣的是，新论文 的标题是 通过美学驱动的强化学习控制美丽的白种人面部生成。由于源数据 SCUT 偏向亚洲来源（4000 个均匀分配的亚洲女性/男性，1500 个均匀分配的白种人女性/男性），使得该数据集中的“平均人”具有棕色头发和棕色眼睛。

因此，为了在一个种族中至少适应颜色变化，需要排除原始数据中的亚洲组成部分，或者花费大量费用重新构建数据以开发一种可能不奏效的方法。另外，文化对美丽的感知变化不可避免地意味着此类系统需要在确定什么构成“吸引力”方面具有一定程度的地域可配置性。

相关属性

为了确定使人像更“吸引人”的主要贡献因素，研究人员还测试了对图像的各种更改对算法感知“美丽”的影响。他们发现至少一个方面比好的基因更重要于好的摄影：

除了照明，具有最大影响的方面是刘海（在男性中，通常相当于拥有全部头发），身体姿势和眼部姿势（其中，参与摄像机视点的眼神交流是吸引力的促进因素）。

(关于“口红颜色”，新系统可以有效地处理男性和女性的性别表现，但不区分性别外貌，而是依赖于新判别器系统作为“过滤器”)

方法

强化学习机制中的奖励函数由对 SCUT 数据的简单回归提供，输出面部美丽预测。

训练系统迭代数据输入图像（下左图）。最初，预训练的 ResNet18 模型（在 ImageNet 上训练）从五个相同的（“y”）图像中提取特征。接下来，从 全连接层（GRUCell，在图像中）的隐藏状态中派生出一个潜在的转换动作，并应用转换，导致五个改变的图像被输入到美学评分网络中，其排名，将决定哪些变化将被开发和哪些将被丢弃。

新系统工作流程的广泛说明。

美学评分网络使用了高效通道注意力（ECA）模块，而 EfficientNet-B4 的预训练实例被用于从每个图像中提取 1,792 个特征。

经过 ReLU 激活函数 的归一化，ECA 模块返回一个 4 维向量，然后在激活和 自适应平均池化 后被展平为一维向量。最后，结果被输入到 回归网络 中，检索美学评分。

系统输出的定性比较。在底行中，我们看到所有被 EigenGAN 方法识别和增强的个别方面的总和。图像行左侧的平均 FID 得分（越高越好）。

测试和用户研究

对五个提出的方法变体进行了算法评估（见上图），并为系统处理的 1000 张图像分配了 Fréchet 启动距离（FID，在某些方面存在争议）评分。

研究人员指出，改善照明比其他更“明显”的可能更改（即对所描绘的人的实际外貌的更改）获得了更好的吸引力评分。

以这种方式测试系统在某种程度上受到 SCUT 数据的怪癖的限制，该数据中没有很多“明亮的笑容”，作者认为这可能过度地偏爱数据中的更典型的“神秘”外貌，与潜在的目标终端用户（在这种情况下，可能是西方市场）的偏好相比。

然而，由于整个系统依赖于仅 60 个人（在 EigenGAN 论文中）的平均意见，而且所研究的质量远非经验性的，因此可以认为该过程比数据更可靠。

虽然在论文中只简要提到，但 EigenGAN 和系统的五个变体的图像也在一个有限的用户研究（八名参与者）中被展示，他们被要求选择“最佳图像”（避免使用“吸引人”一词）。

上图显示了呈现给小型研究组的 GUI；下图显示了结果。

结果表明，新系统的输出在参与者中获得了最高的选择率（图上为“MAES”）。

追求美丽（无目的？）

该系统的实用性难以确定，尽管似乎有一个 显著 努力 焦点 在 中国 向这些目标迈进。新出版物中没有概述任何内容。

前一篇 EigenGAN 论文建议*，一个美丽识别系统可以用于面部 化妆合成推荐系统、美容手术、面部美化 或基于内容的图像检索。

可以推测，类似的方法也可以用于交友网站，由最终用户使用，以将自己的个人资料照片“增强”为一个保证的“幸运拍摄”，作为使用过时照片或他人照片的替代方法。

同样，交友网站本身也可以“评分”他们的客户，以创建评级，甚至 受限访问层，尽管这将需要通过活体身份验证捕获，而不是提交的照片（客户也可以“增强”这些照片，如果这种方法变得流行）。

在广告中，算法美丽评估方法可以选择最有可能吸引目标受众的非增强创意输出，同时提高现有有效图像的美学影响力，而无需实际覆盖它们，如深度伪造。

该新工作得到了中国国家自然科学基金、复杂系统管理和控制国家重点实验室开放基金项目以及中国教育部哲学社会科学研究项目等的支持。

* EigenGAN 论文中的许多建议都指向 2016 年的一本商业书籍《计算机面部美丽分析模型》，而不是学术资源。

首次发表于 2022 年 8 月 11 日。