可以让人物图像变得更“美丽”的人工智能系统

中国研究人员开发了一种基于人工智能的新型图像增强系统，该系统基于一种新颖的强化学习方法，可以让人像变得更加“美丽”。

新方法使用“面部美感预测网络”根据多种因素对图像进行迭代变化，其中“光照”和眼部姿势可能是关键因素。此处，原始数据（每列左侧）来自 EigenGAN 系统，新结果位于其右侧。 资料来源：https://arxiv.org/pdf/2208.04517.pdf

该技术借鉴了为 EigenGAN 生成器是另一个中国项目，从 2021 年开始，在识别和获得对多样化的控制权方面取得了显着进展。 语义属性 在生成对抗网络（GAN）的潜在空间内。

2021 年的 EigenGAN 生成器能够在生成对抗网络的潜在空间中将诸如“头发颜色”之类的高级概念个体化。这项新研究基于这一创新工具，构建了一个能够“美化”源图像的系统，但不会改变可识别的身份——这是以往方法中存在的问题。 资料来源：https://arxiv.org/pdf/2104.12476.pdf

该系统利用了源自 华南理工大学-FBP5500 (SCUT)，来自广州华南理工大学的 2018 年面部美容预测基准数据集。

摘自 2018 年的论文《SCUT-FBP5500：用于多范式面部美貌预测的多样化基准数据集》，该论文提出了一种“面部美貌预测”（FBP）网络，能够根据感知吸引力对面部进行排名，但实际上无法改变或“升级”面部。  资料来源：https://arxiv.org/pdf/1801.06345.pdf

与新作品不同，2018 年的项目实际上无法执行转换，但包含由 5,500 个混合性别标签提供者（比例为 60/50）提供的 50 张面孔的算法价值判断。 这些已被纳入新系统作为有效的 判别器，以告知可能增强图像“吸引力”的转变。

有趣的是， 新文 标题为 通过美学驱动的强化学习生成可控的美丽白种人脸. 之所以将高加索人以外的所有种族排除在系统之外（也考虑到研究人员本身是中国人），是因为华南理工大学的源数据明显偏向亚洲来源（4000 名均匀分布的亚洲女性/男性，1500 名均匀分布的高加索女性/男性），使得该数据集中的“普通人”都是棕色头发和棕色眼睛。

因此，为了至少适应一个种族内的肤色变化，有必要从原始数据中排除亚洲成分，否则需要花费大量费用来重建数据以开发一种可能不会成功的方法。 此外， 对美的文化认知的差异 这不可避免地意味着，这样的系统将需要一定程度的地理可配置性，以构成“吸引力”。

相关属性

为了确定一张人物照片“吸引人”的主要因素，研究人员还测试了各种图像增强技术的效果，看看这些增强技术在多大程度上提升了算法对“美”的感知。他们发现，至少有一个方面比良好的基因因素对优秀的摄影作品更为重要：

除了灯光之外，对美感得分影响最大的方面还包括刘海（对于男性来说，刘海通常相当于拥有一头完整的头发）、身体姿势和眼神（与对方的互动）相机视角会增强吸引力）。

（关于“口红颜色”，新系统可以有效地对男性和女性的性别表现起作用，它不会将性别外观个体化，而是依靠新颖的鉴别系统作为这方面的“过滤器”）

付款方式

新系统中强化学习机制的奖励函数由华南理工大学数据的直接回归驱动，输出面部美容预测。

训练系统迭代数据输入图像（下图中的左下角）。 最初是预训练的 残差网络18 模型（训练于 影像网）从五张相同的（'y'）图像中提取特征。接下来，从隐藏状态中推导出一个潜在的变革性动作 全连接层 (格鲁细胞，如下图所示），以及应用的转换，导致五个改变的图像被输入到美学评分网络中，其达尔文式的排名将决定哪些变体将被开发，哪些变体将被丢弃。

新系统的工作流程图示。

美学评分网络使用高效通道注意力（ACE) 模块，同时改编了预训练实例 EfficientNet-B4 任务是从每张图像中提取 1,792 个特征。

经过标准化后 ReLU激活函数，从 ECA 模块获得一个 4 维向量，然后在激活后将其展平为一维向量 自适应平均池化。 最后将结果输入到 回归网络，它检索美学分数。

系统输出的定性比较。 在底行中，我们看到由 EigenGAN 方法识别并随后增强的所有个体方面的汇总总和。 图像的平均 FID 分数位于图像行的左侧（越高越好）。

测试和用户研究

使用 Fréchet 起始距离（FID， 在某些方面存在争议）为通过系统传输的总共 1000 张图像分配分数。

研究人员指出，与其他几种更“明显”的可能变化（即所描绘人物的实际外貌）相比，改善照明效果可以使照片中的人物获得更好的吸引力得分。

在某种程度上，以这种方式测试系统会受到华南理工大学数据偏向性的限制，因为华南理工大学的数据中并没有太多“灿烂的笑容”。作者认为，与潜在目标终端用户（在本例中可能是西方市场）的偏好相比，这可能会过度高估数据中更典型的“神秘”外观。

然而，由于整个系统仅依赖于 60 个人的平均意见（在 EigenGAN 论文中），并且由于所研究的质量远非经验性的，因此可以说该程序比数据集更合理。

尽管论文中对此进行了非常简短的处理，但在一项有限的用户研究（八名参与者）中也展示了来自 EigenGAN 和系统自身的五种变体的图像，要求他们选择“最佳图像”（避免使用“有吸引力”这个词）。

上图是向小型研究小组展示的 GUI； 下面，结果。

结果表明，新系统的输出在参与者中实现了最高的选择率（上图中的“MAES”）。

对美的（漫无目的？）追求

这种系统的实用性很难确定，尽管它看起来是一个 显着 座位 of 努力 in 中国 朝着这些目标。 新出版物中没有概述任何内容。

之前的 EigenGAN 论文建议*美貌识别系统可以用于面部识别 彩妆合成推荐系统, 美容手术, 脸部美化，或基于内容的图像检索。

据推测，这种方法也可以被最终用户在约会网站上使用，以“增强”他们自己的个人资料照片，使其成为一张有保证的“幸运照”，作为使用过时照片或照片的替代方案。 其他人.

同样，约会网站本身也可以对客户进行“评分”，以创建评级，甚至 限制访问层，尽管这可能只能通过活体认证捕获来实现，而不是提交照片（如果这种方法变得流行，客户也可以同样“增强”照片）。

在广告中，一种评估美感的算法方法（已故科幻小说作家迈克尔·克莱顿 (Michael Crichton) 在其 1982 年的电影中预言的一项技术 旁观者）可用于选择最有可能吸引目标受众的非增强创意输出，而实际上最大化面部图像的美学影响而不以深度伪造的方式实际覆盖它们的能力可以增强已经有效的预期图像以引起公众的兴趣。

该项新研究得到了国家自然科学基金、复杂系统管理与控制国家重点实验室开放基金项目、教育部哲学社会科学研究计划项目等的支持。

* EigenGAN 论文的许多建议都指向 2016 年出版的一本名为《面部美容分析的计算机模型》的商业书籍，而不是学术资源。

首次发布于 11 年 2022 月 XNUMX 日。