Anderson 视角
一种能让人物图像更美丽的 AI 系统

要点新的人工智能系统利用强化学习美化面部,同时不改变身份特征。
查看更多
- 新的人工智能系统利用强化学习美化面部,同时不改变身份特征。
- 对于提升算法美感评分而言,光照和眼部姿态比遗传因素更为重要。
- 该系统仅依赖SCUT-FBP5500数据集中60名标注者的美感评判结果。
中国的研究人员开发了一种新的基于 AI 的图像增强系统,能够让人脸更“美丽”,基于一种新的强化学习方法。

新方法使用一个“面部美丽预测网络”来迭代图像的变化,基于多个因素,其中“照明”和眼部姿势可能是关键因素。这里的原始来源(每列的左侧)来自 EigenGAN 系统,新结果在右侧。 来源:https://arxiv.org/pdf/2208.04517.pdf
该技术借鉴了 2021 年中国另一个项目 EigenGAN 生成器的创新成果,该项目在识别和控制生成对抗网络(GANs)潜在空间中的多样语义属性方面取得了显著进展。

2021 年的 EigenGAN 生成器能够在生成对抗网络的潜在空间中识别出高级概念,如“头发颜色”。新工作建立在这一创新基础上,提供了一个可以“美化”源图像的系统,但不会改变可识别的身份——这是以前方法的一个问题。 来源:https://arxiv.org/pdf/2104.12476.pdf
系统使用了一个从 SCUT-FBP5500(SCUT)中派生的“美学评分网络”,这是 2018 年广州华南理工大学的一个面部美丽预测基准数据集。

来自 2018 年的论文“SCUT-FBP5500:多范式面部美丽预测的多样基准数据集”,该论文提出了一种“面部美丽预测”(FBP)网络,能够根据感知到的吸引力对面部进行排名,但不能实际转换或“升级”面部。 来源:https://arxiv.org/pdf/1801.06345.pdf
与新工作不同,2018 年的项目不能实际执行转换,但包含了 5,500 张面部的算法价值判断,由 60 名标注者(男性和女性各占一半)提供。这些已经被纳入新系统作为一个有效的判别器,以告知可能增强图像“吸引力”的转换。
有趣的是,新论文 的标题是 通过美学驱动的强化学习生成属性可控的美丽高加索人脸。系统排除了高加索人以外的其他族群(研究人员本身也是中国人),原因是 SCUT 数据集明显偏向亚洲来源(4000 个均匀分布的亚洲女性/男性,1500 个均匀分布的高加索女性/男性),使得该数据集中的“平均人”是棕发棕眼,因此为了适应至少一个种族内的色彩变化,需要排除原始数据中的亚洲组成部分,或者以很大的成本重新构建数据来开发可能不奏效的方法。另外,文化对美丽的感知变化 意味着这样的系统需要一定程度的地域配置,以确定什么构成“吸引力”。
相关属性
为了确定一张人脸照片的主要贡献因素,研究人员还测试了对图像的各种更改对算法感知“美丽”的影响。他们发现至少有一个方面更取决于良好的摄影,而非良好的基因:

除了照明,其他对美丽评分影响最大的是刘海(在男性中,通常相当于拥有全部头发),身体姿势和眼部姿势(与摄像机视点的互动是吸引力的助推器)。
(关于“口红颜色”,新系统可以有效地处理男性和女性的呈现,不区分性别外貌,而是依赖于新判别器系统作为“过滤器”)
方法
新系统中的强化学习机制的奖励函数是通过对 SCUT 数据的简单回归实现的,输出面部美丽预测。
训练系统迭代输入图像(下图左下)。最初,预训练的 ResNet18 模型(在 ImageNet 上训练)从五个相同的(“y”)图像中提取特征。然后,从全连接层的隐藏状态推导出一种可能的变换操作(下图中的 GRUCell),然后应用该变换,导致五个改变的图像被输入到美学评分网络中,根据其排名,以类似达尔文选择的方式决定哪些变体继续发展、哪些被丢弃。
美学评分网络使用了一个高效的通道注意力(ECA)模块,而一个预训练的 EfficientNet-B4 实例被用来从每个图像中提取 1,792 个特征。
经过 ReLU 激活函数 的归一化,ECA 模块返回一个 4 维向量,然后在激活和 自适应平均池化 后被展平为一维向量。最后,结果被输入到 回归网络 中,得到一个美学评分。

系统输出的定性比较。在底行,我们看到所有被 EigenGAN 方法识别和增强的个别方面的总和。各行图像左侧标有平均 FID 得分(越高越好)。
测试和用户研究
对所提方法的五个变体进行了算法评估(见上图),并为系统处理的 1000 张图像分配了 Fréchet Inception 距离(FID,在某些方面存在争议)得分。
研究人员指出,改善照明可以获得比其他更“明显”的可能更改(即对所描绘的人的实际外貌)更好的吸引力评分。
在某种程度上,以这种方式测试系统是有限的,因为 SCUT 数据集的怪癖,它没有很多“明亮的微笑”,而作者认为这可能会过度排名数据中的“神秘”外貌,与潜在目标用户(可能是西方市场)可能的偏好相比。
然而,既然整个系统依赖于仅 60 个人(在 EigenGAN 论文中)的平均意见,而所研究的质量远非经验性的,因此可以认为该过程比数据集更合理。
虽然在论文中只简要提到,但EigenGAN 和系统的五个变体的图像也在一个有限的用户研究(八名参与者)中被展示,参与者被要求选择“最佳图像”(避免使用“吸引力”一词)。

上图为小型研究组呈现的 GUI;下图为结果。
结果表明,新系统的输出在参与者中获得了最高的选择率(图中的“MAES”)。
追求美丽(无目标?)
尽管似乎有一个 显著 努力 焦点 在 在 中国 向这些目标努力,但该系统的实用性很难确定。新论文没有说明该系统的具体用途。
前一份 EigenGAN 论文建议*,美丽识别系统可以用于面部化妆合成推荐系统、美容手术、面部美化或基于内容的图像检索。
可以推测,类似的方法也可以用于交友网站,由用户用于“增强”自己的个人资料照片,将其变成保证成功的“幸运抓拍”,以替代过时照片或他人的照片。
同样,交友网站本身也可以“评分”客户以创建评级,甚至 限制访问等级,尽管这可能需要通过活体身份验证捕获,而不是提交的照片(如果这种方法变得流行,客户也可以“增强”自己的照片)。
在广告中,算法评估美丽的方法(已故科幻作家迈克尔·克莱顿在 1982 年电影 Looker 中曾预言过这种技术)可以用于选择最有可能吸引目标受众的未经增强的创意图像,同时最大化面部图像的美学影响的能力可以提高已经有效的图像的吸引力,而无需像深度伪造那样重写它们。
新工作得到了中国国家自然科学基金、国家复杂系统管理与控制重点实验室开放基金项目和中国教育部哲学社会科学研究项目等的支持。
* EigenGAN 论文中的许多建议都指向一本 2016 年的商业书籍《计算机面部美丽分析模型》,而不是学术资源。
首次发表于 2022 年 8 月 11 日。













