Andersonの視点
人物の画像をより美しくできるAIシステム

要点新しいAIシステムは、アイデンティティを変えずに顔を美化するために強化学習を利用する。
もっと見る
- 新しいAIシステムは、アイデンティティを変えずに顔を美化するために強化学習を利用する。
- 照明と目のポーズは、アルゴリズムによる美しさのスコアを向上させる上で遺伝子よりも重要である。
- システムは、SCUT-FBP5500データセットからの60人のラベラーによる美しさの判断のみに依存している。
中国の研究者は、強化学習の新しいアプローチを使用して、人の顔をより「美しく」することができる新しいAIベースの画像強化システムを開発しました。

新しいアプローチでは、顔の美しさ予測ネットワークを使用して、照明や視線の向きなど、重要になり得るさまざまな要因に基づいて画像のバリエーションを反復処理します。ここでは、各列の左側の元のソースはEigenGANシステムからのものであり、新しい結果は右側に表示されています。 ソース:https://arxiv.org/pdf/2208.04517.pdf
この技術は、2021年に中国で開発された別のプロジェクトであるEigenGANジェネレーターの革新に基づいています。このジェネレーターは、生成対抗ネットワーク(GAN)の潜在空間内のさまざまな意味的属性を特定して制御する上で著しい進歩を遂げました。

2021年のEigenGANジェネレーターは、生成対抗ネットワークの潜在空間内で高いレベルの概念である「髪の色」を特定することができました。新しい研究は、この革新的な手法を基盤にして、ソース画像を「美しく」することができるシステムを提供しますが、認識可能なアイデンティティを変更せずにします。 ソース:https://arxiv.org/pdf/2104.12476.pdf
システムは、広州にある華南理工大学から2018年に公開されたベンチマークデータセットであるSCUT-FBP5500(SCUT)から派生した「美学スコアネットワーク」を使用しています。

2018年の論文「SCUT-FBP5500:多パラダイム顔の美しさ予測のための多様なベンチマークデータセット」から、顔の美しさ予測(FBP)ネットワークが提示され、顔の魅力度をランク付けすることができましたが、実際には顔の変換や「アップグレード」はできませんでした。 ソース:https://arxiv.org/pdf/1801.06345.pdf
新しい研究とは異なり、2018年のプロジェクトでは実際の変換を実行することはできませんが、60人のラベル付け担当者(男女が半数ずつ)によって5,500人の顔に対するアルゴリズミックな価値判断が含まれています。これらは、新しいシステムの有効な判別器として組み込まれており、魅力度を高める可能性のある変換を通知するために使用されます。
新しい論文は、Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learningと題されています。研究者自身も中国人ですが、システムが白人以外のすべての人種を除外する理由は、SCUTデータセットがアジアのソース(男女同数のアジア人4000人、同じく男女同数の白人1500人)に大きく偏っているため、データセットの「平均人」は茶髪で茶色の目であるためです。
したがって、少なくとも1つの人種内での色の変化を可能にするために、元のデータからアジアのコンポーネントを除外するか、さもなければ、成功するとは限らない手法のためにデータを再構成するという高額な費用を負担する必要がありました。さらに、美の文化的認識の変化は、必然的に、システムが地理的に「魅力」の構成要素を設定する必要性を意味します。
関連する属性
「魅力的な」写真の主な寄与要因を決定するために、研究者は、さまざまな画像の変更が、アルゴリズミックな「美しさ」の認識をどのように高めるかをテストしました。彼らは、少なくとも1つの側面が、良い遺伝子よりも良い写真撮影に重要であることを発見しました。

照明のほか、最も大きな影響を与えた要素は、前髪(男性の場合、しばしば全頭の髪と同等である)、体のポーズ、および目の配置(カメラの視点との関わりが魅力度の向上につながる)でした。
(「口紅の色」について、男性的・女性的な外見の両方で有効に働く新しいシステムは性別の外見を特定しませんが、むしろこの新しい判別器システムを「フィルター」として使用します)
方法
新しいシステムの強化学習メカニズムの報酬関数は、SCUTデータ上の単純な回帰によって動作します。これは、顔の美しさ予測を出力します。
トレーニングシステムは、入力画像(スキーマの左下)を反復処理します。最初に、事前にトレーニングされたResNet18モデル(ImageNetでトレーニング済み)が、5つの同一の(「y」)画像から特徴を抽出します。次に、全結合層(下の画像のGRUCell)の隠れ状態から潜在的な変換アクションが導出され、変換が適用され、5つの変更された画像が美学スコアネットワークにフィードされ、ランキング(ダーウィン方式)が決定され、どのバリエーションが開発され、どれが破棄されるかが決定されます。
美学スコアネットワークでは、効率的なチャネル注意(ECA)モジュールが使用され、事前学習済みのEfficientNet-B4のインスタンスの適応が、各画像から1,792の特徴を抽出するために使用されます。
ReLU活性化関数を介した正規化の後、ECAモジュールから4次元ベクトルが取得され、活性化と適応的平均プーリングの後、1次元ベクトルに平坦化され、最終的に回帰ネットワークにフィードされ、美学スコアが取得されます。

システムの出力の質的比較。下行では、EigenGAN方法によって特定され、後に強化されたすべての個別の側面の合計を示します。画像行の左側には、平均FIDスコアが表示されています(高い方がよい)。
テストとユーザー研究
提案された方法の5つのバリアントがアルゴリズム的に評価され(上の画像を参照)、1000枚の画像にFIDスコア(一部で議論されている)が割り当てられました。
研究者は、照明の改善が写真の被写体の魅力度スコアを他のいくつかの「明らかな」変更(たとえば、実際の人の外見の変更)よりも高めたことを指摘しています。
システムをこのようにテストすることは、SCUTデータの特異性によって制限されています。このデータセットには「明るい笑顔」が多くありません。著者は、これがデータセット内の「謎めいた」表情を、潜在的なターゲットエンドユーザー(おそらく、この場合は西側市場)の好みと比較して過度に高く評価する可能性があると主張しています。
ただし、システム全体は、EigenGAN論文にあるわずか60人の平均的意見に依存しており、研究対象の性質も経験的とはほど遠いため、手順はデータセットよりも健全であると主張できます。
論文ではごく簡単に扱われていますが、EigenGANとシステムの5つのバリアントの画像も、限定的なユーザー研究(8名)で提示され、参加者は「最高の画像」(「魅力的な」という言葉は避けられました)を選択するように求められました。

上:小規模な研究グループに提示されたGUI、下:結果。
結果は、新しいシステムの出力が参加者の中で最高の選択率を達成したことを示しています(上の画像の「MAES」)。
美の(無目的な?)追求
こうしたシステムの有用性を判断するのは困難です。これらの目標に向けた注目すべき研究の取り組みが中国に集中しているように見えるものの、新しい論文では具体的な用途は説明されていません。
以前のEigenGAN論文では、美の認識システムは、顔のメイク合成の推薦システム、美的外科、顔の美化、またはコンテンツベースの画像検索に使用できることを示唆しています。
おそらく、このアプローチは、デートサイトで、ユーザーが自分のプロファイル写真を「ラッキーなショット」に「強化」できるように使用でき、古い写真や他人の写真の代わりに使用できます。
同様に、デートサイト自身もクライアントを「スコア」して、評価とアクセス制限付きの階層を作成できますが、これはライブネス認証キャプチャを介してのみ機能し、クライアントが「強化」できる提出写真では機能しません。
広告では、アルゴリズムによる美しさの評価を、対象視聴者の関心を最も引きそうな未加工のクリエイティブ画像の選択に使えるかもしれません。これは、故SF作家マイケル・クライトンが1982年の映画Lookerで予言した技術です。顔画像をディープフェイクのように書き換えることなく美的効果を最大化できれば、大衆の関心を集めるための、すでに効果的な画像をさらに強化できます。
新しい研究は、中国国家自然科学基金、複雑なシステムの管理と制御の国家重点研究所のオープンファンドプロジェクト、中国教育部の哲学と社会科学研究プロジェクトなどによって支援されています。
* EigenGAN論文の多くの推奨事項は、学術的なリソースではなく、2016年に出版された『Computer Models for Facial Beauty Analysis』という商用書籍を指しています。
最初に公開された:2022年8月11日。













