Andersonの視点
人の顔をより「美しく」することができるAIシステム
Unite.AI を Google の優先ソースに追加
中国の研究者は、強化学習の新しいアプローチを使用して、人の顔をより「美しく」することができる新しいAIベースの画像強化システムを開発しました。
新しいアプローチでは、顔の美しさ予測ネットワークを使用して、さまざまな要因に基づいて画像のバリエーションを反復処理します。ここでは、各列の左側の元のソースはEigenGANシステムからのものであり、新しい結果は右側に表示されています。 ソース：https://arxiv.org/pdf/2208.04517.pdf
この技術は、2021年に中国で開発された別のプロジェクトであるEigenGANジェネレーターの革新に基づいています。このジェネレーターは、生成対抗ネットワーク（GAN）の潜在空間内のさまざまなセマンティック属性を特定して制御する上で著しい進歩を遂げました。
2021年のEigenGANジェネレーターは、生成対抗ネットワークの潜在空間内で高いレベルの概念である「髪の色」を特定することができました。新しい研究は、この革新的なインストルメンタリティを基盤にして、ソース画像を「美しく」することができるシステムを提供しますが、認識可能なアイデンティティを変更せずにします。 ソース：https://arxiv.org/pdf/2104.12476.pdf
システムは、南中国大学の広州校から2018年に公開されたベンチマークデータセットであるSCUT-FBP5500（SCUT）から派生した「美学スコアネットワーク」を使用しています。
2018年の論文「SCUT-FBP5500：多パラダイム顔の美しさ予測のための多様なベンチマークデータセット」から、顔の美しさ予測（FBP）ネットワークが提示され、顔の魅力度をランク付けすることができましたが、実際には顔の変換や「アップグレード」はできませんでした。 ソース：https://arxiv.org/pdf/1801.06345.pdf
新しい研究とは異なり、2018年のプロジェクトでは実際の変換を実行することはできませんが、60人の混合性別のラベラー（50/50の割合）によって5,500人の顔に対するアルゴリズミックな価値判断が含まれています。これらは、新しいシステムの有効な「判別器」として組み込まれており、魅力度を高める可能性のある変換を通知するために使用されます。
新しい論文は、Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learningと題されています。システムがカウカソイド以外のすべての人種を除外する理由は、SCUTデータセットがアジアのソース（4000人のアジア人女性/男性、1500人のカウカソイド女性/男性）に大きく偏っているため、データセットの「平均人」はブラウンヘアとブラウンハイであるためです。
したがって、少なくとも1つの人種内での色の変化を可能にするために、元のデータからアジアのコンポーネントを除外するか、または方法を開発するためにデータを再構成するのに多大な費用がかかるため、必要でした。さらに、美の文化的認識の変化は、必然的に、システムが地理的に「魅力」の構成要素を設定する必要性を意味します。
関連する属性
「魅力的な」写真の主な寄与要因を決定するために、研究者は、さまざまな画像の変更が、アルゴリズミックな「美しさ」の認識をどのように高めるかをテストしました。彼らは、少なくとも1つの側面が、良い写真撮影よりも良い遺伝子に重要であることを発見しました。
照明のほか、最も大きな影響を与えた要素は、前髪（男性の場合、しばしば全頭の髪と同等である）、体のポーズ、および目の配置（カメラの視点との関わりが魅力度の向上につながる）でした。
(「口紅の色」について、新しいシステムは性別の外見を特定しませんが、むしろこの新しい判別器システムを「フィルター」として使用します)
方法
新しいシステムの強化学習メカニズムの報酬関数は、SCUTデータ上の単純な回帰によって動作します。これは、顔の美しさ予測を出力します。
トレーニングシステムは、入力画像（スキーマの左下）を反復処理します。最初に、事前にトレーニングされたResNet18モデル（ImageNetでトレーニング済み）が、5つの同一の（「y」）画像から特徴を抽出します。次に、完全に接続された層（GRUCell、画像下）の隠れ状態から潜在的な変換アクションが導出され、変換が適用され、5つの変更された画像が美学スコアネットワークにフィードされ、ランキング（ダーウィン方式）が決定され、どのバリエーションが開発され、どれが破棄されるかが決定されます。
新しいシステムのワークフローのイラストです。
美学スコアネットワークでは、効率的なチャネル注意（ECA）モジュールが使用され、事前にトレーニングされたEfficientNet-B4のインスタンスの適応が、各画像から1,792の特徴を抽出するために使用されます。
ReLU活性化関数を介した正規化の後、ECAモジュールから4次元ベクトルが取得され、活性化と適応平均プーリングの後、1次元ベクトルに平坦化され、最終的に回帰ネットワークにフィードされ、美学スコアが取得されます。
システムの出力の質的比較。下行では、EigenGAN方法によって特定され、後に強化されたすべての個別の側面の合計を示します。画像行の左側には、平均FIDスコアが表示されています（高い方がよい）。
テストとユーザー研究
提案された方法の5つのバリアントがアルゴリズム的に評価され（上の画像を参照）、1000枚の画像にFIDスコア（一部で議論されている）が割り当てられました。
研究者は、照明の改善が写真の被写体の魅力度スコアを他のいくつかの「明らかな」変更（たとえば、実際の人の外見の変更）よりも高めたことを指摘しています。
システムをこのようにテストすることは、SCUTデータの特異性によって制限されています。このデータセットには「明るい笑顔」が多くありません。著者は、これがデータセット内の「謎めいた」表情を、潜在的なターゲットエンドユーザー（おそらく、この場合は西側市場）の好みと比較して過度に高く評価する可能性があると主張しています。
ただし、システム全体は、EigenGAN論文の60人の人の平均的な意見に基づいているため、手順はデータセットよりも健全であると主張できます。
論文では触れられていませんが、EigenGANとシステムの5つのバリアントの画像も、限定的なユーザー研究（8名）で提示され、参加者は「最高の画像」（「魅力的な」という言葉は避けられました）を選択するように求められました。
上：小規模な研究グループに提示されたGUI、下：結果。
結果は、新しいシステムの出力が参加者の中で最高の選択率を達成したことを示しています。
美の（無目的な？）追求
このようなシステムの有用性は、注目すべき 場所 の 努力 の 中国でこれらの目標に向けて難しいです。新しい出版物では、どれも概説されていません。
以前のEigenGAN論文では、美の認識システムは、顔のメイク合成の推奨システム、美的外科、顔の美化、またはコンテンツベースの画像検索に使用できることを示唆しています。
おそらく、このアプローチは、デートサイトで、ユーザーが自分のプロファイル写真を「ラッキーなショット」に「強化」できるように使用でき、古い写真や他の人の写真の代わりに使用できます。
同様に、デートサイト自身もクライアントを「スコア」して、評価と制限付きの階層を作成できますが、これはライブネス認証キャプチャを介してのみ機能し、クライアントが「強化」できる提出写真では機能しません。
広告では、美のアルゴリズミックな評価方法は、ターゲットオーディエンスに最も関与する可能性のあるクリエイティブな出力を選択するために使用できます。また、画像の美的影響を最大化する能力は、すでに効果的な画像をさらに強化できます。
新しい研究は、中国国家自然科学基金、複雑なシステムの管理と制御の国家重点研究所のオープンファンドプロジェクト、中国教育部の哲学と社会科学研究プロジェクトなどによって支援されています。
* EigenGAN論文の多くの推奨事項は、学術的なリソースではなく、2016年に出版された『Computer Models for Facial Beauty Analysis』という商用書籍を指しています。
最初に公開された：2022年8月11日。
