Andersonの視点

人体型の再構成にAIを用いる

Martin Anderson
Unite.AI を Google の優先ソースに追加
要点NeuralReshaperはSMPLパラメトリックモデルを用いて、体重、身長、体型の細かい制御を可能にします。
もっと見る
  • NeuralReshaperはSMPLパラメトリックモデルを用いて、体重、身長、体型の細かい制御を可能にします。
  • ツインエンコーダアーキテクチャが前景の体型補正と背景のインペインティングを個別に処理し、リアルな結果を実現します。
  • SMPLベースのCGI手法は、GANやNeRFがまだ体型パラメータを確実に編集できないため、依然として不可欠です。

中国からの新しい研究コラボレーションは、画像内の人体を再構成するための新しい方法を提供しています。調整された双子ニューラルエンコーダーネットワークを使用して、パラメトリックモデルを導入し、エンドユーザーがインタラクティブなGUIで体重、身長、体のプロポーションを調整できるようにします。

パラメータ化された体の形状の変化、スライダーで3つの利用可能な機能を変更する。出典: https://arxiv.org/pdf/2203.10496.pdf

パラメータ化された体の形状の変化、スライダーで3つの利用可能な機能を変更する。 出典: https://arxiv.org/pdf/2203.10496.pdf

この研究は、Alibabaの最近の類似プロジェクトよりも、いくつかの点で改善されています。体重、身長、体のプロポーションを変更できるだけでなく、背景の「インペイント」に専用のニューラルネットワークを備えており、体を細くした結果、新たに露出する背景領域を補完できます。また、従来のパラメトリック手法よりも、変換を構成する際の大がかりな人手の介入を不要にしています。

新しいアーキテクチャは、NeuralReshaperと呼ばれ、パラメトリック3D人体テンプレートをソース画像に適応させ、元の画像を新しいパラメータに合わせて変換します。

システムは、衣類を着た人や半裸の人(ビーチウェアなど)に対する体の変換を処理できます。

このような変換は、現在、ファッションAI研究セクターに大きな関心を集めています。このセクターは、StyleGAN/CycleGANベースのプラットフォームや一般的なニューラルネットワークを開発しており、ユーザーが画像を提出すると、利用可能な衣類アイテムをユーザーの体の形状やタイプに合わせて調整した仮想試着や視覚的な整合性の改善を実現しています。

論文は、Single-image Human-body Reshaping with Deep Neural Networksと題されており、杭州の浙江大学および香港城市大学クリエイティブメディア学部の研究者によって執筆されています。

SMPLフィッティング

NeuralReshaperは、2015年にマックス・プランク知能システム研究所と視覚効果会社Industrial Light and Magicによって開発されたSkinned Multi-Person Linear Model(SMPL)を使用しています。

SMPLパラメトリックヒューマン、2015年のプランク/ILMコラボレーション。出典: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

SMPLパラメトリックヒューマン、2015年のプランク/ILMコラボレーション。 出典: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

プロセスの最初の段階では、SMPLモデルを生成し、体の変換を適用したいソース画像に適応させます。SMPLモデルの画像への適応は、2018年にドイツと米国の大学が提案したHuman Mesh Recovery(HMR)の手法に従います。

変換の3つのパラメータ(体重、身長、体のプロポーション)は、この段階で計算され、カメラパラメータ(焦点距離など)も考慮されます。2Dキーポイントと生成されたシルエットの整列により、変換の境界が確立され、後続のパイプラインで背景の「インペイント」が可能になります。

SMPLフィッティングの段階: 左、ソース画像;二番目から左、2016年のマックス・プランク研究所による研究で概説された方法からの最適化結果;三番目から左、End-to-end Recovery of Human Shape and Poseの事前トレーニング済みモデルの直接推論結果;二番目から右、2Dキーポイントの最適化結果;右、シルエットの最適化後の完成したフィット(上記参照)。

SMPLフィッティングの段階: 左、ソース画像;二番目から左、2016年のマックス・プランク研究所による研究で概説された方法からの最適化結果;三番目から左、End-to-end Recovery of Human Shape and Poseの事前トレーニング済みモデルの直接推論結果;四番目から左、2Dキーポイントの最適化結果;五番目から左、シルエットの最適化後の完成したフィット(上記参照)。

3D変換は、画像空間への投影により、変換を定義する密な歪みフィールドを生成します。このプロセスは約30秒で完了します。

NeuralReshaperアーキテクチャ

NeuralReshaperは、2つのニューラルネットワークを並行して実行します。1つは、変換された体の形状を生成するフォアグラウンドエンコーダーで、もう1つは、背景の「デオクルージョン」領域(例:体をスリム化する場合)を埋めるバックグラウンドエンコーダーです。

U-netスタイルのフレームワークは、2つのエンコーダーの特徴を統合し、結果を統合されたデコーダーに渡し、最終的に2つの入力から新しい画像を生成します。アーキテクチャには、統合を可能にする新しいワープガイドメカニズムが特徴です。

トレーニングと実験

NeuralReshaperは、PyTorchで実装され、11GBのVRAMを備えた単一のNVIDIA (NVDA ) 1080ti GPUで実行されます。ネットワークは、Adamオプティマイザを使用して100エポックでトレーニングされ、生成器と判別器の学習率はそれぞれ0.0001と0.0004でした。トレーニングは、バッチサイズ8の専有の屋外データセット(COCO、MPII、LSPから抽出)とバッチサイズ2のDeepFashionデータセットで実行されました。

左、元の画像;右、NeuralReshaperの再構成出力。

左、元の画像;右、NeuralReshaperの再構成出力。

以下は、DeepFashionデータセットからNeuralReshaperでトレーニングされた例です。元の画像は左側に表示されます。

3つの制御可能な属性は、独立して適用できます。

導出された屋外データセットでの変換は、複雑な背景のインフィルと明確な変換体の輪郭が必要になるため、より課題的です。

パラメトリックな必要性

論文が指摘するように、同じ画像を変形するこの課題は画像合成における不良設定問題です。多くの変換GANやエンコーダーは、スケッチから写真や写真からスケッチへの変換のようにペア画像を利用できます。しかし今回は、同じ人が異なる体型で写ったペア、例えば減量や美容整形広告の「前後」写真が必要となり、こうしたデータは入手も生成も困難です。

代わりに、変換GANネットワークは、より多様なデータでトレーニングし、潜在空間の方向(元画像の潜在コードと「太い」「細い」「背が高い」などの目標クラスとの間)を探索して変換を実現できます。しかし、このアプローチは、微調整された体の再構成の目的にはまだ限界があります。

ニューラル放射場(NeRF)アプローチは、ほとんどのGANベースのシステムよりも、フルボディシミュレーションで進んでいますが、シーン固有でリソースを大量に消費し、現在、体のタイプをNeuralReshaperや以前のプロジェクトが試みているようなグラニュラな方法で編集する能力は非常に限られています(環境に対して身体全体を縮小することを除く)。

GANの潜在的な空間は、制御が難しいです。VAEのみでは、フルボディの再現の複雑さに対処できません。NeRFの人間の体を一貫してリアルに再構成する能力はまだ発展途上です。したがって、SMPLのような「伝統的な」CGI手法の導入は、人間の画像合成研究セクターで継続される可能性があります。これらの新興技術では、まだ十分に理解されていないパラメータや潜在的なコードを特徴、クラス、潜在的なコードで囲み、統合する手段としてです。

 

2022年3月31日初出。

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai