AI 研究者がユーザーの写真から 3D ビデオゲームの顔モデルを作成

中国のゲーム会社 NetEase (NTES ) の研究者チームは、写真から自動的に顔を抽出してゲーム内モデルを生成するシステムを作成しました。このシステムの結果は、Face-to-Parameter Translation for Game Character Auto-Creation という論文で発表され、Synced によって Medium で要約されました。

ゲーム開発者は、時間のかかるタスクを自動化するために AI を使用することが増えています。例えば、ゲーム開発者は、キャラクターとオブジェクトの動きをレンダリングするために AI アルゴリズムを使用しています。ゲーム開発者が最近使用している AI のもう 1 つの用途は、より強力なキャラクター カスタマイズ ツールを作成することです。

キャラクター カスタマイズは、ロール プレイング ゲームの愛好される機能であり、プレイヤーが自分のアバターを多様な方法でカスタマイズできるようにします。多くのプレイヤーは、アバターを自分自身に似たものにすることを選択しますが、これはキャラクター カスタマイズ システムの洗練度が高まるにつれてより実現可能になります。ただし、これらのキャラクター作成ツールはより洗練されると同時に、より複雑になります。自分自身に似たキャラクターを作成するには、スライダーを調整し、不明なパラメーターを変更するのに数時間かかることがあります。NetEase の研究チームは、プレイヤーの写真を分析してゲーム内キャラクターの顔モデルを生成するシステムを作成することで、これを変えようとしています。

自動キャラクター作成ツールは、2 つの部分で構成されています。1 つは、模倣学習システムであり、もう 1 つは、パラメーター翻訳システムです。パラメーター翻訳システムは、入力画像から特徴を抽出して、学習システムが使用するパラメーターを作成します。これらのパラメーターは、模倣学習モデルによって入力顔の表現を生成して改善するために使用されます。

模倣学習システムには、ゲーム エンジンが一定のスタイルでキャラクター モデルを作成する方法をシミュレートするアーキテクチャがあります。模倣モデルは、ヒゲ、口紅、眉毛、髪型などの複雑な変数を考慮して、顔の真実を抽出するように設計されています。顔パラメーターは、入力と比較して勾配降下法によって更新されます。入力特徴と生成モデルの差は、ゲーム内モデルの入力特徴と一致するまで、常にチェックされ、モデルに修正が加えられます。

模倣ネットワークがトレーニングされた後、パラメーター翻訳システムは、模倣ネットワークの出力を入力画像特徴と比較して、最適な顔パラメーターの計算を可能にする特徴空間を決定します。

最大の課題は、3D キャラクター モデルが人間の写真に基づいて詳細と外観を保存できるようにすることでした。これは、3D 生成画像と 2D 画像の比較を必要とする、クロス ドメイン問題です。

研究者は、2 つの異なるテクニックを使用してこの問題を解決しました。1 つのテクニックは、モデル トレーニングを 2 つの異なる学習タスクに分割することでした。1 つのタスクは、顔の内容を抽出するタスクで、もう 1 つのタスクは、判別タスクでした。顔の一般的な形状と構造は、2 つのグローバルな外観値の差/損失を最小化することで決定されます。判別/詳細な詳細は、小さな領域内の影などの差/損失を最小化することで埋められます。2 つの異なる学習タスクは、完全な表現を達成するために統合されます。

3D モデルを生成するために使用された 2 番目のテクニックは、骨の形状を考慮してシミュレートされた骨格構造を使用する 3D フェイス コンストラクション システムでした。これにより、研究者は、グリッドやフェイス メッシュに依存する他の 3D モデリング システムよりも、はるかに洗練され、正確な 3D 画像を作成することができました。

2D 画像に基づいてリアルな 3D モデルを作成するシステムを作成することは、すでに印象的な成果ですが、自動生成システムは 2D 写真に限定されません。システムは、顔のスケッチやカリカチュアを 3D モデルとしてレンダリングすることもできます。研究チームは、システムが 2D キャラクターに基づいて正確なモデルを生成できるのは、システムが生のピクセル値を解釈するのではなく、顔の意味論を分析するからであると考えています。

自動キャラクター生成ツールは、写真に基づいてキャラクターを作成するために使用できますが、研究者は、ユーザーがシステムを補助的なテクニックとして使用し、生成されたキャラクターを自分の好みに合わせて編集できるようにすることもできるべきであると述べています。分析するのは、生のピクセル値ではなく、顔の意味論であるためであると言います。