AI 研究者がユーザーの写真から 3D ビデオゲームの顔モデルを作成

中国のゲーム会社 NetEase の研究者チームは、写真から顔を自動的に抽出し、画像データを使用してゲーム内モデルを生成できるシステムを開発しました。 と題された論文の結果は、 ゲーム キャラクター自動作成のための Face-to-Parameter 変換だった Synced on Medium によってまとめられています。

時間のかかるタスクを自動化するために AI を利用することを選択するゲーム開発者が増えています。 たとえば、ゲーム開発者は AI アルゴリズムを使用して、 動きをレンダリングする キャラクターやオブジェクトのこと。 ゲーム開発者による最近の AI のもう XNUMX つの用途は、より強力なキャラクター カスタマイズ ツールの作成です。

キャラクターのカスタマイズは、ロールプレイング ビデオ ゲームで広く愛されている機能であり、ゲームのプレイヤーがさまざまな方法でプレイヤー アバターをカスタマイズできるようになります。 多くのプレイヤーは自分のアバターを自分に似せることを選択しますが、キャラクターのカスタマイズ システムが洗練されるにつれて、それがより実現可能になります。 ただし、これらのキャラクター作成ツールが洗練されるにつれて、はるかに複雑になります。 自分に似たキャラクターを作成するには、スライダーを調整したり、不可解なパラメータを変更したりするのに何時間もかかることがあります。 NetEase の研究チームは、プレイヤーの写真を分析し、ゲーム内キャラクターのプレイヤーの顔のモデルを生成するシステムを作成することで、この状況をすべて変えることを目指しています。

自動キャラクター作成ツールは、模倣学習システムとパラメータ変換システムの XNUMX つの部分で構成されます。 パラメータ変換システムは、入力画像から特徴を抽出し、学習システムが使用するパラメータを作成します。 これらのパラメーターは、入力顔の表現を反復的に生成および改善するために模倣学習モデルによって使用されます。

模倣学習システムには、ゲーム エンジンが一定のスタイルでキャラクター モデルを作成する方法をシミュレートするアーキテクチャがあります。模倣モデルは、ひげ、口紅、眉毛、髪型などの複雑な変数を考慮して、顔の真実を抽出するように設計されています。顔パラメータは、入力と比較され、勾配降下法のプロセスを通じて更新されます。入力フィーチャと生成されたモデルの違いが常にチェックされ、ゲーム内モデルが入力フィーチャと一致するまでモデルに微調整が加えられます。

模倣ネットワークが訓練された後、パラメータ変換システムは模倣ネットワークの出力を入力画像の特徴と照合して、最適な顔パラメータの計算を可能にする特徴空間を決定します。

最大の課題は、3D キャラクター モデルが人間の写真に基づいたディテールと外観を確実に保持できるようにすることでした。 これはクロスドメインの問題であり、3D で生成された画像と実際の人物の 2D 画像を比較する必要があり、両方の中核となる機能が同じである必要があります。

研究者らは XNUMX つの異なる技術を使用してこの問題を解決しました。 最初の手法は、モデルのトレーニングを XNUMX つの異なる学習タスク (顔の内容のタスクと識別タスク) に分割することでした。 人の顔の一般的な形状と構造は、XNUMX つの全体的な外観値の差/損失を最小限に抑えることによって識別され、識別/細かい詳細は、小さな領域内の影などの間の損失を最小限に抑えることによって埋められます。 XNUMX つの異なる学習タスクがマージされて、完全な表現が実現されます。

3D モデルの生成に使用される 3 番目の技術は、骨の形状を考慮してシミュレートされた骨格構造を使用する 3D 顔構築システムです。 これにより、研究者らは、グリッドやフェイス メッシュに依存する他の 3D モデリング システムと比較して、はるかに洗練された正確な XNUMXD 画像を作成できるようになりました。

3D 画像に基づいてリアルな 2D モデルを作成できるシステムの構築は、それ自体でも十分に素晴らしいことですが、自動生成システムは 2D 写真だけに機能するわけではありません。 このシステムは、顔のスケッチや似顔絵を取得し、それらを驚くほどの精度で 3D モデルとしてレンダリングすることもできます。 研究チームは、システムが生のピクセル値を解釈するのではなく顔の意味を分析するため、システムが 2D キャラクターに基づいて正確なモデルを生成できるのではないかと考えています。

自動キャラクタージェネレーターは写真に基づいてキャラクターを作成するために使用できますが、ユーザーはこれを補助的な技術として使用し、生成されたキャラクターを好みに応じてさらに編集できる必要があると研究者らは述べています。