AI 研究者がユーザーの写真から 3D ビデオ ゲームの顔モデルを作成

NetEase の研究チームは、写真から自動的に顔を抽出して、画像データを使用してゲーム内のモデルを生成するシステムを作成しました。この研究の結果は、Face-to-Parameter Translation for Game Character Auto-Creation というタイトルの論文にまとめられており、Synced on Medium で要約されています。

ゲーム開発者は、時間のかかるタスクを自動化するために AI を使用することを選択することが増えています。例えば、ゲーム開発者は、キャラクターとオブジェクトの動きをレンダリングするために AI アルゴリズム を使用しています。ゲーム開発者が最近使用している AI のもう 1 つの用途は、より強力なキャラクター カスタマイズ ツールを作成することです。

キャラクター カスタマイズは、ロール プレイング ビデオ ゲームの愛好される機能であり、プレイヤーが自分のアバターをさまざまな方法でカスタマイズできるようにします。多くのプレイヤーは、アバターを自分に似たものにすることを選択しますが、これはキャラクター カスタマイズ システムの洗練度が高まるにつれて実現しやすくなります。ただし、これらのキャラクター作成ツールが洗練されるにつれて、複雑さも増します。自分に似たキャラクターを作成するには、スライダーを調整して、不明なパラメータを変更するのに数時間かかることがあります。NetEase の研究チームは、写真を分析してゲーム内のキャラクターの顔のモデルを生成するシステムを作成することで、これを変えようとしています。

自動キャラクター作成ツールは、2 つの部分で構成されています。模倣学習システムとパラメータ変換システムです。パラメータ変換システムは、入力画像から特徴を抽出して、学習システムが使用するパラメータを作成します。これらのパラメータは、模倣学習モデルによって入力顔の表現を生成して改善するために使用されます。

模倣学習システムには、ゲーム エンジンが一定のスタイルでキャラクター モデルを作成する方法をシミュレートするアーキテクチャがあります。模倣モデルは、ヒゲ、口紅、眉毛、髪型などの複雑な変数を考慮して、顔の真実を抽出するように設計されています。顔のパラメータは、入力と比較して勾配降下法によって更新されます。入力特徴と生成されたモデルの差は常に確認され、モデルの調整が行われます。入力特徴とゲーム内のモデルが一致するまで。

模倣ネットワークがトレーニングされた後、パラメータ変換システムは、模倣ネットワークの出力と入力画像の特徴を比較して、最適な顔のパラメータを計算できる特徴空間を決定します。

最大の課題は、3D キャラクター モデルが写真から詳細と外見を保存できるようにすることでした。これは、3D 生成画像と実際の人の 2D 画像を比較し、両者の核心的な特徴を同じにする必要がある、ドメイン間の問題です。

研究者は、この問題を 2 つの異なるテクニックで解決しました。最初のテクニックは、モデル トレーニングを 2 つの異なる学習タスクに分割することでした。顔のコンテンツ タスクと判別タスクです。人の顔の全体的な形と構造は、2 つのグローバルな外見の値の差/損失を最小化することで判断され、判別/細かい詳細は、小さな領域内の影などの損失を最小化することで埋められます。2 つの異なる学習タスクは、完全な表現を達成するために統合されます。

3D モデルを生成するために使用された 2 番目のテクニックは、骨の形を考慮してシミュレートされた骨格構造を使用する 3D 顔構築システムでした。これにより、研究者は、グリッドやフェイス メッシュに依存する他の 3D モデリング システムよりもはるかに洗練された正確な 3D 画像を作成することができました。

2D 画像に基づいてリアルな 3D モデルを作成するシステムを作成することは、すでに印象的な成果ですが、自動生成システムは 2D 写真だけでなく、スケッチや顔のカリカチュアも受け取り、印象的な精度で 3D モデルとしてレンダリングできます。研究チームは、システムが顔のセマンティクスを分析することで、2D キャラクターに基づいて正確なモデルを生成できるのではないかと考えています。

自動キャラクター生成器は写真に基づいてキャラクターを作成するために使用できますが、研究者は、ユーザーがシステムを補足的なテクニックとして使用し、生成されたキャラクターを自分の好みに応じて編集できるはずであると述べています。