ビデオ内の顔の構造を機械学習で再構築する

中国と英国による共同研究により、ビデオ内の顔の形状を変更する新しい方法が開発されました。この技術により、顔の構造を幅広く変化させることができ、HIGHな一貫性とアーティファクトの不存在が実現できます。

YouTubeのビデオから使用された研究者による素材、女優ジェニファーローレンスはより細身の人物として現れます（右）。記事の下部に埋め込まれたビデオを参照してください。より多くの例を高解像度で見ることができます。 Source: https://www.youtube.com/watch?v=tA2BxvrKvjE

このような変換は通常、詳細で高価なモーションキャプチャ、リギング、テクスチャリング手順を必要とする従来のCGI方法でしか実現できません。

代わりに、この技術では、CGIは、パラメトリック3D顔情報としてニューラルパイプラインに統合され、後にマシンラーニングワークフローに使用される基礎として使用されます。

伝統的なパラメトリック顔は、AIではなくCGIを使用する変換プロセスのガイドラインとして使用されることが増えています。 Source: https://arxiv.org/pdf/2205.02538.pdf

著者は以下のように述べています：

‘私たちの目的は、自然な顔の変形に従って、ポートレートビデオの全体的な形状を編集することです。これは、美化のための形状生成や視覚効果のための顔の誇張などに使用できます。’

2D顔の歪みと変形は、Photoshopの登場以来、消費者に利用可能になりました（そして、奇妙でしばしば受け入れられないサブカルチャーを生み出し、顔の歪みや身体の歪みを引き起こしています）。

マークザッカーバーグの顔の寸法を中国と英国による新しい技術で拡大および縮小しました。

…（以下、省略）