舌がない！ AI研究者が顔のアニメーションに欠けていた解剖学的要素に取り組む

2026年に取り上げ損ねた研究：研究界隈では毎年この時期になると、11月と12月の最後の数回の学会に合わせて、研究の質も発表数も大きく上下する。こうした散発的な不作の時期を乗り切るため、2026年にあと一歩で採択に至らなかったものの、投稿競争がより激しい時期に他の研究に押し出された、興味深い論文をいくつか取り上げる。

つい最近まで、アマチュアもプロも含めたディープフェイク制作者にとって、再構成された人物に舌があるように見えるかどうかは、もっと大きな課題に比べれば優先度の低い問題だった。そもそも舌は、顔のパーツの中でも最も捉えどころがない。口ごもる人ではまったく見えず、通常の状況でも、ほとんどの場合、ときおり見える程度だからだ。

そのため、舌が必要になったとき、AIによる再構成では、そこに舌がない。アマチュアによる拡散モデルベースの再構成が驚くほどリアルになり、AIが生成した人物に対する私たちの見極めもますます厳しくなっている今、この問題に取り組む時期が来たのかもしれない。

舌をめぐる問題

7月、オーストラリアと中国の学術共同研究により、AIワークフローにおける舌のシミュレーション不足に対処するためのパイプラインが提示された。TongueReenactと題されたこの提案フレームワークは、この問題に対してディープフェイクのツールキットにあるほぼあらゆる手法を投入する。これには、ガウススプラッティング、パラメトリックな人体モデル、ニューラル・ラディアンス・フィールド（NeRF）、拡散モデルを用いた動画生成が含まれる（GANは残念ながら今回のラインアップには入らなかった）。

上：下に示したTongueReenactのレンダリングに特徴が転写される、動作を指示する人物の実写映像。 出典

論文の発表後も、公開が約束されていたプロジェクトのコードは提供されていないようで、補足動画もまだ公開されていない。それでも、この研究は画期的な成果だ。医療分野以外で、AIベースの再構成における舌の問題に取り組んだ初の研究であり、どのような解決策を提案するにも不可欠な、注釈付きデータの深刻な不足にも対応しているためだ。

研究者たちは、既存の多様な枠組みやデータを革新的な方法で活用し、SegmentAnythingをベースとした舌のセグメンテーション枠組みを構築するとともに、新たにセグメンテーションしたデータの擬似ラベルを生成した。

論文には次のように記されている。

「[We]顔の再演における、個人をまたいだ舌の動きの転写を実現する初の枠組みを提示する。入力となるソースフレームと動作を指示する動画が与えられると、提案手法は顔の動きと舌の動きの両方をソースの人物に転写する。

「本研究の中心的な洞察は、舌の合成を一般的な画像補完の問題として扱うことはできない、という点にある。舌はソースとなる顔の形状に対して空間的に位置づけなければならず、その顔の形状自体も、動作を指示する各フレームに応じて変化する。」

このシステムではまず、3Dガウス・スプラッティングと顔モデルFLAMEを使って、動作を指示する人物の顔の動きをソースの顔に転写する。これにより、正しいポーズと表情を備えながら、舌はまだ描かれていない顔のアニメーションが生成される。

TongueReenactのワークフロー。上段：舌の画像を特定してセグメンテーションし、手作業で調整して検出モデルを学習させる。下段：動作を指示する動画からソースの顔へ顔の動きを転写した後、拡散モデルが適切な位置に欠けている舌を生成する。

Stable Diffusionモデルを使い、動作を指示する動画に映った舌の見た目と、再構成された顔の形状を手がかりに、欠けている舌を生成する。

顔の再構成におけるこの不足に取り組む必要性について、著者らは次のように述べている*。

「笑い、嫌悪、驚きといった表情豊かな動きの最中には、[the tongue]が口元に見える領域の大部分を占めることもある。それにもかかわらず、既存の再演システムやアバターシステムのほぼすべてが、口の内部を質感のない空洞としてモデル化するか、それをまったく制約のない状態にしている。

「この見落としは偶然ではない。舌は、安静時には完全に隠れ、発話中には断続的に露出し、極端な表情では突然大きく目立つという、ほかに類を見ないほど一時的な構造だからだ。そのため、顔のほかの部分に適用される静的なパラメトリックモデリングには、根本的になじまない。

「この見過ごされてきた課題に取り組むことが、本研究の中心的な動機である。」

テストでは、この新手法は競合する5つの顔アニメーションシステムを大幅に上回り、舌の位置と大きさに関する主要指標で、最も近い競合手法に対して100％を超える精度上の優位性を達成した。ただし、先例のない課題に取り組み、従来のフレームワークが新たな課題にほとんど、あるいはまったく対応していない状況では、この種のテストを考案するのが難しいことは認めざるを得ない。

新たな手法を詳しく見ていこう。

手法

通常の顔映像から舌を識別できるシステムを開発するため、人間の頭部を複数の視点から撮影したNERSembleデータセットと、16,000本を超える高品質な顔動画を収録したVFHQデータセットから合成したフレームを併用した。

押して再生Nersembleプロジェクトのサイトに掲載された、興味深い「舌」に関するRadiance Field再構成の例。ただし、ここに見える舌は一般的な形状として扱われており、独立したドメインは持たない。出典 

各画像の口の位置を特定するためにMaskGAN顔パースモデルを使用し、その後、医療用検出器TongueSAMで舌がある可能性の高い領域を特定してから、SegmentAnythingに渡した。これにより、見えている舌の初期輪郭（疑似ラベル）が生成された。

顔の表情を評価するためではなく、医療分析に使用することを目的としたTongueSAMデータセットのサンプル。 出典

生成されたマスクは、舌がどの程度見えているかに応じて3つのグループに分けられた。誤った例は除外し、有望なマスクは、舌とその周囲の唇、歯、その他の口腔組織を区別できるよう手作業で修正した。こうして精緻化したアノテーションを用いて、画像セグメンテーションネットワークBiSeNetを学習させた。

次に、このモデルをNERSembleの追加被験者とVFHQの合成フレームに適用し、予測結果を人手で確認・修正してから、さらに学習させた。この工程は、未学習の被験者に対する性能が安定するまで繰り返された。

既存データを「舌ドメイン」データに変換するパイプライン。

舌を合成する際は、BiSeNetが特定した口の領域を少し拡大してから拡散モデルに渡した。これにより、口の形が変化しても、生成される舌が初期のセグメンテーション領域を超えて伸びる余地が生まれる。

生成はStable Diffusion Image Variationsの潜在空間で行われた。再構成した顔の形状と、駆動フレームに映る舌からそれぞれ別個に導出したガイダンスを用い、特定された口／舌の領域のみを再生成した。

生成パイプライン。左上の象限にあるDINO V2への言及は、GAGAvatar（下記参照）の使用を示している。GAGAvatarは、FLAMEと組み合わせてDINO V2の外観特徴を利用する。

データとテスト

BiSeNetは、前述のデータ処理工程から得られた2つの出力クラス、すなわち背景と舌を用いて学習させた。単一のNVIDIA A40 GPU（VRAM 48GB）上で、512x512pxの画像をバッチサイズ4で使用し、学習率10^-3、50,000イテレーションにわたって学習を行った。学習データは、前述のNERSembleおよびVFHQのフレームで構成された。

顔の再演部分には、事前学習済みのGAGAvatarガウススプラッティングのバックボーンを使用した。また、VAEとCLIPのエンコーダーを凍結した状態で、Stable Diffusion Image Variationsのチェックポイントも使用した。その後、ガイダンスエンコーダーとノイズ除去を行うUNETを、NERSembleのデータを使って85,000イテレーション、バッチサイズ8、512×512の入力で学習させた。推論にはDDIMのステップを20回使用した（現在の多くの拡散モデルでは、これは多い設定と見なされ、細部の表現を優先する一方で、避けられないトレードオフを伴う）。

比較対象としてテストした競合アバターフレームワークは、GPAvatar、高い評価を受けるLivePortrait、X-NeMo、X-Portraitである。これらはそれぞれ、異なるアイデンティティ間のVFHQソース／駆動ペア9,000組を用いて評価された。

使用した指標は、学習済み知覚画像パッチ類似度（LPIPS）、舌の存在率（舌が検出されたフレームの割合）、舌のIoU（生成された舌領域と駆動側の舌領域との重なり）、および舌の面積類似度（生成された舌の大きさが駆動側の舌の大きさとどの程度一致するか）である。

TongueReenactと競合する5つの顔再現フレームワークを比較したテスト結果。TongueReenactは舌に特化した4つの指標すべてで最高の結果を達成している。矢印は、スコアが低いほうと高いほうのどちらが望ましいかを示す。

初期比較について、著者らは次のように述べている。

「提案手法は、舌の転写に関する4つの指標すべてで最高の性能を達成しました。Tongue IoUは0.3582、Tongue Area Similarityは0.4338で、最も近い競合手法の2倍を上回っています。この結果は、舌の動きの転写精度が大幅に向上したことを示しています。

「Tongue Presenceは0.7891に達しており、既存手法では舌の動きがまったく生成されないことが多いのに対し、提案手法では舌の動きを確実に可視化できることが、さらに示されています。」

原論文に掲載された豊富な定性的な例から、いくつかを紹介する。ここでは、新しい手法と、舌を生成する機能を備えていない従来の5つの手法を比較している。さらに多くの例や、より高解像度の画像については、原論文を参照されたい。

現時点では補足動画がないため、私たち自身で評価することはできないものの、著者らはT-LPIPSを用いて、システムの時間的一貫性も検証した。

時間的一貫性のテスト結果。

これについて著者らは、次のように述べている。

「完全なモデルでは、フローの揺らぎが大幅に小さく（0.218543対0.622901）、フローの大きさも大幅に抑えられています（0.513165対1.254073）。この結果は、形状に基づくノイズ除去によって、滑らかで安定した舌の動きが生成されることを示しています。

「T-LPIPSがより低いことから、舌の合成によって時間的一貫性が損なわれないことも確認できます。」

結論

不気味の谷現象は、最新の拡散ベースの動画モデルによって徐々に克服されつつある。しかし、視聴者が見ているものの品質とは別の理由からAI生成コンテンツに否定的な見方をするという、新たな心理的障壁が現れ始めている。

この傾向は定性的評価を難しくするだろう。ただ、ユーザーがAIの出力を低く評価したい一方で、実際の出力まで低く評価することは避けたいと考える「ブラインド」テストに基づく指標を使えば、AIのリアリティを測る一種の「シャドー」尺度を開発できるかもしれない。

そのため、髪、感情のシミュレーション、視線、そして今回の舌の動きといった、個人の特徴を構成する二次的な要素をAIで再現する研究は盛んに行われているものの、現時点では、そうした研究は意味をなさないかもしれない。

* 著者の本文中の引用をハイパーリンクに変換したのは私です。

初出：2026年11月11日（水）