Andersonの視点

ディープフェイクをリアルタイムで検出できる、深度情報の活用

Martin Anderson
Unite.AI を Google の優先ソースに追加
要点深度マップにより、MobileNetのような軽量ネットワーク上でのリアルタイムなディープフェイク検出が可能になる。
もっと見る
  • 深度マップにより、MobileNetのような軽量ネットワーク上でのリアルタイムなディープフェイク検出が可能になる。
  • 周辺部の顔の深度の不正確さは、未知の人物であってもディープフェイクを露呈させる。
  • グレースケールの深度マップのみで、フルカラー画像よりもディープフェイク分類の精度が優れている。

イタリアの新たな研究で、画像から得られる深度情報が、リアルタイムでもディープフェイクの検出に役立つことが分かった。

過去5年間のディープフェイク検出研究の大半は、アーティファクトの識別(改良技術で減らせるほか、低品質な動画コーデック圧縮と混同されることもある)、環境光、生体的特徴、時間的な不連続、さらには人間の直感に注目してきた。今回の研究は、深度情報がディープフェイクコンテンツを見分ける有用な手掛かりになると初めて提案した。

推定された深度マップの例と、実画像と偽画像の知覚的な深度情報の違い。 出典:https://arxiv.org/pdf/2208.11074.pdf

推定された深度マップの例と、実画像と偽画像の知覚的な深度情報の違い。 出典:https://arxiv.org/pdf/2208.11074.pdf

重要なのは、新研究の検出フレームワークが、Xceptionのような軽量ネットワークで非常によく動作し、MobileNetでも十分に動作する点だ。論文は、こうしたネットワークの推論遅延の小ささが、最近のBinanceへの攻撃に代表されるリアルタイムのディープフェイク詐欺の新たな傾向に対して、リアルタイム検出を可能にし得ると認めている。

本システムは偽の深度マップと本物の深度マップを区別するのにフルカラー画像を必要とせず、深度情報のグレースケール画像だけで驚くほど効率よく動作するため、推論時間をさらに節約できる。

著者らは次のように述べている。「この結果は、この場合、深度情報が色のアーティファクトよりも分類に重要な貢献をしていることを示唆する。」

今回の知見は、DeepFaceLiveのようなリアルタイム顔合成システムを対象とする、新たなディープフェイク検出研究の波の一部である。こうした研究は、FBIが出した3月の警告でリアルタイムの映像・音声ディープフェイクの危険性が指摘されて以来、ここ3~4か月で特に加速している。

論文の題名はDepthFake:ディープフェイク動画を検出する深度ベースの戦略で、ローマ・サピエンツァ大学の研究者5人が執筆した。

境界事例

訓練中、オートエンコーダーを用いるディープフェイクモデルは、目、鼻、口など顔の内側を優先する。DeepFaceLabやFaceSwapなどのオープンソース配布版では、ほとんどの場合、両者の基になった2017年のRedditの元コードが削除される前に派生したものを含め、顔の外側の輪郭が明確になるのは訓練のかなり遅い段階であり、内側の合成品質には届きにくい。

先行研究による、顔の「顕著性マップ」の可視化。 出典:https://arxiv.org/pdf/2203.01318.pdf

先行研究による、顔の「顕著性マップ」の可視化。 出典:https://arxiv.org/pdf/2203.01318.pdf

通常、これは大きな問題ではない。人間はまず目に注目し、外側へ行くほど注意を減らすため、周辺部の品質低下に気を取られにくい。特に、他人になりすましている相手とリアルタイムに話すと、社会的慣習や認知処理の制約が働く。これらは、あらかじめ生成されたディープフェイク映像を評価する場合には生じない。

しかし、偽造された顔の周縁部に見られる細部や正確さの不足は、アルゴリズムで検出できる。3月には、顔の周辺領域に注目するシステムが発表された。ただし、平均以上の量の訓練データが必要であるため、現在のコンピュータビジョンやディープフェイク検出技術に由来する一般的な顔データセット(ImageNetなど)に含まれやすい有名人だけを対象としている。

これに対し、新システムDepthFakeは、実動画と偽動画で推定される深度マップ情報の品質を区別することで、あまり知られていない人物や未知の人物にも汎用的に対応できる。

深度を掘り下げる

スマートフォンでは、深度マップ情報の組み込みが進んでいる。AI支援のステレオ実装などはコンピュータビジョン研究に特に役立つ。今回、著者らはアイルランド国立大学のFaceDepthモデルを使用した。これは、単一の画像から深度マップを効率的に推定できる畳み込みエンコーダー/デコーダーネットワークである。

動作中のFaceDepthモデル。 出典:https://tinyurl.com/3ctcazma

動作中のFaceDepthモデル。 出典:https://tinyurl.com/3ctcazma

次に、イタリアの研究者らの新フレームワークの処理工程では、元のRGB画像と推定された深度マップの両方から、対象人物の顔を224×224ピクセルの領域として切り出す。重要なのは、サイズを変更せずに主要な内容を取り出せることだ。標準的なリサイズ処理は対象領域の品質を損なうため、この点は重要である。

研究者らは、実画像とディープフェイク画像の両方から得たこの情報を使い、それぞれの深度マップの知覚品質の差によって本物と偽物を区別する畳み込みニューラルネットワーク(CNN)を訓練した。

DepthFakeの概念的な処理工程。

DepthFakeの概念的な処理工程。

FaceDepthは、顔の外周でより細かな情報を得られる混合関数を使い、現実的なデータと合成データで訓練されているため、DepthFakeに適している。MobileNetを特徴抽出器として用い、480×640の入力画像から240×320の深度マップを出力するよう訓練された。各深度マップは、新プロジェクトの識別器が使用する4つの入力チャネルの1つに当たる。

深度マップは元のRGB画像に自動で埋め込まれ、現代のスマートフォンカメラが出力するような、深度情報を持つRGBD画像になる。

訓練

モデルはImageNetで事前訓練されたXceptionネットワークで訓練された。ただし、重みを正しく初期化したまま追加の深度情報を受け入れるため、アーキテクチャの調整が必要だった。

また、深度情報の値の範囲がネットワークの想定と一致しないため、研究者らは値を0~255に正規化した。

訓練中に適用したのは反転と回転だけである。一般には、頑健な推論能力を育てるためにさまざまな視覚的な摂動をモデルへ与えるが、元画像の顔の縁にある限られた繊細な深度情報を保つ必要があり、研究者らは変換を絞った。

実用的なアルゴリズムを得るのに入力画像がどの程度複雑である必要があるかを調べるため、単純な2チャネルのグレースケール画像でも訓練した。

訓練にはTensorFlow APIと、VRAM 8GBのNVIDIA GTX 1080を使用し、ADAMAXオプティマイザで25エポック、バッチサイズ32とした。切り抜き時の入力解像度は224×224に固定し、顔の検出と抽出にはdlib C++ライブラリを使用した。

結果

結果の精度は、Deepfake、Face2Face、FaceSwap、Neural Texture、およびデータセット全体を対象に、RGB入力とRGBD入力を用い、FaceForensic++フレームワークで評価した。

4種類のディープフェイク手法と、分割していないデータセット全体に対する精度。元のRGB画像の分析と、同じ画像に推定深度マップを埋め込んだ場合の分析を比較している。最良の結果は太字で、その下の百分率は深度情報による改善の大きさを示す。

4種類のディープフェイク手法と、分割していないデータセット全体に対する精度。元のRGB画像の分析と、同じ画像に推定深度マップを埋め込んだ場合の分析を比較している。最良の結果は太字で、その下の百分率は深度情報による改善の大きさを示す。

すべての構成で、深度チャネルはモデルの性能を改善した。Xceptionが最良の結果を得て、軽快なMobileNetが僅差で続いた。著者らは次のように述べている。

「MobileNetはXceptionをわずかに下回る一方、より深いResNet50を上回る点が興味深い。リアルタイム用途の推論時間を減らすという目標を考えると、これは注目すべき結果だ。本研究の主要な貢献ではないものの、今後の開発に向けて励みになる結果と考えている。」

研究者らは、RGBD入力と2チャネルのグレースケール入力が、RGB入力と通常のグレースケール入力より一貫して優れていることも指摘した。推定した深度情報をグレースケールに変換する計算負荷は非常に小さいため、限られたローカル資源でも結果が改善する。これは、深度情報を用いたリアルタイムのディープフェイク検出の今後の開発を後押しする。

 

初出:2022年8月24日。

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai