Andersonの視点

ディープフェイク動画通話の検出 – モニター照明を利用した新しいアプローチ

Martin Anderson
Unite.AI を Google の優先ソースに追加
要点等輝度の色相変化を用いたアクティブ照明により、ウェブカメラの自動露出とホワイトバランス補正を回避します。
もっと見る
  • 等輝度の色相変化を用いたアクティブ照明により、ウェブカメラの自動露出とホワイトバランス補正を回避します。
  • 本システムは、モニターの色相と顔の色相の間の1~4フレームの時間的ずれを測定することで、ディープフェイクの遅延を検出します。
  • 将来のシステムでは、顔だけでなく首や背景にも検出範囲を拡張し、より豊かな3次元照明解析を実現できる可能性があります。

アメリカ国家安全保障局(NSA)とカリフォルニア大学バークレー校の研究者による新しい共同研究では、モニターの照明の影響を観察することで、ライブ動画コンテキストでのディープフェイクコンテンツを検出するための新しい方法を提案しています。

人気のDeepFaceLiveユーザーDruuzil Tech & Gamesが、光源が変化する中、フォロワーとのライブ配信で自作のChristian Bale DeepFaceLabモデルを試している。 出典: https://www.youtube.com/watch?v=XPQLDnogLKA

人気のDeepFaceLiveユーザーDruuzil Tech & Gamesが、光源が変化する中、フォロワーとのライブ配信で自作のChristian Bale DeepFaceLabモデルを試している。 出典: https://www.youtube.com/watch?v=XPQLDnogLKA

このシステムは、ユーザーの画面にグラフィック要素を配置し、典型的なディープフェイクシステムが反応できるよりも速く色を変化させます。たとえば、リアルタイムディープフェイクストリーミング実装であるDeepFaceLive(上の画像参照)のように、ライブカラートランスファーを維持し、環境光を考慮する機能を持っていてもです。

モニターに表示されるグラフィック要素は、ウェブカメラの自動ホワイトバランスやその他の状況に応じた照明補償システムを活性化しないように設計された、狭い範囲の色の変化を循環させます。

論文に示された、ユーザーの前にあるモニターによる照明条件の変化。モニターは拡散型の面光源として機能する。 出典: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

論文に示された、ユーザーの前にあるモニターによる照明条件の変化。モニターは拡散型の面光源として機能する。 出典: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

このアプローチの理論は、ライブディープフェイクシステムがグラフィック要素の色の変化に反応することができないため、特定の色域でディープフェイク効果の「遅れ」が生じ、存在を明らかにするというものです。

モニターからの反射光を正確に測定するには、システムは一般的な環境光の影響を考慮し、差し引く必要があります。そうすることで、システムは、能動照明の色相とユーザーの顔の色相の測定値の差を区別できます。これは、1〜4フレームの時間差を表します。

画面上の検出用図形の色相変化を制限し、モニター光の過度な変化でウェブカメラが撮影設定を自動調整しないようにすることで、研究者はディープフェイクシステムの照明への適応に、正体を示す遅れを見いだした。

画面上の検出用図形の色相変化を制限し、モニター光の過度な変化でウェブカメラが撮影設定を自動調整しないようにすることで、研究者はディープフェイクシステムの照明への適応に、正体を示す遅れを見いだした。

論文では、次のように結論付けられています。

‘ライブビデオ通話への妥当な信頼と、私生活や仕事におけるビデオ通話の普及を踏まえ、映像と音声の通話を認証する技術は、今後ますます重要になると考えます。’

この研究は、能動照明を用いたリアルタイムのディープフェイク動画の検出というタイトルで、アメリカ国防総省の応用研究数学者であるCandice R. Gerstnerと、バークレーのHany Farid教授によって行われました。

信頼の侵食

ディープフェイク対策研究は、一般的なディープフェイク検出(事前録画された動画やポルノグラフィーを対象)から、ライブディープフェイク検出(ビデオ会議でのディープフェイクの使用)へと、過去6ヶ月で大幅にシフトしました。これは、FBIの警告や、リモートワークの採用応募におけるディープフェイク技術の使用の増加を受けています。

ビデオコールがディープフェイクではない場合でも、AI駆動のビデオインパーソネーターが増えるにつれて、パラノイアが生じています。

論文では、次のように述べられています。

‘リアルタイムディープフェイクの作成は、ライブビデオまたは電話会議の一般的な信頼感と、会議中にディープフェイクを検出する困難性により、独自の脅威をもたらします。’

研究コミュニティは、ディープフェイクコンテンツの検出に簡単に代替できない確実な兆候を見つけることを目標にしています。メディアはこれを、セキュリティ研究者とディープフェイク開発者の間の技術的な戦争として表現していますが、初期アプローチの否定(まばたき分析、頭部ポーズの区別、行動分析)は、ディープフェイク開発者がよりリアルなディープフェイクを作成しようとしているために起こりました。安全性の研究コミュニティが新たに発見した兆候に、個別に対処した結果ではありません。

ライブディープフェイクビデオの照明

ライブディープフェイクビデオの検出には、ビデオ会議でよく見られる悪いビデオ接続を考慮する必要があります。ディープフェイク層が介在していなくても、ビデオコンテンツはNASA式の遅延、レンダリングアーティファクト、オーディオとビデオのその他の種類の劣化の影響を受ける可能性があります。これらは、ライブディープフェイクアーキテクチャの粗い辺を隠すのに役立ちます。

こうした劣化は、動画だけでなく音声ディープフェイクでも不自然な部分を隠す可能性があります。

著者らは、2020年のテンプル大学フィラデルフィア校の研究に基づいています。

2020年の論文の図。ユーザーの画面内容の変化に応じて、顔への補助光が変わる様子を確認できる。 出典: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

2020年の論文の図。ユーザーの画面内容の変化に応じて、顔への補助光が変わる様子を確認できる。 出典: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

新しい研究の違いは、ウェブカメラが照明の変化に反応する方法を考慮に入れることです。著者らは、次のように述べています。

‘すべての近代的なウェブカメラは自動露出を実行するため、先行研究で使用された高強度のアクティブ照明は、カメラの自動露出をトリガーする可能性があり、記録された顔の外観を混乱させることになります。したがって、等明度の色の変化を使用しています。’

‘これによりカメラの自動露出を回避できますが、カメラのホワイトバランスをトリガーする可能性があり、記録された顔の外観を再び混乱させることになります。したがって、実験的に決定したホワイトバランスをトリガーしない色域で操作しています。’

この取り組みでは、著者らは、LiveScreenなどの類似の先行研究も考慮しました。これは、エンドユーザーのモニターに目立たない照明パターンを強制し、ディープフェイクコンテンツを明らかにすることを目指しています。

そのシステムは94.8%の精度率を達成しましたが、研究者らは、照明パターンの微妙さにより、明るい環境ではこのような秘密のアプローチを実装することが難しいと結論付けています。代わりに、自分たちのシステムまたは同様のシステムを、一般的なビデオ会議ソフトウェアに、公開された標準機能として組み込むことができると提案しています。

‘提案した介入は、呼び出し参加者が画面を共有してテンポラルに変化するパターンを表示することで実現できます。理想的には、ビデオ会議クライアントに直接統合することができます。’

テスト

著者らは、Dlibベースのディープフェイク検出器を使用して、合成および実世界の被験者をテストしました。合成シナリオでは、スイス連邦工科大学ローザンヌ校から、Mitsubaという名前の、フォワードおよび逆レンダラーを使用しました。

肌の色、光源の大きさ、環境光の強さ、カメラからの距離を変えたシミュレーションデータの例。

肌の色、光源の大きさ、環境光の強さ、カメラからの距離を変えたシミュレーション実験の例。

描かれたシーンには、90°の視野角を持つ仮想カメラからのパラメトリックCGIヘッドが含まれています。ヘッドは、ランバート反射を特徴とし、中性の肌色を持ち、仮想カメラの前方2フィートに配置されています。

フレームワークをさまざまな可能な皮膚トーンや設定でテストするために、研究者らは、さまざまな側面を順番に変更する一連のテストを実行しました。変更された側面には、皮膚トーン、近接度、光源の大きさが含まれました。

著者らは、次のように述べています。

‘シミュレーションでは、さまざまな仮定を満たした場合、提案したテクニックは、幅広い画像構成に対して非常に堅牢です。’

実世界のシナリオでは、研究者らは、さまざまな環境で、さまざまな肌色を持つ15人のボランティアを使用しました。各ボランティアは、30Hzのディスプレイリフレッシュレートがウェブカメラと同期されている条件で、限られた色相の変化を2サイクル経験しました。能動照明は1回につき1秒間だけ続くように設定されました。結果は合成実験とおおむね同程度でしたが、照明値が大きいほど相関が著しく増加しました。

将来の方向性

システムは、一般的な顔の覆い隠し(たとえば、前髪、眼鏡、またはひげ)を考慮していません。しかし、研究者らは、これらのマスクは、ラベル付けとその後のセマンティックセグメンテーションを通じて、後続のシステムに追加できることを示しています。これらのシステムは、ターゲットサブジェクトの認識された皮膚領域からの値のみを受け取るようにトレーニングできます。

著者らは、同様のパラダイムが、ディープフェイクのオーディオコールを検出するために使用できる可能性があることにも触れています。必要な音は、人間の正常な聴覚範囲外の周波数で再生できます。

おそらく最も興味深いのは、研究者らが、評価領域を顔の外側に拡大することで、ディープフェイク検出の可能性を大幅に改善できる可能性があることを示唆していることです。

‘より洗練された3Dの照明推定は、より豊かな外観モデルを提供する可能性が高く、偽造者にとって回避するのがより困難になります。私たちは顔にのみ焦点を当てましたが、コンピュータディスプレイも首、上半身、周囲の背景を照らします。これらからも同様の測定が可能です。 ‘

‘これらの追加の測定により、偽造者は顔だけでなく、全体の3Dシーンを考慮する必要があります。’

 

* 著者らのインライン引用をハイパーリンクに変換しました。

初版は2022年7月6日に公開されました。

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai