人工知能
ディープフェイク動画通話の検出 – モニター照明を利用した新しい方法
アメリカ国家安全保障局（NSA）の研究者とカリフォルニア大学バークレー校の新しい共同研究により、ライブ動画コンテキストでのディープフェイクコンテンツを検出するための新しい方法が提案されています。モニター照明が相手側の人物の外見に与える影響を観察することで、ディープフェイク動画通話を検出できるというものです。
Popular DeepFaceLive user Druuzil Tech & Games tries out his own Christian Bale DeepFaceLab model in a live session with his followers, while lighting sources change. Source: https://www.youtube.com/watch?v=XPQLDnogLKA
このシステムは、ユーザーの画面にグラフィック要素を配置し、典型的なディープフェイクシステムが反応するよりも速く、狭い色域の色を変更します。ディープフェイクシステムは、リアルタイムで色の変化に応じることができません。したがって、ディープフェイクの存在を検出できます。
From the paper, an illustration of change in lighting conditions from the monitor in front of a user, which effectively operates as a diffuse ‘area light’. Source: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf
このアプローチの理論は、ディープフェイクシステムが画面上のグラフィックの変化に時間内に反応できないため、特定の色域でディープフェイク効果の「遅延」が発生し、ディープフェイクの存在を検出できるというものです。
By limiting the hue variations in the on-screen ‘detector’ graphic, and ensuring that the user’s webcam is not prompted to auto-adjust its capture settings by excessive changes in levels of monitor illumination, the researchers have been able to discern a tell-tale lag in the deepfake system’s adjustment to the lighting changes.
研究者は、一般的な環境照明の影響を考慮し、モニター照明の反射を正確に測定する必要があります。そうすることで、ディープフェイクシステムの「遅延」を検出できます。
信頼の侵食
ディープフェイク検出の研究は、最近6ヶ月で大きな変化を遂げてきました。一般的なディープフェイク検出から、ライブ動画コンテキストでの「生存性」検出へと焦点が移っています。これは、ビデオ会議でのディープフェイクの使用が増加しているためです。
ライブディープフェイク動画の照明
ライブ動画環境でのディープフェイク検出は、悪いビデオ接続やレンダリングアーティファクトなどの問題を考慮する必要があります。これらの問題は、ディープフェイクの検出を困難にします。
テスト
研究者は、合成および実世界の被験者を使用して、Dlibを使用したディープフェイク検出システムをテストしました。合成シナリオでは、スイス連邦工科大学ローザンヌ校のMitsubaを使用しました。
Samples from the simulated environment tests, featuring varying skin tone, light source size, ambient light intensity, and proximity to camera.
将来の方向性
研究者は、将来的には、ディープフェイク検出を改善するために、より高度な3D照明推定や、顔以外の領域を考慮することができるかもしれないと述べています。さらに、ディープフェイクオーディオ通話の検出も可能かもしれないと提案しています。
