Andersonの視点
人間固有の生体的特徴に基づくディープフェイク検出

要点POI-Forensicsは、被写体の実際の動画と生体の顔や音声の手がかりを比較することでディープフェイクを検出します。
もっと見る
- POI-Forensicsは、被写体の実際の動画と生体の顔や音声の手がかりを比較することでディープフェイクを検出します。
- このシステムは、偽の動画で学習することなく、本物の映像のみに依存して最先端の結果を達成します。
- 生体シミュレーションは実現までに数年を要するため、このアプローチは現在のディープフェイク手法に対する堅牢な防御策となります。
イタリアとドイツの研究者による新しい論文では、ディープフェイク動画の検出方法を提案しています。顔と声のバイオメトリクス挙動に基づいてディープフェイク動画を検出するというもので、従来のディープフェイク検出方法とは異なり、顔合成システムによって生成されるアーティファクトや高価なウォーターマーキングソリューションに頼るのではなく、人間の生体認証特徴を利用しています。
このフレームワークでは、同一人物を映した10本以上の多様な本物の動画の入力が必要です。ただし、ケースごとの動画を使って個別に訓練、再訓練、データ拡張を行う必要はありません。組み込まれたモデルが、本物と偽動画の間に想定されるベクトル距離を、幅広く適用できる形ですでに抽象化しているためです。

POI-Forensicsのアプローチは、対照学習に基づいています。ソースマテリアルから導出されたベクトルは、潜在的な偽動画のベクトルと比較され、動画とオーディオの両方のコンポーネントから特徴と特性が抽出されます。ソース:https://arxiv.org/pdf/2204.03083.pdf
このアプローチは、POI-Forensicsと呼ばれています。ディープフェイク動画の検出に、偽造される実在の人物に固有の動作や音声の手掛かりを利用しています。
このシステムは、完全に自動化されたあらかじめ準備された認証フレームワークを提供できます。有名人、政治家、YouTubeインフルエンサー、動画素材が豊富に利用できるその他の人々に役立ちます。また、ディープフェイク技術の一般的な被害者が自分に対する攻撃に用いられた動画が本物でないことを証明するためのプラットフォームとしても利用できます。

POI-Forensicsで4人の本物と偽の動画から抽出した特徴を可視化。t-SNEフレームワークを使用。
著者は、POI-Forensicsがディープフェイク検出の新しい最先端を達成したと主張しています。この分野でよく使われる複数のデータセットで、高画質、低画質、攻撃を加えた動画のAUCスコアが、それぞれ3%、10%、7%改善したと報告されています。研究者は近日中にコードを公開する予定です。

POI-Forensicsと競合SOTAフレームワークpDFDC、DeepFakeTIMIT、FakeAVCelebV2、KoDFの性能比較。訓練はFaceForensics++と著者らのID-RevealをVoxCeleb2で使用して行っています。高画質および低画質の動画の結果を含みます。
著者は述べています:
‘トレーニングは、実際のトーキングフェイス動画のみで行われ、検出器は特定の操作方法に依存しないため、最高の汎用性を提供します。さらに、私たちの方法は、シングルモダリティ(オーディオのみ、ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方の攻撃を検出でき、高レベルの意味的特徴のみを利用するため、低画質や破損した動画にも頑健です。’
新しい論文は、Audio-Visual Person-of-Interest DeepFake Detectionと題されています。著者らによる2021年の視覚情報ベースのID-Revealプロジェクトの要素を取り入れた、ナポリのフェデリコ2世大学とミュンヘン工科大学の共同研究です。
ディープフェイクの軍拡競争
この検出システムを破るには、ディープフェイクと人間合成システムは、ターゲットの視覚的およびオーディオのバイオメトリクス手掛かりに基づく特徴をシミュレートする能力が必要です。しかし、その技術の実現にはまだ何年もかかります。合成対象本人の協力と参加を得られるVFX企業の、高価な独自の閉鎖型システムの領域にとどまる可能性があります。故人を再現する場合には、その遺産管理者の協力が考えられます。

著者の以前のアプローチ、ID-Revealは、視覚情報のみに焦点を当てていました。ソース:https://arxiv.org/pdf/2012.02512.pdf
FaceSwapやDeepFaceLab/Liveなどの広く使われ成果を上げている手法も、現在、このように細かな生体的特徴を再現する能力はありません。せいぜい巧みな物まね役者に偽造対象の人物の顔を重ねるか、より一般的には、似た人物が登場する適切な既存の実写映像を利用します。DFLとFaceSwapの元となっている2017年の中核コードはモジュール性が低く、その構造もこうした機能の追加を難しくしています。
これらの2つの主要なディープフェイクパッケージは、オートエンコーダーに基づいています。代替の人間合成方法は、生成対抗ネットワーク(GAN)またはニューラル放射場(NeRF)アプローチを使用して人間のアイデンティティを再現できます。しかし、これらの研究分野は、完全にフォトリアリスティックな人間のビデオを生成するために、まだ数年間の作業が必要です。
オーディオ(偽の声)を除くバイオメトリクスシミュレーションは、人間の画像合成に直面する課題の中で非常に低い優先度です。さらに、人間の声の音色やその他の特性を再現することは、本人特有の癖や正体を示す兆候、本人の意味的な言葉の組み立て方まで再現することにはなりません。したがって、AI生成の声シミュレーションを完璧にしたとしても、バイオメトリクス認証の潜在的なファイアウォールを解決するものではありません。
Arxivだけでも、ディープフェイクの検出戦略や革新が毎週発表されています。最近の手法には、声と顔の同質性、局所二値パターンヒストグラム(FF-LBPH)、音声ディープフェイクに対する人間の知覚、顔の外縁の分析、動画劣化の考慮、フォレンジック・バリスティクスなどがあります。

最新のディープフェイク検出技術の1つである分割ヒストグラム分析。ソース:https://arxiv.org/pdf/2203.09928.pdf
アプローチ、データ、およびアーキテクチャ
POI-Forensicsは、マルチモーダルアプローチを採用し、視覚的およびオーディオキューより一意のソフトバイオメトリクスを利用しています。フレームワークには、別々のオーディオおよびビデオネットワークが含まれており、最終的に特徴ベクトルを生成し、調査対象の疑わしいディープフェイク動画から抽出した同じ特徴と比較します。

POI-Forensicsのアーキテクチャ。
ターゲットクリップに対して、別々の(オーディオまたはビデオ)およびフュージョン分析を実行できます。最終的に、POI類似性指数に到達します。使用される対照損失関数は、2021年の学術的なコラボレーションに基づいています。Google Research、ボストン大学、Snap Inc. (SNAP )、MITによる共同研究です。
ベースデータセットは、アイデンティティごとに分割されました。トレーニングには4608のアイデンティティが使用され、512が検証のために残されました。FakeAVCelebV2(テスト候補、以下参照)の500のアイデンティティは、偏りのない結果を得るために除外されました。
2つのネットワークは、12エポックでトレーニングされ、バッチサイズは2304バッチ/エポックで、各バッチには8×8のビデオセグメント(8つのアイデンティティのそれぞれ8セグメント)が含まれていました。Adamオプティマイザは、デカップルされた重み減衰と学習率10−4、重み減衰0.01で使用されました。
テストと結果
プロジェクトでテストしたデータセットは次のとおりです。DeepFake Detection Challengeのプレビューデータセットは68人の顔の入れ替えを含み、関連動画が9本を超える44人を選びました。合計は本物920本と偽物2925本です。DeepFake-TIMITは32人の動画320本を含むGANベースのデータセットで、記事では4秒以上の本物290本と偽物580本という合計が報告されています。FakeAVCelebV2は、VoxCeleb2の本物500本と複数のデータセットの偽物約2万本で構成され、互換性のためにSV2TTSで複製した偽音声を追加しています。韓国のデータセットKoDFでは、403人をFaceSwap、DeepFaceLab、FSGANおよび3種類の一次動作モデル(FOMM)で偽造しています。
KoDFには音声駆動型顔合成のATFHPとWav2Lipの出力も含まれます。著者らは、本物276本と偽物544本からなる派生データセットを使用しました。
評価指標にはROC曲線下面積(AUC)と約10%の誤警報率を用いました。偽データも含めて訓練する仕組みでは懸念となりますが、POI-Forensicsは本物の映像だけを入力とすることでその懸念を回避する、という説明です。
比較対象は、Seferbekov検出器です。これはKaggleのディープフェイク検出チャレンジで首位となりました。ほかには中国の厦門大学とMicrosoft (MSFT ) Research AsiaによるFTCN(完全時間畳み込みネットワーク)、インペリアル・カレッジ・ロンドンとFacebookの2021年の共同研究LipForensics、今回の研究者の一部による以前のID-Revealです。ID-Revealは音声を使わず、3D変形可能モデルと敵対的ゲームのシナリオを組み合わせて偽物を検出します。
上の表に示す結果では、POI-Forensicsは基準手法の首位SeferbekovをAUCで2.5%、正解率で1.5%上回りました。他の高画質データセットでは各手法の性能がより拮抗しました。
一方、低画質動画では、比較したすべての手法を明確に上回りました。実際の利用環境では、低画質動画こそ、何気なく見ている視聴者がディープフェイクにだまされる可能性が最も高い状況です。
著者は述べています:
‘実際、低品質のビデオのシナリオでは、アイデンティティベースのアプローチのみが良好なパフォーマンスを維持し、高レベルなセマンティック特徴に依存しているため、画像の劣化に対してロバストです。’
POI-Forensicsは、リアルなビデオのみをソースマテリアルとして使用するため、この成果はさらに重要です。潜在的なディープフェイク被害者のネイティブバイオメトリクス特徴を使用することは、ディープフェイクソフトウェアとディープフェイク検出ソリューションの間の「アーティファクトの冷戦」から脱却するための有望な道であることを示唆しています。
最終テストでは、研究者は入力に敵対的ノイズを追加しました。古典的な高速勾配符号法は、クラシファイアを欺くために特に有効です。
敵対的攻撃戦略は、すべての方法とデータセットで成功率を低下させ、AUCの低下幅は10~38%でした。ただし、POI-ForensicsとID-Revealのみが、攻撃シナリオ下での妥当なパフォーマンスを維持できました。これは、高レベルなセマンティック特徴がディープフェイク検出回避に対して非常に耐性があることを示しています。
著者は結論付けます:
‘全体として、私たちの方法は最初のステップであると信じています。特に、高レベルなセマンティック特徴の使用は、将来の研究の有望な分野です。さらに、マルチモーダル分析は、テキストデータなどの他のドメインからの情報を含めることでさらに豊富にできます。’
最初に公開:2022年4月8日。












