顔の外側領域から有名人のディープフェイクを特定する

マイクロソフトと中国の大学との新たな共同研究では、現在のディープフェイク技術の欠点を利用して、他人に「投影」されたアイデンティティを認識することで、有名人のディープフェイクを識別する新しい方法を提案した。

このアプローチはと呼ばれます ID 整合性トランスフォーマー (ICT) を使用し、顔の最も外側の部分 (顎、頬骨、髪の生え際、その他の外側縁線) と顔の内側を比較することによって機能します。このシステムは、一般に入手可能な有名人の公開画像データを利用するため、その有効性は、広く入手可能なコンピュータ ビジョン データセットやインターネット上で多数の画像が入手可能な人気の有名人に限定されます。

2 つの技術にわたる偽の顔の偽造報道: FF+ のディープフェイク。 Google DeepFake 検出における DeepFake; ディープフェイスラボ; フェイス XNUMX フェイス; FSGAN; そしてDF-VAE。 DeepFaceLab や FaceSwap などの人気のあるパッケージも、同様に制限された範囲を提供します。 出典：https://arxiv.org/pdf/2203.01318.pdf

上の画像が示すように、現在一般的なディープフェイク手法はリソースにかなり制約があり、顔の置き換えの証拠を最小限に抑えるために、適切なホストの顔 (ディープフェイクによって身元が置き換えられる人の画像またはビデオ) に依存しています。

さまざまな方法で額全体、顎と頬骨の領域の大部分が含まれる場合がありますが、すべては多かれ少なかれホストの顔のフレーム内に制限されます。

ICTによって計算された「内部」と「外部」のアイデンティティを強調した顕著性マップ。 内部の顔の一致が確立されても、外部のアイデンティティが一致しない場合、ICT は画像を偽と評価します。

テストでは、ICT は、低解像度ビデオなどの偽造に適した領域でディープフェイク コンテンツを検出できることが証明されました。低解像度ビデオでは、ビデオ全体のコンテンツが圧縮アーティファクトによって劣化しており、ディープフェイク プロセスの残存証拠を隠すのに役立ちます。この状況は多くの競合企業を混乱させています。ディープフェイクの検出方法。

ICT はディープフェイク コンテンツの認識において競合他社を上回っています。 より多くの例とより良い解決策については、記事の最後に埋め込まれたビデオを参照してください。 その他の例については、記事の最後にある埋め込みソース ビデオを参照してください。 出典: https://www.youtube.com/watch?v=zgF50dcymj8

当学校区の 紙 というタイトルです Identity Consistency Transformer で有名人を保護、中国科学技術大学、マイクロソフト リサーチ アジア、マイクロソフト クラウド + AI にさまざまに所属する XNUMX 人の研究者によるものです。

信頼性のギャップ

以下のような顔交換アルゴリズムが普及している理由は少なくともいくつかあります。 ディープフェイスラボ および フェイススワップ 交換された顔のアイデンティティの最も外側の領域は無視してください。

第一に、ディープフェイク モデルのトレーニングには時間がかかり、リソースが重要です。また、「互換性のある」ホストの顔/ボディの採用により、GPU サイクルとエポックが解放され、身元を区別するために使用する顔の比較的不変の内部領域に集中できます。体重の変動や加齢などの変数は、これらの主要な顔の特徴を短期的に変える可能性は最も低いです)。

第二に、ほとんどのディープフェイク手法 (これは、最も人気のある、または悪名高い実践者が使用するソフトウェアである DeepFaceLab にも確実に当てはまります) は、頬や顎の領域などの「顔の端」のマージンを複製する能力が限られており、次のような制約を受けています。その上流（2017) コードはこの問題に広範囲に対処していませんでした。

身元がよく一致しない場合、ディープフェイク アルゴリズムは顔の周囲の背景領域を「修復」する必要がありますが、これは、たとえ最高のディープフェイク作成者の手であっても、せいぜい不器用に行われます。 Ctrl Shift面、その出力は論文の研究に使用されました。

最高の中の最高: ジム・キャリーとゲイリー・オールドマンを入れ替えた、高名なディープフェイカー Ctrl-Shift-Face によるディープフェイク動画の静止画。 この研究はおそらく、DeepFaceLab と後処理技術を介して現在利用できる最高の出力の一部を表しています。 それにもかかわらず、スワップは DFL が外側の面に与える比較的わずかな注意に限定されたままであり、最も外側のリニアメントに対処するにはデータのキュレーションとトレーニングという大変な努力が必要です。 出典: https://www.youtube.com/watch?v=x8igrh1eyLk

この「巧妙な手口」、つまり注意の逸脱は、ディープフェイクのリアリズムの増大に対する現在の懸念から世間の注目をほとんど逃れている。なぜなら、ディープフェイクに関する人間の批判的能力は、「衝撃と畏怖」の段階を過ぎてまだ発展途上にあるからである。

アイデンティティの分割

新しい論文では、これまでのディープフェイク検出方法のほとんどは、スワッププロセスを裏切るアーティファクトに依存していると指摘しています。 一貫性のない頭のポーズ および 点滅、の間で 他の多くのテクニック。 つい今週になって、別の新しいディープフェイク検出論文が発表されました。 提案された FaceSwap フレームワークのさまざまなモデル タイプの「シグネチャ」を使用して、FaceSwap フレームワークで作成された偽造ビデオを識別します (下の画像を参照)。

FaceSwap フレームワークのさまざまなモデル タイプのシグネチャを特徴付けることでディープフェイクを特定します。 出典：https://arxiv.org/pdf/2202.12951.pdf

対照的に、ICT のアーキテクチャでは、個人に対して XNUMX つの別々の入れ子になったアイデンティティが作成され、アイデンティティ全体が「本物の」映像または画像であると結論付ける前に、それぞれが検証される必要があります。

ICT のトレーニングおよびテスト段階のアーキテクチャ。

アイデンティティの分裂はビジョンによって促進される トランスフォーマー、調査された領域を内部または外部のアイデンティティに属するトークンに分割する前に、顔の識別を実行します。

XNUMX つの並行する ID シグニファイア間でパッチを配布します。

論文は次のように述べています。

「残念なことに、既存の顔認証[方法]は、最も識別性の高い領域、つまり認証対象の内面を特徴付ける傾向があり、外面の身元情報を捕捉できない傾向があります。 Identity Consistency Transformer を使用すると、内側と外側のアイデンティティがシームレスに統合された環境で同時に学習できるようにトランスフォーマを設計することで、XNUMX 組のアイデンティティ ベクトル (XNUMX つは内面用、もう XNUMX つは外側の面) を学習するモデルをトレーニングします。モデル。'

この識別プロトコルには既存のモデルがないため、著者らは信頼性の指標として機能する新しい種類の一貫性損失を考案しました。 ID 抽出モデルから得られる「内部トークン」と「外部トークン」は、顔識別フレームワークによって生成される、より従来のパッチ埋め込みに追加されます。

データとトレーニング

ICT ネットワークは Microsoft Research のトレーニングを受けています MS-セレブ-1M このデータセットには、俳優、政治家、その他多くの著名人を含む 10 万のアイデンティティをカバーする XNUMX 万の有名人の顔画像が含まれています。 従来の方法の手順に従って 顔のX線検査 (別の Microsoft Research の取り組み)、ICT 独自の偽生成ルーチンは、アルゴリズムをテストするためのマテリアルを作成するために、このデータセットから抽出された顔の内側と外側の領域を交換します。

これらの内部スワップを実行するために、ICT は類似の頭のポーズと顔のランドマークを示す XNUMX つの画像をデータセット内で識別し、（スワップを実行できる）中心特徴のマスク領域を生成し、RGB 色補正を使用してディープフェイク スワップを実行します。

ICT が有名人の識別に限定されている理由は、(最も効果的なバリエーションとして) 中央コーパス (この場合は MS-Celeb-1M) から派生した顔ベクトルを組み込んだ新しい参照セットに依存しているためです。ただし、参照は拡張できる可能性があります。ネットワークで利用可能な画像に限られますが、これらの画像は、有名な著名人の場合にのみ十分な品質と量が存在する可能性があります)。

これらの導出されたベクトルセットの対は、顔の内側領域と外側領域を連携して検証する真正性トークンとして機能します。

著者らは、これらの方法で取得されたトークンは「高レベル」の特徴を表しており、その結果、低解像度や劣化したビデオなどの困難な環境でも生き残る可能性が高いディープフェイク検出プロセスが得られると指摘しています。

重要なのは、ICT は アーチファクトベースの証拠を探していますが、むしろ顔認識技術とより一致した身元確認方法に焦点を当てています。これは、事件の捜査の場合のように、少量のデータでは困難なアプローチです。 ディープフェイクリベンジポルノ 有名でないターゲットに対して。

テスト

MS-Celeb-1M でトレーニングされた ICT は、アルゴリズムの参照支援バージョンと「ブラインド」バージョンに分割され、さまざまな競合するデータセットと手法に対してテストされました。 これらには以下が含まれます FaceForensics ++ (FF++)、以下の 1000 つの方法で作成された XNUMX の本物のビデオとディープフェイク ビデオのデータセット 面2面 そしてフェイススワップ。 Googleの ディープフェイクの検出 (DFD)、これも Google が生成した何千ものディープフェイク動画で構成されています。 セレブディープフェイク v1 (CD1)、408 の本物のビデオと 795 の合成された、アーティファクトの少ないビデオが特徴です。 Celeb-DeepFake v2 は、1 の本物のビデオと 590 の偽のビデオを含む V5,639 の拡張機能です。 そして中国の2020年 より深いフォレンジック （もっと深く）。

これらはデータセットです。 テスト課題での検出方法は次のとおりです。 マルチタスク, MesoInc4, カプセル、Xception-c0、c2（FF++で採用されている方式）、 FWA/DSP-FW アルバニー大学出身、 XNUMX分岐, PCL+I2G、ユヴァル・ニルキンの コンテキスト不一致法.

前述の検出方法は、特定の種類の顔操作を検出することを目的としています。 これらに加えて、新しい論文の著者は、より一般的なディープフェイク検出製品をテストしました。 顔のX線検査、ミシガン州立大学の FFD, CNN検出, パッチフォレンジック MIT CSAIL出身。

テストの最も明白な結果は、ビデオの解像度と品質が低下するにつれて、競合する方法の有効性が大幅に低下するということです。 ディープフェイクが人間の識別力に侵入する最も深刻な可能性の一部は、（少なくとも現時点では）非 HD ビデオや品質が損なわれたビデオにあるため、これは重大な結果であると思われます。

上の結果グラフでは、青と赤の線は、ガウス ノイズの障害 (Zoom や Web カメラ スタイルの映像では起こりにくい) を除くすべての領域での画像劣化に対する ICT 手法の回復力を示していますが、競合する手法の信頼性は急激に低下しています。

以下の結果の表では、目に見えないデータセットに対するさまざまなディープフェイク検出方法の有効性がわかります。 灰色とアスタリスクの結果は、クローズドソース プロジェクトで最初に公開された結果との比較を示しており、外部検証はできません。 ほぼすべての同等のフレームワークにおいて、ICT は、試用されたデータセットよりも競合するディープフェイク検出アプローチ (太字で表示) よりも優れています。

追加のテストとして、著者らは、評価の高いディープフェイカー Ctrl Shift Face の YouTube チャンネルのコンテンツを実行したところ、競合する手法の識別スコアが著しく劣っていることがわかりました。

ここで注目すべきは、FF++ メソッド (Xception-c23) と FFD が、新しい論文の一般テストの一部のテスト データで最高スコアをいくつか達成しているのに、ここでは「現実世界」のコンテキストでは ICT よりもはるかに低いスコアを達成していることです。手間のかかるディープフェイクコンテンツ。

著者らは、その結果によって、ディープフェイク検出コミュニティが、より簡単に一般化できる高レベルの機能に焦点を当てた同様の取り組みに向かうようになり、最新の手法が日常的に回避されるアーティファクト検出の「冷戦」から離れることを期待して論文を締めくくっている。ディープフェイク フレームワークの開発、またはそのような手法の復元力を低下させるその他の要因によるものです。

多くの場合、代替手法を出し抜くディープフェイク コンテンツを識別する ICT の例については、以下の付属の補足ビデオをご覧ください。

初版発行日は4年2022月XNUMX日。