ディープフェイクデータソースの特定にAIベースのタグ付けを使用する

中国、シンガポール、米国の研究者による共同研究により、ディープフェイクのトレーニングプロセス中に破壊されないほど頑健な「タグ付け」システムが開発され、不正にスクラップされたソースデータを「匿名化」する合成画像生成システムの能力を損なう可能性のあるIP主張が可能になりました。

このシステムは、FakeTaggerと呼ばれ、エンコーダー/デコーダー処理を使用して、画像に目に見えないID情報を低レベルで埋め込みます。この情報は、抽象化プロセスを通じて、顔の特徴データとして解釈され、eyeやmouthデータと同様に、ディープフェイクの生成プロセスを通じて保存されます。

FakeTaggerアーキテクチャの概要。ソースデータは、ディープフェイクワークフローでマスクされる背景要素を無視して、「冗長」な顔の特徴を生成するために使用されます。メッセージは、プロセスの最後で回復可能であり、適切な認識アルゴリズムを介して識別可能です。ソース：http://xujuefei.com/felix_acmmm21_faketagger.pdf

この研究は、武漢のサイバーサイエンスおよびエンジニアリング学校、中国教育省の航空宇宙情報セキュリティおよび信頼できるコンピューティングの重点研究室、米国のアリババグループ、ボストンのノースイースタン大学、シンガポールのナニヤン工科大学からのものです。

FakeTaggerを使用した実験結果は、4つの一般的なディープフェイク手法（アイデンティティスワップ、顔の再演、属性編集、合成）で、約95％の再同定率を示しています。

ディープフェイク検出の限界

過去3年間で、ディープフェイクの検出方法として新しいアプローチが多数開発されてきましたが、これらのアプローチはすべて、ディープフェイクのワークフローにある改善可能な限界（例：未トレーニングモデルのeye-glint、顔セットの多様性が不足しているディープフェイクのblinkingの欠如）に依存しています。新しいキーが特定されると、オープンソースソフトウェアリポジトリはこれらを排除していますが、これはディープフェイク技術の改善の結果である場合もあります。

新しい論文では、Facebookの最新のディープフェイク検出コンペティション（DFDC）で開発された最も効果的なポストファクト検出方法は、70％の精度に限定されていると述べています。研究者は、これはディープフェイクのワイルドでの検出における代表的な失敗であると述べています。この失敗は、新しいイノベーション豊かなGANおよびエンコーダー/デコーダーのディープフェイクシステムに対する一般化の悪さ、およびディープフェイクの代替の低品質に起因するものであると考えられています。

後者の場合、これはディープフェイク作成者の低品質の作業や、ビデオを共有プラットフォームにアップロードするときのバンド幅コストの削減のために、ビデオを大幅に低いビットレートで再エンコードすることによって引き起こされる可能性があります。皮肉なことに、この画像の劣化はディープフェイクの明らかな信憑性に干渉しないだけでなく、実際にはイラーションを強化する可能性があります。ディープフェイクビデオは、信憑性のある一般的な低品質の視覚的なイディオムに吸収されます。

モデルインバージョンへの耐久性タグ付けの援助

マシンラーニングの出力からソースデータを特定することは、比較的新しい分野であり、IPベースの訴訟の新しい時代を可能にします。政府の現在のスクリーンスクレイピング規制（世界的なAI「アームズレース」の最中、国家の研究の優位性を損なわないように設計されています）は、セクターが商業化されるにつれて、より厳格な立法に進化する可能性があります。

モデルインバージョンは、自然言語生成（NLG）や画像合成を含むさまざまなドメインのシンセシスシステムによって生成された出力からソースデータをマッピングおよび識別することです。モデルインバージョンは、ぼかされた、ピクセル化された、または抽象化プロセスを通過した顔の再同定に特に効果があります。

新しいまたは既存の顔画像にターゲットを絞ったタグ付けを追加することは、モデルインバージョンテクニックへの新しい援助となる可能性があります。ウォーターマーキングは、出現しつつある分野です。

事後タグ付け

FakeTaggerは、事後処理アプローチとして設計されています。たとえば、ユーザーがソーシャルネットワークに写真をアップロードすると（通常、最適化プロセスが含まれ、元の画像の直接的な転送はまれです）、アルゴリズムは画像を処理して、顔を特定の特徴でマーク付けします。

代わりに、アルゴリズムは過去20年間に何度か行われたように、歴史的な画像コレクション全体に適用できます。大量のストックフォトや商用画像コレクションサイトは、コンテンツが許可なく再利用されたことを識別する方法を模索してきました。

FakeTaggerは、さまざまなディープフェイクプロセスからの回復可能なID特徴を埋め込むことを目指しています。

開発とテスト

研究者は、FakeTaggerを、最も広く使用されているリポジトリであるDeepFaceLabを含む、4つのアプローチ（アイデンティティスワップ、顔の再演、属性編集、合成）に対するさまざまなディープフェイクソフトウェアアプリケーションに対してテストしました。また、スタンフォードのFace2Faceもテストしました。これは、画像やアイデンティティ間で顔の表情を転送できるものです。また、STGANもテストしました。これは、顔の属性を編集できるものです。

テストは、CelebA-HQを使用して行われました。これは、1024 x 1024ピクセルまでの解像度のセレブの顔画像30,000枚を含む人気のあるスクラップ公開リポジトリです。

ベースラインとして、研究者は最初に従来の画像ウォーターマーキング技術をテストして、タグがディープフェイクワークフローのトレーニングプロセスに耐えられるかどうかを確認しましたが、これらの方法はすべてのアプローチで失敗しました。

FakeTaggerの埋め込まれたデータは、エンコーダー段階で顔セット画像に注入され、2015年に公開されたU-Netコンボリューショナルネットワークに基づくアーキテクチャを使用して、生体画像セグメンテーションが行われました。その後、デコーダー部分は埋め込まれた情報を見つけるためにトレーニングされました。

このプロセスは、FOSSアプリケーション/アルゴリズムを利用したGANシミュレーターで試行され、各システムのワークフローに特別なアクセスなしで、ブラックボックス設定で実行されました。ランダムな信号がセレブの画像に付加され、各画像に関連するデータとしてログに記録されました。

ブラックボックス設定で、FakeTaggerは4つのアプリケーションのアプローチで88.95％を超える精度を達成しました。ホワイトボックスシナリオでは、精度はほぼ100％に達しました。ただし、これは将来のディープフェイクソフトウェアのイテレーションがFakeTaggerを直接組み込むことを示唆しており、近い将来はありそうにありません。

コストの計算

研究者は、FakeTaggerにとって最も困難なシナリオは、CLIPベースの抽象生成などの完全な画像合成であると述べています。入力トレーニングデータは、抽象化プロセスの最も深いレベルで処理されるためです。ただし、これは、過去数年間に注目を集めたディープフェイクワークフローには適用されません。これらのワークフローは、IDを定義する顔の特徴の忠実な再現に依存しているからです。

論文では、攻撃者がタグ付けシステムを妨害するために、人工的なノイズやグレインなどの摂動を追加する可能性があることも指摘していますが、これはディープフェイクの出力の信憑性に悪影響を及ぼす可能性があります。

さらに、FakeTaggerはタグを埋め込むために画像に冗長なデータを追加する必要があるため、スケールで著しい計算コストが発生する可能性があることも指摘しています。

著者は、FakeTaggerは、アドバーサリアルレインアタックやアドバーサリアルエクスポージャなどの他のタイプの画像ベースのアタックに対する出自追跡の可能性があることを結論付けています。また、ヘイズ、ブラー、ヴィネット、およびカラージャターも同様です。