新世代のディープフェイクのための法医学データ手法

個人のディープフェイクは 高まる国民の懸念 そしてますます 不法 さまざまな地域では、リベンジポルノを可能にするようなユーザー作成モデルが、特定の人物の画像に特別にトレーニングされたことを実際に証明することは、依然として非常に困難です。

問題を文脈に沿って説明すると、ディープフェイク攻撃の重要な要素は、画像や動画が特定の人物を描写していると偽って主張することです。動画に映っている人物が単なるそっくりさんではなく、アイデンティティー#Aであると単純に主張することは、 害を及ぼすほどこのシナリオでは AI は必要ありません。

しかし、攻撃者が実在の人物のデータでトレーニングしたモデルを使用して AI 画像や動画を生成した場合、ソーシャル メディアや検索エンジンの顔認識システムは、投稿やメタデータに名前がなくても、偽造されたコンテンツと被害者を自動的にリンクします。AI が生成した画像だけで、関連付けが保証されます。

人物の外見が特徴的であればあるほど、これは避けられなくなり、捏造されたコンテンツが画像検索に表示され、最終的には 被害者に届く.

面と向かって

アイデンティティに焦点を当てたモデルを広める最も一般的な手段は現在、 低ランクの適応 （LoRA）では、ユーザーは数時間かけて少数の画像を、例えば、はるかに大きな基礎モデルの重みに対してトレーニングします。 安定拡散 （主に静止画像の場合）または フンユアンビデオ、ビデオディープフェイク用。

最も一般的な ターゲット LoRAの 新種 ビデオベースの LoRA の被害者の多くは女性有名人であり、その名声により、このような扱いを受けるが、「無名の」被害者の場合よりも世間の批判は少ない。これは、このような派生作品は「フェアユース」の対象になるという想定によるものである (少なくとも米国と欧州では)。

civit.ai ポータルの LoRA と Dreambooth のリストでは、女性セレブが多数を占めています。最も人気のある LoRA は現在 66,000 回以上ダウンロードされていますが、この AI の使用が依然として「周辺」活動と見なされていることを考えると、これはかなりの数です。

ディープフェイクの被害者で有名人ではない人たちのための公開フォーラムは存在せず、彼らがメディアに登場してくるのは、起訴事件が発生したときか、被害者が人気メディアで声を上げたときだけだ。

しかし、どちらのシナリオでも、ターゲットの身元を偽装するために使用されるモデルは、トレーニングデータを完全に「蒸留」し、 潜在空間 このモデルでは、使用されたソース画像を識別することが困難です。

それであれば した 許容できる誤差の範囲内でこれを行うことができれば、特定の身元（つまり、特定の「未知の」人物、たとえ犯人が名誉毀損の過程で名前を明かさなかったとしても）をディープフェイクする意図が証明されるだけでなく、該当する場合はアップロード者が著作権侵害の罪に問われることになるため、LoRA を共有する人物の訴追が可能になります。

後者は、ディープフェイキング技術の法的規制が欠如しているか遅れている管轄区域で役立つだろう。

露出オーバー

ユーザーがHugging Faceからダウンロードする数ギガバイトの基本モデルのような基礎モデルをトレーニングする目的は、モデルが十分に機能するようにすることです。一般化、および延性があります。これには、適切な設定で十分な数の多様な画像を使用してトレーニングし、モデルがデータに「過剰適合」する前にトレーニングを終了することが含まれます。

An 過剰適合モデル トレーニング プロセス中にデータを非常に多くの (過剰な) 回見たため、非常に類似した画像を再現する傾向があり、その結果、トレーニング データのソースが明らかになります。

「Ann Graham Lotz」というアイデンティティは、Stable Diffusion V1.5 モデルでほぼ完璧に再現できます。再構築はトレーニング データ (上の画像の左側) とほぼ同じです。 出典: https://arxiv.org/pdf/2301.13188

しかし、過剰適合モデルは、いずれにしても目的に適さないため、一般的には作成者によって廃棄され、配布されることはありません。したがって、これは法医学的な「思いがけない利益」とは考えられません。いずれにせよ、この原則は、基礎モデルの高価で大量のトレーニングに当てはまります。 複数のバージョン 巨大なソース データセットに紛れ込んだ同じ画像の一部を使用すると、特定のトレーニング画像を簡単に呼び出すことができる場合があります (上記の画像と例を参照)。

LoRA および Dreambooth モデルの場合は状況が少し異なります (ただし、Dreambooth はファイル サイズが大きいため、現在は使われていません)。この場合、ユーザーは被写体の非常に限られた数の多様な画像を選択し、それらを使用して LoRA をトレーニングします。

左は、Hunyuan Video LoRA からの出力です。右は、類似性を可能にしたデータです (画像は、人物の許可を得て使用しています)。

多くの場合、LoRAには次のようなトリガーワードが訓練されている。 [有名人の名前]しかし、多くの場合、特別に訓練された被験者が生成された出力に現れる。 そのようなプロンプトがなくてもなぜなら、バランスの取れた（つまり、過剰適合していない）LoRA でも、トレーニングに使用した素材に多少「固執」しており、出力にその素材を含める傾向があるからです。

この傾向と、LoRA データセットに最適な画像数が限られていることが組み合わさって、モデルは法医学的分析にさらされることになります。

データの暴露

これらの問題はデンマークの新しい論文で取り上げられており、ブラックボックス内のソース画像（またはソース画像のグループ）を識別する方法論が提案されている。 メンバーシップ推論攻撃 (MIA) この手法には、少なくとも部分的には、独自の「ディープフェイク」を生成することでソースデータを公開できるように設計されたカスタムトレーニングモデルの使用が含まれます。

新しいアプローチによって、分類子フリーガイダンス (CFG) のレベルをどんどん高めて破壊に至るまで生成された「偽の」画像の例。 出典: https://arxiv.org/pdf/2502.11619

しかし、 、題し 微調整された潜在拡散モデルに対する顔画像へのメンバーシップ推論攻撃は、この特定のトピックに関する文献への非常に興味深い貢献ですが、同時に、理解しにくく簡潔に書かれた論文であり、かなりの解読が必要です。したがって、ここでは少なくともプロジェクトの基本原理と、得られた結果の一部について説明します。

実際に、誰かがあなたの顔の AI モデルを微調整した場合、著者らの方法は、モデルが生成した画像に記憶の明らかな兆候を探すことで、それを証明するのに役立ちます。

まず、ターゲット AI モデルを顔画像のデータセットで微調整し、出力でそれらの画像の詳細を再現する可能性を高めます。次に、ターゲット モデルからの AI 生成画像を「陽性」(トレーニング セットの疑わしいメンバー) として、別のデータセットからの他の画像を「陰性」(非メンバー) として、分類子攻撃モードをトレーニングします。

これらのグループ間の微妙な違いを学習することで、攻撃モデルは、特定の画像が元の微調整データセットの一部であったかどうかを予測できます。

この攻撃は、AI モデルが広範囲に微調整されている場合に最も効果的です。つまり、モデルが特化されているほど、特定の画像が使用されたかどうかを検出しやすくなります。これは通常、有名人や個人を再現するように設計された LoRA に当てはまります。

著者らはまた、トレーニング画像に目に見える透かしを追加すると検出がさらに容易になることを発見した。ただし、隠された透かしはそれほど役に立たない。

驚くべきことに、このアプローチはブラックボックス設定でテストされており、モデルの内部詳細にアクセスすることなく、出力のみで動作します。

著者らが認めているように、この方法は計算量が多い。しかし、この研究の価値は、追加研究の方向性を示し、許容範囲内でデータを現実的に抽出できることを証明することにある。したがって、その独創的な性質を考えると、現段階ではスマートフォンで実行する必要はありません。

方法/データ

この研究では、ターゲットモデルの微調整と攻撃モードのトレーニングおよびテストのために、デンマーク工科大学（DTU、論文の3人の研究者のホスト機関）のいくつかのデータセットが使用されました。

使用されたデータセットは以下から取得されました DTUオービット:

DseenDTU ベースイメージセット。

DDTU DTU Orbit から取得した画像。

DseenDTU ターゲット モデルを微調整するために使用される DDTU のパーティション。

ダンシーンDTU 画像生成モデルの微調整には使用されず、代わりに攻撃モデルのテストまたはトレーニングに使用された DDTU のパーティション。

翻訳: ターゲット モデルを微調整するために使用される、目に見える透かしが付いた DDTU のパーティション。

hwmDseenDTU ターゲット モデルを微調整するために使用される、非表示のウォーターマークを含む DDTU のパーティション。

DgenDTU 生成された画像 潜在拡散モデル (LDM) は、DseenDTU イメージ セットで微調整されています。

ターゲットモデルを微調整するために使用されたデータセットは、 ブリップ 字幕モデル（おそらく偶然ではないが、カジュアル AI コミュニティで最も人気のある無修正モデルの 1 つ）。

BLIPはフレーズの先頭に付加するように設定されました 「DTUのヘッドショット」 それぞれの説明に。

さらに、オールボー大学（AAU）のいくつかのデータセットがテストに使用され、すべて AU VBNコーパス:

DAAU AAU vbn から取得した画像。

ディースーンAAU ターゲット モデルを微調整するために使用される DAAU のパーティション。

ダンシーンAAU 画像生成モデルの微調整には使用されず、攻撃モデルのテストまたはトレーニングに使用される DAAU のパーティション。

デーゲンAAU DseenAAU 画像セットを微調整した LDM によって生成された画像。

以前のセットと同等のフレーズ 「aauのヘッドショット」 が使用されました。これにより、DTUデータセット内のすべてのラベルがフォーマットに従うことが保証されました。 「（…）のDTUヘッドショット」微調整中にデータセットのコア特性を強化します。

テスト

メンバーシップ推論攻撃がターゲット モデルに対してどの程度効果的かを評価するために、複数の実験が行われました。各テストの目的は、以下に示すスキーマ内で攻撃を成功させることが可能かどうかを判断することでした。このスキーマでは、ターゲット モデルが許可なく取得された画像データセットで微調整されています。

アプローチのスキーマ。

微調整されたモデルを照会して出力画像を生成すると、これらの画像は攻撃モデルのトレーニングのための正の例として使用され、関連のない追加の画像は負の例として含められます。

攻撃モデルは以下を使用してトレーニングされます 教師あり学習 そして、新しい画像でテストして、それが元々ターゲットモデルの微調整に使用されたデータセットの一部であったかどうかを判断します。攻撃の精度を評価するために、テストデータの15％が 検証のために取っておく.

ターゲット モデルは既知のデータセットで微調整されるため、攻撃モデルのトレーニング データを作成するときに、各画像の実際のメンバーシップ ステータスがすでに確立されています。この制御されたセットアップにより、攻撃モデルが微調整データセットの一部である画像とそうでない画像をどれだけ効果的に区別できるかを明確に評価できます。

これらのテストでは、Stable Diffusion V1.5が使用されました。このかなり古いモデルは、一貫したテストの必要性と、それを使用した過去の研究の膨大なコーパスのために研究で頻繁に登場しますが、これは適切な使用例です。V1.5は、その後のバージョンリリースが複数回行われ、さらに Flux – モデルは完全に無修正だからです。

研究者の攻撃モデルは、 レスネット-18モデルの事前学習済みの重みは保持された。ResNet-18の1000ニューロンの最後の層は、 完全接続 2つのニューロンを持つ層。トレーニング 損失 断定的だった クロスエントロピー、 そしてその アダムオプティマイザー 使われた。

各テストでは、異なる方法で攻撃モデルを5回トレーニングしました。 ランダムシード 主要な指標の 95% 信頼区間を計算します。 ゼロショット 分類 CLIP モデルがベースラインとして使用されました。

(論文の元の主要な結果表は簡潔で、非常に理解しにくいことに注意してください。そのため、以下ではよりユーザーフレンドリーな形式で書き直しました。画像をクリックすると、より高解像度で表示されます)

すべてのテストの結果の概要。画像をクリックすると高解像度で表示されます。

研究者の攻撃方法は、微調整されたモデル、特に個人の顔など特定の画像セットでトレーニングされたモデルをターゲットにした場合に最も効果的であることが証明されました。ただし、攻撃ではデータセットが使用されたかどうかを判断できますが、そのデータセット内の個々の画像を識別することは困難です。

実用的には、後者は必ずしもこのようなアプローチを法医学的に使用することを妨げるものではありません。ImageNet などの有名なデータセットがモデルで使用されたことを証明することには比較的価値がありませんが、個人 (有名人ではない) を攻撃する人はソース データの選択肢がはるかに少なくなる傾向があり、ソーシャル メディア アルバムやその他のオンライン コレクションなどの利用可能なデータ グループを完全に利用する必要があります。これらは実質的に「ハッシュ」を作成し、これは概説した方法で明らかにすることができます。

論文では、精度を向上させる別の方法として、実際の画像だけに頼るのではなく、AI で生成された画像を「非メンバー」として使用することを挙げています。これにより、結果に誤解を招く可能性のある、人為的に高い成功率を防ぐことができます。

著者らは、検出に大きく影響するもう 1 つの要因として透かしがあると指摘しています。トレーニング画像に目に見える透かしが含まれている場合、攻撃は非常に効果的になりますが、隠れた透かしにはほとんど利点がありません。

右端の図は、テストで実際に使用された「隠し」透かしを示しています。

最後に、テキストから画像への生成におけるガイダンスのレベルも役割を果たし、理想的なバランスはガイダンス スケールが約 8 のときに見つかります。直接プロンプトが使用されていない場合でも、微調整されたモデルはトレーニング データに似た出力を生成する傾向があり、攻撃の有効性が強化されます。

まとめ：

この興味深い論文が、プライバシー擁護者や一般の AI 研究者にとっても興味深いものであるはずなのに、このようにわかりにくい形で書かれているのは残念です。

メンバーシップ推論攻撃は興味深く、有益なフォレンジックツールとなるかもしれないが、この研究分野では、新しいモデルのリリースが検出や同様のフォレンジックシステムに悪影響を及ぼす場合に、一般的なディープフェイク検出で発生したのと同じモグラ叩きゲームに陥らないように、適用可能な幅広い原則を開発することがおそらくより重要である。

この新しい研究では、より高レベルの指針が明らかにされたという証拠がいくつかあるため、この方向へのさらなる研究が期待できます。

初版発行日：21年2025月XNUMX日（金）