ディープフェイク検出器が新境地を追求：潜在拡散モデルとGAN

オピニオン  

最近、ディープフェイク検出研究コミュニティは、2017 年末以降、ほぼ独占的に占有されています。 オートエンコーダ-ベースのフレームワークは、当時、世間の畏敬の念を呼び起こしました（そして 落胆する）、以下を含む、それほど停滞していないアーキテクチャに法医学的な関心を持ち始めています。 潜在拡散 などのモデル DALL-E2 および 安定拡散、敵対的生成ネットワーク (GAN) の出力も同様です。 たとえば、XNUMX 月にカリフォルニア大学バークレー校 結果を発表 当時主流だったDALL-E 2の出力検出器の開発に関する研究の成果。

この関心の高まりを引き起こしていると思われるのは、2022 年に潜在拡散モデルの機能と可用性が突然進化し、クローズドソースでアクセスが制限されることです。 リリース 春には DALL-E 2 が登場し、夏の終わりにはセンセーショナルな オープンソーシング 安定拡散の安定化.ai

GAN も 長年研究してきた この文脈では、それほど集中的ではありませんが、 非常に難しい 人々を説得力のある精緻なビデオベースで再現するためにそれらを使用する。 少なくとも、現在では由緒あるオートエンコーダー パッケージと比較すると、 フェイススワップ および ディープフェイスラボ – そして後者のライブストリーミングのいとこ、 ディープフェイスライブ.

動画を見る

いずれの場合でも、活力を与える要因は、その後の開発スプリントの見通しであると思われます。 ビデオ 合成。 2022 月の始まり、そして XNUMX 年の主要なカンファレンス シーズンは、長年にわたるビデオ合成のさまざまな問題に対する突然の予想外の解決策が雪崩のように現れたことを特徴としていました。 リリースされたサンプル Google Research は、独自のテキストからビデオへの変換プラットフォームを開発しましたが、Google Research は、出力可能な新しい Imagen-to-Video T2V アーキテクチャを発表することで、その当初の称賛をすぐにかき消しました。 高解像度の映像 (アップスケーラーの 7 層ネットワーク経由のみですが)。

この種のことは XNUMX つあると信じるなら、Stable Diffusion の共同開発者である Runway が今年後半に Stable Diffusion に「ビデオが登場する」という、stable.ai の謎めいた約束も考慮してください。 同じような約束をしました, ただし、同じシステムを指しているかどうかは不明です。 の 不和メッセージ スタビリティのCEOエマド・モスタク氏も約束した 「オーディオ、ビデオ[そして] 3D」.

突然、いくつかの新しい機能が提供された場合はどうなるでしょうか。 オーディオ生成フレームワーク （一部は潜在拡散に基づく）、および生成できる新しい拡散モデル 本格的なキャラクターモーション、GAN やディフューザーなどの「静的」フレームワークが最終的にサポートとしての役割を果たすだろうという考え 付属物 外部のアニメーション フレームワークへの影響が本格的に広がり始めています。

要するに、オートエンコーダベースのビデオディープフェイクの機能不全の世界は、効果的に置き換えることしかできない可能性が高いようです。 顔の中央部分は、来年の今頃までに、新世代の拡散ベースのディープフェイク対応テクノロジー、つまり身体全体だけでなくシーン全体をフォトリアリスティックに偽造できる可能性を備えた人気のオープンソースのアプローチによって覆い隠されている可能性があります。

このため、おそらく、反ディープフェイク研究コミュニティは、画像合成を真剣に受け止め始めており、それが単に生成する以上の目的を果たす可能性があることに気づき始めています。 偽の LinkedIn プロフィール写真; そして、彼らの手に負えない潜在空間のすべてが時間運動に関して達成できるとしたら、 本当に優れたテクスチャレンダラーとして機能します、実際にはそれで十分かもしれません。

ブレードランナー

潜在拡散と GAN ベースのディープフェイク検出に関する最新の XNUMX つの論文は、それぞれ次のとおりです。 DE-FAKE: テキストから画像への拡散モデルによって生成された偽画像の検出と帰属、CISPA Helmholtz Center for Information Security と Salesforce のコラボレーション。 と BLADERUNNER: 合成 (AI 生成) StyleGAN フェイスの迅速な対策、MITリンカーン研究所のアダム・ドリアン・ウォンより。

後者の論文では、新しい方法を説明する前に、画像が GAN によって生成されたかどうかを判断するための以前のアプローチを検討するために少し時間がかかります (この論文では特に NVIDIA の StyleGAN ファミリを扱います)。

「ブレイディ・バンチ」メソッド – おそらく 無意味な参照 1970 年代にテレビを見ていなかった人、または 1990 年代の映画化作品を見逃した人にとって、GAN の顔の特定の部分が確実に占める固定位置に基づいて、GAN で偽造されたコンテンツを識別します。 '生産工程'。

2022 年に SANS 研究所の Web キャストによって提案された「Brady Bunch」手法。GAN ベースの顔ジェネレーターは、場合によっては、写真の起源を偽り、特定の顔の特徴をあり得ないほど均一に配置します。 出典: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

もう XNUMX つの有用な既知の兆候は、StyleGAN が必要に応じて複数の顔をレンダリングできないことが頻繁にあること (下の最初の画像)、アクセサリー調整の才能の欠如 (下の中央の画像)、および即興の開始としてヘアラインを使用する傾向があることです。帽子（下のXNUMX番目の画像）。

研究者が注目するXNUMX番目の方法は、 写真オーバーレイ (その例は次のとおりです。 XNUMX月の記事 これは、CombineZ シリーズなどの合成「画像ブレンディング」ソフトウェアを使用して、複数の画像を XNUMX つの画像に連結し、多くの場合、構造の根底にある共通性、つまり合成の潜在的な兆候を明らかにします。

新しい論文で提案されているアーキテクチャは次のようなタイトルになっています (おそらくすべての SEO アドバイスに反しています) ブレードランナーを参照し、 Voight-Kampffテスト それは、SF シリーズの敵対者が「偽物」であるかどうかを決定します。

パイプラインは XNUMX つのフェーズで構成されており、最初のフェーズは PapersPlease アナライザーで、thispersondoesnotexist.com や generated.photos などの既知の GAN-face Web サイトから収集したデータを評価できます。

コードのカットダウン バージョンは GitHub (以下を参照) で検査できますが、OpenCV と DLIB は、収集されたマテリアル内の顔の輪郭を描き、検出するために使用されます。

XNUMX 番目のモジュールは、 私たちの中 検出器。 このシステムは、StyleGAN の顔出力の永続的な機能である、写真内の調整された目の位置を検索するように設計されており、上で詳しく説明した「Brady Bunch」シナリオに典型的に示されています。 AmongUs は、標準の 68 ランドマーク検出器を搭載しています。

Intelligent Behavior Understanding Group (IBUG) による顔のポイントの注釈。その顔のランドマーク プロット コードは Blade Runner パッケージで使用されます。

AmongUs は、PapersPlease の既知の「Brady 束」座標に基づく事前トレーニングされたランドマークに依存しており、StyleGAN ベースの顔画像のライブの Web 対応サンプルに対して使用することを目的としています。

著者によれば、ブレードランナーは、ここで扱うようなディープフェイク検出のための社内ソリューションを開発するリソースが不足している企業や組織を対象としたプラグアンドプレイソリューションであり、「時間を稼ぐための応急処置」であるという。より恒久的な対策」。

実際、これほど不安定で急成長しているセキュリティ分野では、オーダーメイドのサービスはそれほど多くありません。 or リソースが不足している企業が現在安心して頼れる、既成のクラウド ベンダー ソリューション。

ブレードランナーのパフォーマンスは悪いが、 メガネをかけた StyleGAN を偽装した人々、これは同様のシステム全体で比較的一般的な問題であり、そのような場合には不明瞭になる、中心となる参照点として目の輪郭を評価できることが期待されています。

『ブレードランナー』の縮小版が公開されました。 リリース GitHub でオープンソースにします。 オープンソース リポジトリの操作ごとに XNUMX 枚の写真ではなく、複数の写真を処理できる、より機能が豊富な独自バージョンが存在します。 著者は、時間の許す限り、最終的には GitHub のバージョンを同じ標準にアップグレードする予定であると述べています。 彼はまた、StyleGAN がその既知の弱点や現在の弱点を超えて進化する可能性が高く、ソフトウェアも同様に並行して開発する必要があることを認めています。

偽りを取り除く

DE-FAKE アーキテクチャは、テキストから画像への拡散モデルによって生成された画像の「ユニバーサル検出」を達成するだけでなく、それを識別する方法を提供することも目的としています。 which 潜在拡散 (LD) モデルが画像を生成しました。

DE-FAKE のユニバーサル検出フレームワークは、ローカル イメージ、ハイブリッド フレームワーク (緑色)、およびオープンワールド イメージ (青色) に対応します。 出典: http://export.arxiv.org/pdf/2210.06998

正直に言うと、クローズドソースかオープンソースかを問わず、人気のある LD モデルはすべて顕著な特徴を備えているため、現時点ではこれはかなり簡単な作業です。

さらに、ほとんどの人は首を切り落としやすいなどの共通の弱点を持っています。 任意の方法 Web スクレイピングされた非正方形の画像は、DALL-E 2、Stable Diffusion、MidJourney などのシステムを動かす大規模なデータセットに取り込まれます。

潜在拡散モデルは、すべてのコンピューター ビジョン モデルと同様に、正方形フォーマットの入力を必要とします。しかし、LAION5B データセットを強化する集合的な Web スクレイピングには、顔 (またはその他のもの) を認識して焦点を合わせる機能などの「贅沢な追加機能」は提供されず、画像をパディングする代わりに非常に残酷に切り捨てられます (ソース全体が保持されることになります)。画像ですが、解像度は低くなります）。一度訓練されると、これらの「作物」は正規化され、安定拡散などの潜在拡散システムの出力で非常に頻繁に発生します。 出典: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac および安定した拡散。

DE-FAKE は、アルゴリズムに依存しないことを目的としており、オートエンコーダー対ディープフェイク研究者の長年の目標であり、現時点では LD システムに関してはかなり達成可能な目標です。

このアーキテクチャでは、OpenAI の Contrastive Language-Image Pretraining (CLIP) マルチモーダル ライブラリ – 安定拡散に不可欠な要素であり、急速に画像/ビデオ合成システムの新しい波の中心になりつつあります – 「偽造」LD 画像から埋め込みを抽出し、観察されたパターンとクラスに基づいて分類器をトレーニングする方法として。

より「ブラック ボックス」なシナリオでは、生成プロセスに関する情報を保持する PNG チャンクがプロセスのアップロードやその他の理由で長い間削除されており、研究者らは Salesforce を使用します。 BLIPフレームワーク (また、 少なくても一つ Stable Diffusion の配布）を使用して、画像を「盲目的に」ポーリングして、画像を作成したプロンプトのおそらくセマンティック構造を調べます。

研究者らは、安定拡散、潜在拡散 (それ自体が個別の製品)、GLIDE、および DALL-E 2 を使用して、MSCOCO と Flickr30k を活用したトレーニングおよびテスト データセットを作成しました。

通常、私たちは新しいフレームワークを求める研究者の実験結果をかなり広範囲に検討します。 しかし実のところ、DE-FAKE の調査結果は、DE-FAKE が運用されている不安定な環境やシステムの安全性を考慮すると、プロジェクトの成功の意味のある指標としてではなく、後の反復や同様のプロジェクトの将来のベンチマークとして役立つ可能性が高いように思われます。この論文の裁判で競合しているのは、画像合成シーンが本当に初期段階にあった頃から、ほぼ XNUMX 年前のものです。

左端の 2019 つの画像: XNUMX 年に誕生した「挑戦的な」以前のフレームワークは、テストした XNUMX つの LD システム全体で DE-FAKE (右端の XNUMX つの画像) に対して予想通りあまりうまくいきませんでした。

チームの結果は XNUMX つの理由から圧倒的に肯定的です。XNUMX つは、それを比較するための先行研究がほとんどないことです (そして、公平な比較を提供するものはまったくありません。つまり、Stable Diffusion がオープンソースにリリースされてからわずか XNUMX 週間をカバーするものはまったくありません)。

第 1.5 に、上で述べたように、LD 画像合成分野は指数関数的な速度で発展していますが、現在の製品の出力コンテンツは、それ自身の構造的 (そして非常に予測可能な) 欠点や偏心によって事実上、それ自身に透かしを入れています。これらの多くは修正される可能性が高く、 Stable Diffusion の場合は、少なくとも、よりパフォーマンスの高い 4 チェックポイント (つまり、システムに電力を供給する XNUMXGB のトレーニング済みモデル) のリリースまでに。

同時に、Stability はシステムの V2 と V3 について明確なロードマップがあることをすでに示しています。 過去 XNUMX か月間のニュースを賑わした出来事を考慮すると、OpenAI や画像合成分野の他の競合企業の企業の活力は蒸発した可能性が高く、これは、画像合成分野でも同様に活発な進歩が期待できることを意味します。クローズドソースの画像合成スペース。

初版は14年2022月XNUMX日。