Andersonの視点
ディープフェイク検出の新たな領域:潜在拡散モデルとGAN

要点ディープフェイク検出研究は、Stable DiffusionやDALL-E 2のような潜在拡散モデルへと焦点を移している。
もっと見る
- ディープフェイク検出研究は、Stable DiffusionやDALL-E 2のような潜在拡散モデルへと焦点を移している。
- Blade Runnerは、リソース不足の組織向けに顔のランドマークパターンを用いたプラグアンドプレイのGAN検出器を提供する。
- DE-FAKEは、CLIP埋め込みを使用してテキストから画像への拡散モデルからの画像を普遍的に検出し、属性を特定することを目指している。
論評
最近、ディープフェイク検出の研究界は、2017年末以来ほぼ専ら取り組んできたオートエンコーダー方式から、停滞の少ないアーキテクチャにも鑑識上の関心を向け始めた。この方式は当時、世間の驚嘆と不安を呼んだ。新たな対象には潜在拡散モデルのDALL-E 2やStable Diffusion、生成的敵対ネットワーク(GAN)の出力がある。例えば6月、UCバークレーは当時主流だったDALL-E 2の出力を検出する研究の結果を公表した。
関心の高まりを促したのは、2022年の潜在拡散モデルの能力と利用可能性の急進展らしい。春にはクローズドソースでアクセスも限定されたDALL-E 2が公開され、夏の終わりにはstability.aiがStable Diffusionを大きな反響とともにオープンソース化した。
GANもこの文脈で以前から研究されてきたが、その密度は低い。人を説得力のある精巧な動画として再現するために使うのは非常に難しいからだ。少なくとも、既に歴史の長いオートエンコーダーパッケージのFaceSwapやDeepFaceLab、後者のライブ配信版に当たるDeepFaceLiveと比べればそうである。
動く映像
どちらの場合も刺激となるのは、動画合成が次に急進展する見通しらしい。10月初めと2022年の主要学会シーズンには、長年の動画合成の課題に対する意外な解決策が相次いだ。Facebookが自社のテキスト動画プラットフォームのサンプルを公開するや、Google Researchは新しいImagen-to-Video T2Vアーキテクチャを発表し、最初の称賛をかき消した。これは高解像度映像を出力できるが、7層の解像度拡大ネットワークを経由する必要がある。
こうした出来事は三つ続くと考えるなら、Stable Diffusionに動画が来るというstability.aiの謎めいた約束も思い出してほしい。どうやら今年後半らしい。共同開発者Runwayも同様の約束をしたが、同一のシステムかは不明だ。StabilityのCEO、Emad MostaqueのDiscordメッセージは、さらに「音声、動画[および]3D」も約束した。
一部は潜在拡散に基づく複数の新しい音声生成フレームワークが突然登場し、自然なキャラクターの動きを作る新しい拡散モデルも現れたことで、GANや拡散モデルなど静的な仕組みが外部アニメーションフレームワークの補助的な構成要素になるという考えが現実味を増し始めている。
要するに、顔の中央部分しか効果的に置き換えられない制約の多いオートエンコーダー型動画ディープフェイクは、来年の今頃には新世代の拡散型ディープフェイク技術にかすむかもしれない。人気のあるオープンソースの手法で、全身だけでなく場面全体を写真のように偽造する可能性がある。
おそらくそのため、対ディープフェイク研究界は画像合成を真剣に捉え、単なる偽のLinkedInプロフィール写真作成以上の用途を認識し始めた。扱いにくい潜在空間が時間的な動きについてできることが非常に優秀なテクスチャーレンダラーとして働くことだけでも、実際には十分すぎるかもしれない。
Blade Runner
潜在拡散とGANによるディープフェイク検出をそれぞれ扱う最新の2論文は、CISPA Helmholtz Center for Information SecurityとSalesforce (CRM )の共同研究であるDE-FAKE:テキスト画像拡散モデルが生成した偽画像の検出と出所の特定、およびMITリンカーン研究所のAdam Dorian WongによるBLADERUNNER:合成(AI生成)StyleGAN顔への迅速な対策である。
後者の論文は新手法を説明する前に、画像がGANによるものか判定する既存手法を検討している。対象は特にNVIDIAのStyleGAN系列である。
Brady Bunch方式は、1970年代にテレビを見なかった人や1990年代の映画版を見逃した人には意味不明な引用かもしれない。この方式は、反復的で定型的な生成工程によりGAN顔の特定部分が固定位置を占めることから偽造内容を識別する。

SANS Instituteの2022年のウェブ配信で示されたBrady Bunch方式。GAN顔生成器は特定の顔の特徴を不自然に均一配置し、場合によって写真の合成由来を露呈する。 出典: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf
ほかの既知の手掛かりは、必要な複数の顔をStyleGANがしばしば描けないこと(下の最初の画像)、装飾品の整合性が弱いこと(中央)、生え際を即席の帽子の始まりにしてしまう傾向(3番目)である。

研究者が注目する3番目の手法は写真の重ね合わせである。AIによる精神疾患診断についての8月の記事に例がある。CombineZ系列などの画像混合ソフトで複数画像を1枚に合わせると、基礎的な構造の共通性が現れることが多く、合成を示す可能性がある。

新論文のアーキテクチャは、おそらくSEOのあらゆる助言に反して、Blade Runnerと名付けられた。SF作品の敵役が偽物かを判定するヴォイト・カンプフ検査への言及である。
処理は2段階からなる。最初のPapersPlease分析器は、thispersondoesnotexist.comやgenerated.photosなど既知のGAN顔サイトから収集したデータを評価する。

縮小版コードはGitHubで確認できる(後述)が、収集資料の顔の輪郭抽出と検出にOpenCVとDLIBを使うこと以外、このモジュールの詳細は少ない。
2番目はAmongUs検出器である。写真内の整列した目の位置を探す。これは上のBrady Bunch例のようにStyleGAN顔出力に持続する特徴だ。AmongUsは標準の68点顔ランドマーク検出器を使う。

Intelligent Behaviour Understanding Group(IBUG)による顔の点の注釈。同グループの顔ランドマーク描画コードがBlade Runnerパッケージに使われている。
AmongUsはPapersPleaseの既知のBrady Bunch座標に基づく事前学習済みランドマークに依存し、ウェブで利用できる現在のStyleGAN顔画像サンプルの検査を想定している。
著者によればBlade Runnerは、こうしたディープフェイク検出手段を内製する資源のない企業や組織向けの即時利用可能な解決策であり、より恒久的な対策までの時間を稼ぐ暫定措置である。
実際、このように変動が激しく急成長するセキュリティ分野では、資源の乏しい企業が今信頼して利用できる特注型または既製のクラウド事業者の解決策は少ない。
Blade Runnerは眼鏡をかけたStyleGAN偽人物の検出が苦手だが、類似システムで比較的よくある問題だ。目の輪郭を主要な基準点として評価しようとしても、この場合は隠れてしまうためである。
Blade Runnerの縮小版はGitHubでオープンソースとして公開された。より多機能な独自版は複数写真を処理できるが、公開リポジトリは1操作につき1枚である。著者は時間が許せばGitHub版を同じ水準にする意向だという。StyleGANが現在の既知の弱点を越えて進化する可能性があるため、ソフトも並行して進化する必要があると認めている。
DE-FAKE
DE-FAKEはテキスト画像拡散モデルの出力を普遍的に検出するだけでなく、どの潜在拡散(LD)モデルが画像を生成したかも特定しようとする。

DE-FAKEの普遍的検出フレームワークは、ローカル画像、混成フレームワーク(緑)、オープンワールド画像(青)を扱う。 出典: http://export.arxiv.org/pdf/2210.06998
率直にいえば、現状これはかなり容易な課題だ。人気のLDモデルには公開・非公開を問わず目立つ識別特徴があるためだ。
また多くは、頭を切り落とす傾向など共通の弱点を持つ。DALL-E 2、Stable Diffusion、MidJourneyを支える巨大データセットに、ウェブ収集した正方形でない画像を取り込む恣意的な方法に原因がある。

潜在拡散モデルはほかのコンピュータービジョンモデルと同様に正方形入力を必要とする。LAION5Bを支える大量ウェブ収集には顔やほかの対象を認識して集中する追加機能はなく、余白を足す代わりに画像を乱暴に切る。余白なら低解像度でも原画像全体を保てる。訓練でこの切り方を学ぶと標準になり、Stable Diffusionなどの出力に頻繁に現れる。 出典: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac および Stable Diffusion.
DE-FAKEはアルゴリズムに依存しないことを目指す。オートエンコーダー対策研究者の長年の目標であり、現在LDシステムでは十分達成可能だ。
アーキテクチャはOpenAIの多モードContrastive Language-Image Pretraining(CLIP)ライブラリを使う。Stable Diffusionの不可欠な要素で、新しい画像・動画合成の波の中心になりつつあるこれを使い、偽のLD画像から埋め込みを抽出し、観測したパターンとクラスで分類器を学習する。
生成情報を保持したPNGチャンクがアップロード処理やほかの理由で消えたブラックボックス状況では、SalesforceのBLIPフレームワークを使う。これは少なくとも1つのStable Diffusion配布版にも含まれる。事前情報なしに画像を調べ、生成に使われたプロンプトの意味構造を推定する。

研究者はStable Diffusion、独立製品のLatent Diffusion、GLIDE、DALL-E 2を使い、MSCOCOとFlickr30kを活用して訓練・試験データセットを構築した。
通常なら新フレームワークの実験結果を詳しく検討する。しかしDE-FAKEの知見は、プロジェクト成功の有意義な尺度より、後続版や類似研究の将来の基準として役立ちそうだ。環境は変動が激しく、論文の比較対象は画像合成がまだ初期だった約3年前のシステムだからである。
結果が圧倒的に好ましい理由は2つある。まず比較できる先行研究が少なく、公平な比較を提供するものはない。つまりStable Diffusionのオープンソース公開後のわずか12週間を対象にしたものがない。
次に、LD画像合成は指数関数的に進歩しているが、現在の出力は自らの予測しやすい構造的欠陥や癖によって事実上自分を識別可能にしている。少なくともStable Diffusionでは、性能のよいチェックポイント1.5、つまりシステムを動かす4GBの訓練済みモデルの公開で、多くが改善される可能性がある。
同時にStabilityはV2とV3の明確な計画を既に示した。過去3か月の大きな出来事により、OpenAIや画像合成の競合企業の停滞は消えた可能性が高い。したがって非公開ソースの画像合成でも同様の速い進歩を期待できる。
初出:2022年10月14日。













