『創造的』顔認証の検証にGenerative Adversarial Networksを用いる

スタンフォード大学の新しい論文では、Generative Adversarial Network (GAN)を使用して、デーティングアプリなどのプラットフォームで顔認証システムを欺くための新しい方法を提案しています。GANを使用して、実際の顔と同じ基本的なID情報を含む代替の顔画像を作成します。

この方法は、デーティングアプリのTinderとBumbleの顔認証プロセスを成功的に回避しました。ある場合には、性別を入れ替えた（男性）顔が、元の（女性）IDに認証されました。

論文著者の特定のエンコードを特徴とするさまざまな生成されたアイデンティティ。 ソース：https://arxiv.org/pdf/2203.15068.pdf

著者によると、この研究は、特定のアイデンティティ特性を備えた生成された画像を使用して顔認証を回避する最初の試みです。しかし、これらの画像は別の、または大幅に変更されたアイデンティティを表現しようとします。

この技術は、カスタムのローカル顔認証システムでテストされ、顔認証を実行する2つのデーティングアプリに対するブラックボックステストで良好な結果を示しました。

新しい 論文 は、Face Verification Bypass と題され、スタンフォード大学の電気工学科の研究者であるSanjana Sardaによって書かれました。

顔空間の制御

顔、道路標識などから特定のID特性（特徴）を注入した画像を生成することは、アドバーサリアル攻撃の重要な要素ですが、この新しい研究は、GANの潜在的な空間を制御する研究分野の成長により、ユーザーの代替アイデンティティを一貫して生成できるアーキテクチャが開発される可能性があることを示唆しています。

一貫性とナビゲーションは、GANの潜在的な空間に関する主な課題でした。GANがトレーニング画像のコレクションを潜在的な空間に吸収することに成功すると、特徴を一つのクラスから別のクラスに「押し出す」ための簡単なマップは提供されません。

テクニックとツール、たとえばGrad-CAMを使用して、潜在的な方向を確立し、変換を可能にします（下の画像を参照）。しかし、エンタングルメントの課題により、通常、「近似」の旅になり、遷移の細かい制御が制限されます。

GANの潜在的な空間内のエンコードされたベクトル間の粗い旅、データから導出された男性アイデンティティを別の女性エンコードに押し出す。 画像はhttps://www.youtube.com/watch?v=dCKbRCUyop8の資料から派生しています

ID特性を「凍結」して保護しながら、それらを潜在的な空間内の変換エンコードに移動する能力は、機械システムによって別の人として「読み取られる」一貫した（そしてアニメーション化可能な）個人の生成を可能にします。

方法

著者は、実験の基礎として2つのデータセットを使用しました。1つは、4年間の間に撮影された著者の顔の310枚の画像からなるHuman User Datasetで、さまざまな照明、年齢、視点で顔が撮影されています。もう1つは、108,501枚の画像からなるFairFaceデータセットで、人種的にバランスのとれたデータセットです。両方のデータセットから、Caffeを使用して顔が抽出され、切り抜かれました。

ローカルの顔認証モデルは、FaceNetとDeepFaceのベース実装から派生し、ConvNet Inceptionで事前トレーニングされ、各画像は128次元のベクトルで表されました。

アプローチでは、FairFaceからトレーニングされたサブセットの顔画像を使用して、顔認証にパスするために、画像のフロベニウスノルムによって計算される距離が、データベース内のターゲットユーザーに対してオフセットされます。距離が0.7以下の画像は、同じアイデンティティとみなされ、認証が失敗したとみなされます。

StyleGANモデルは、著者の個人的なデータセットでファインチューンされ、著者のアイデンティティの認識可能なバリエーションを生成するモデルが作成されました。ただし、生成された画像のいずれも、トレーニングデータと同じではありませんでした。これは、ディスクリミネータの最初の4層を凍結することで達成され、データのオーバーフィッティングを避け、バラエティに富んだ出力を生成しました。

StyleGANのベースモデルで多様な画像が得られたものの、低解像度と忠実度の低さにより、StarGAN V2を使用した2回目の試みが行われました。StarGAN V2では、シード画像をターゲット顔に向けてトレーニングすることができます。

StarGAN V2モデルは、FairFaceのバリデーションセットで約10時間、バッチサイズ4、バリデーションサイズ8で事前トレーニングされました。最も成功したアプローチでは、著者の個人的なデータセットがソースとして使用され、トレーニングデータが参照として使用されました。

検証実験

顔認証モデルは、1000枚の画像のサブセットに基づいて構築され、セット内の任意の画像の認証を目的としました。認証に成功した画像は、著者のIDに対してテストされました。

左：著者、実 写真；中央：認証に失敗した任意の画像；右：データセット内の別の画像が著者として認証に成功

実験の目的は、視覚的なアイデンティティの認識可能なギャップをできるだけ広く開きながら、ターゲットアイデンティティの定義特性を保持することでした。これは、マハラノビス距離で評価され、画像処理におけるパターンとテンプレート検索に使用されるメトリックです。

ベースとなる生成モデルでは、低解像度の結果が表示され、多様性が限られていましたが、ローカルの顔認証にパスしました。StarGAN V2は、認証可能な多様な画像を生成する能力が高かったです。

すべての画像はローカルの顔認証にパスしました。上：低解像度のStyleGANベース生成；下：高解像度、高品質のStarGAN V2生成

上に示されている最後の3つの画像は、著者の顔データセットをソースと参照として使用しました。前の画像は、トレーニングデータを参照として、著者のデータセットをソースとして使用しました。

生成された画像は、デーティングアプリのBumbleとTinderの顔認証システムに対してテストされ、著者のIDを基準として認証に成功しました。著者の顔の「男性」バージョンも、Bumbleの認証プロセスにパスしましたが、生成された画像の照明を調整する必要がありました。Tinderは男性バージョンを受け付けませんでした。

著者（女性）のアイデンティティの「男性」バージョン

結論

これらの実験は、GANの潜在的な空間操作の文脈におけるアイデンティティ投影の重要なステップです。画像合成とディープフェイク研究において、顔空間操作はまだ課題ですが、特定の特性を一貫して多様なアイデンティティに埋め込む概念、そして「別の人」として「読み取られる」代替アイデンティティを作成する概念が開かれます。

初めて公開：2022年3月30日。