スマートフォンの「バイブレーション」機能でビデオ会議のディープフェイクを検出する

シンガポールの新しい研究では、スマートフォンのビデオ会議ツールの相手が次のような方法を使用しているかどうかを検出する新しい方法が提案されています。 ディープフェイスライブ 他人になりすますこと。

題し SFakeこの新しいアプローチは、ほとんどのシステムで採用されている受動的な方法を放棄し、ユーザーの携帯電話に 振動する （同じ「振動」メカニズムを使用） 一般的な スマートフォン全体で共有され、顔を微妙にぼかします。

ライブ ディープフェイク システムはさまざまな方法でモーション ブラーを再現できますが、トレーニング データ、または少なくとも事前トレーニング データにブラーのかかった映像が含まれている限り、この種の予期しないブラーに迅速に対応できず、ブラーのかかっていない顔の部分を出力し続け、ディープフェイクの電話会議の存在を明らかにしてしまいます。

DeepFaceLive は、カメラの振動によるぼやけをシミュレートするのに十分な速さで反応できません。出典: https://arxiv.org/pdf/2409.10889v1

研究者が独自に収集したデータセット（アクティブなカメラの揺れを特徴とするデータセットは存在しないため）でのテスト結果では、ビデオ会議の相手が静止した電話マウントを使用するのではなく、手でカメラを持っているときに発生する自然な手の動きなどの困難な状況に直面した場合でも、SFake は競合するビデオベースのディープフェイク検出方法よりも優れていることがわかりました。

動画ベースのディープフェイク検出の必要性が高まる

近年、動画ベースのディープフェイク検出に関する研究が増加しています。音声ベースの検出が数年にわたって成功を収めてきたことを受けて、 ディープフェイク強盗今年初め、金融関係の従業員が だまさ ディープフェイクのビデオ会議通話で最高財務責任者（CFO）に​​なりすました詐欺師に25万ドルを送金するよう命じられた。

この種のシステムには高度なハードウェア アクセスが必要ですが、多くのスマートフォン ユーザーは、金融サービスやその他の認証サービスで顔認証のために顔の特徴を記録するよう求められることにすでに慣れています (実際、これは LinkedIn の認証プロセスの一部でもあります)。

したがって、この種の犯罪が引き続き報道されるため、ビデオ会議システムに対してこのような方法がますます施行されるようになると思われます。

リアルタイムのビデオ会議におけるディープフェイクに対処するソリューションの多くは、非常に静的なシナリオを想定しています。つまり、通信相手は固定されたウェブカメラを使用し、動きや環境や照明の過度の変化は想定されていません。スマートフォンでの通話では、そのような「固定された」状況は想定されていません。

代わりに、SFake は、手持ちのスマートフォン ベースのビデオ会議における多数の視覚的変異を補正するためにいくつかの検出方法を使用しており、スマートフォンに組み込まれた標準的な振動装置を使用してこの問題に対処する最初の研究プロジェクトのようです。

当学校区の 紙 というタイトルです フェイクを揺るがす: アクティブプローブによるディープフェイク動画のリアルタイム検出この研究は、シンガポールの南洋理工大学の研究者2人によるものです。

方法

SFake はクラウドベースのサービスとして設計されており、ローカル アプリはデータをリモート API サービスに送信して処理し、結果を送り返します。

しかし、わずか 450 MB のフットプリントと最適化された方法論により、ネットワーク接続によって送信された画像が過度に圧縮され、診断プロセスに影響を及ぼす可能性がある場合でも、デバイス自体でディープフェイク検出を完全に処理できます。

このように「すべてローカル」で実行すると、システムはユーザーのカメラフィードに直接アクセスすることができ、 コー​​デック ビデオ会議でよく発生する干渉。

平均的な分析時間には 4 秒間のビデオ サンプルが必要です。その間、ユーザーは静止するように求められ、その間に SFake はカメラの振動を引き起こす「プローブ」を、DeepFaceLive などのシステムが時間内に応答できない選択的にランダムな間隔で送信します。

（トレーニングデータセットにぼかしコンテンツを含めていない攻撃者は、はるかに有利な状況下でもぼかしを生成できるモデルを作成できる可能性は低く、DeepFaceLive は、十分にキュレーションされていないデータセットでトレーニングされたモデルにこの機能を「追加」することはできないことを再度強調しておく必要があります）

システムは、目と眉毛を除いた顔の特定の領域を、ディープフェイク コンテンツの可能性のある領域として選択します (その領域でのまばたきやその他の顔の動きは、ぼかし検出の範囲外であり、理想的な指標ではないため)。

SFake の概念スキーマ。

上記の概念図からわかるように、適切かつ予測不可能な振動パターンを選択し、最適な焦点距離を決定し、顔認識（ ドリブ SFake は、標準的な 68 個の顔のランドマークを推定するコンポーネントを使用して、入力された顔から勾配を導出し、これらの勾配の選択された領域に集中します。

分散シーケンスは、平均または「理想的な」シーケンスに到達し、残りを無視するまで、調査中の短いクリップ内の各フレームを順番に分析することによって取得されます。

これにより、抽出された 機能を使用 これは、トレーニングされたデータベース（これについては後ほど詳しく説明します）に基づいて、ディープフェイクされたコンテンツの確率を定量化するために使用できます。

このシステムには、1920×1080ピクセルの画像解像度と、レンズの最低2倍ズームが必要です。論文では、このような解像度（およびそれ以上の解像度）がMicrosoft Teams、Skype、Zoom、Tencent Meetingでサポートされていると述べられています。

ほとんどのスマートフォンには前面カメラと背面カメラが搭載されていますが、SFake に必要なズーム機能を備えているのはそのうちの 1 つだけであることが多いため、アプリでは、通信相手が 2 つのカメラのうちこれらの要件を満たすカメラのいずれかを使用するように要求します。

ここでの目的は、 正しい比率 システムが分析するビデオストリームにユーザーの顔を挿入する。論文によると、女性がモバイルデバイスを使用する際の平均距離は34.7cm、男性は38.2cm（ 報告 in 検眼ジャーナル）、そして SFake はこれらの距離で非常にうまく動作することがわかります。

手持ち撮影では手ブレが問題となるため、研究者たちは手ブレを補正するためにいくつかの手法を試しました。最も成功したのは、推定されたランドマークの中心点を計算し、それを「アンカー」として用いるという手法です。これは事実上、アルゴリズムによる手ブレ補正技術です。この手法により、92%の精度が得られました。

データとテスト

この目的に適したデータセットが存在しなかったため、研究者は独自のデータセットを開発しました。

「[私たちは] 8 つの異なるブランドのスマートフォンを使用して、性別や年齢の異なる 15 人の参加者を記録し、独自のデータセットを構築しました。参加者から 20 cm 離れた電話ホルダーにスマートフォンを置き、参加者の顔に XNUMX 回ズームインして、スマートフォンをさまざまなパターンで振動させながら、顔の特徴をすべて捉えます。

フロントカメラがズームできないスマートフォンの場合は、リアカメラを代わりに使用します。150秒間の長い動画を20本録画します。デフォルトでは、検出期間は4秒間と想定しています。10本の長い動画から、開始時間をランダム化することで4秒間のクリップを1500本切り出します。つまり、合計4本のXNUMX秒間のクリップが得られます。

しかし ディープフェイスライブ (GitHub リンク) が研究の中心的なターゲットでした。これは現在最も広く使用されているオープンソースのライブ ディープフェイキング システムであるため、研究者は基本検出モデルのトレーニングに他の 4 つの方法を含めました。 ハイファイフェイス; FS-GANV2; RemakerAI、および モバイルフェイススワップ – ターゲット環境を考慮すると、最後のものが特に適切な選択です。

訓練には、1500 本の偽造ビデオと、同数の実際の改変されていないビデオが使用されました。

SFakeは、以下のいくつかの異なる分類器に対してテストされました。 SBI; 顔AF; Cnn検出; LRネット; デフェイクホップ 亜種、そして無料のオンラインディープフェイク検出サービス ディープウェアこれらのディープフェイク手法ごとに、1500 本の偽のビデオと 1500 本の本物のビデオがトレーニングされました。

基本テスト分類器は、単純な2層 ニューラルネットワーク また、 ReLU活性化機能 が使用されました。1000 本の本物のビデオと 1000 本の偽のビデオがランダムに選択されました (ただし、偽のビデオは DeepFaceLive の例のみでした)。

受信者動作特性曲線下面積（オーストラリア連邦）と精度（ACC）が指標として使用されました。

トレーニングと推論には NVIDIA RTX 3060 が使用され、テストは Ubuntu で実行されました。テスト ビデオは、Xiaomi Redmi 10x、Xiaomi Redmi K50、OPPO Find x6、Huawei Nova9、Xiaomi 14 Ultra、Honor 20、Google Pixel 6a、Huawei P60 で録画されました。

既存の検出方法に合わせて、テストは PyTorch で実装されました。主なテスト結果を以下の表に示します。

競合方法と比較した SFake の結果。

ここで著者は次のようにコメントしています。

'すべてのケースで、SFake の検出精度は 95% を超えました。Hififace を除く 98.8 つのディープフェイク アルゴリズムのうち、SFake は他の XNUMX つの検出方法よりも他のディープフェイク アルゴリズムに対して優れたパフォーマンスを発揮します。当社の分類器は DeepFaceLive によって生成された偽の画像を使用してトレーニングされているため、DeepFaceLive を検出する際に XNUMX% という最高の精度率に達します。

RemakerAIによって生成された偽の顔に対して、他の検出手法はパフォーマンスが低下します。これは、インターネットからダウンロードする際に動画が自動的に圧縮され、画像の詳細が失われ、検出精度が低下したためと考えられます。しかし、SFakeによる検出には影響がなく、SFakeはRemakerAIに対して96.8%の検出精度を達成しています。

さらに著者らは、キャプチャ レンズに 2 倍ズームを適用するシナリオでは動きが誇張され、非常に困難な状況になるが、SFake はそのような状況でも最もパフォーマンスの高いシステムであると述べています。この状況でも、SFake は 84 倍と 83 倍の拡大率でそれぞれ 2.5% と 3% の認識精度を達成できました。

まとめ：

ライブディープフェイクシステムの弱点を逆手に取るプロジェクトは、ディープフェイク検出が単に騒ぎ立てるだけの論文に支配されてきた今年、新鮮な提案だ。 由緒ある 周波数分析を中心としたアプローチ（ディープフェイク分野の革新の影響をまったく受けないわけではない）。

2022年末には、別のシステムが使用される モニターの明るさの変化 検出器フックとして、そして同じ年に、 私のデモンストレーション DeepFaceLiveが90度の横顔の角度をうまく処理できないという欠点が、 コミュニティの関心.

DeepFaceLive は、ビデオ会議詐欺に関する犯罪者の関心の的となっていることはほぼ間違いないため、このようなプロジェクトの適切なターゲットです。

しかし、最近、私はいくつかの逸話的な証拠を見ました。 ライブポートレート 現在、VFX コミュニティで非常に人気のあるシステムは、DeepFaceLive よりもはるかに優れたプロファイル ビューの処理を実現します。このシステムをこの研究に含めることができれば興味深いものになったでしょう。

初版発行日：24年2024月XNUMX日火曜日