DeepFaceLive によるリアルタイム DeepFake ストリーミング

世界で最も使用されているディープフェイク ソフトウェア、そしてディープフェイク ポルノとの関連が最も強いソフトウェアに、有名人の似顔絵のディープフェイクをライブ Web カメラ映像に重ね合わせる機能が新たに実装されました。

オープンソースリポジトリ ディープフェイスライブ は、以下の基盤に基づいて構築された Windows 10 アプリケーションです。 ディープフェイスラボは、2018 年にディープフェイクの出現が世界的な論争を引き起こした直後に、元のディープフェイク ソフトウェアの作成者がプロジェクトを放棄した後、すぐにポルノベースの顔交換の主要なリソースになりました。両方のプロジェクト リスト ディープフェイク ポルノ サイト mrdeepfakes のフォーラム セクションを公式サポート リソースとして提供します。

開発者のイワン・ペトロフがXNUMX月に公開したDeepFaceLiveインターフェースのビデオでは、ものまねタレントのマイルズ・フィッシャーがリアルタイムでトム・クルーズに変身するダウンロード映像が見られる。 出典: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

昨日、両方のプロジェクトのリーダーであるロシアの開発者 イワン・ペトロフ, 発表の プロジェクトの Discord グループで DeepFaceLive の新バージョンを公開し、DeepFaceLive には mrdeepfakes でポルノ ビデオの頻繁な題材となっている女優マーゴット ロビーの訓練されたモデルが組み込まれていることに注目しました。

ウェブカメラ フィード内の任意の発言者にロビー ID を付加する DeepFaceLive の機能を実証するために、XNUMX つのサンプル ビデオ クリップがアップロードされました。

マーゴット・ロビーによるライブディープフェイクのデモンストレーションの XNUMX つ。 出典: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

ロビーの変身ビデオは当初Twitchで共有されたが、その後削除された。

DeepFaceLive によって提供されるフェイススワッピングの他の XNUMX つの例。 対象となる被写体とおおよその顔が一致するという要件は依然として存在します。 左下の画像では、DeepFaceLab で実現できるように、ソフトウェアが障害物を効果的にマスクできないことがわかります。これは、マスクをトレーニングする必要があるためです。 XSeg アプリケーション DeepFaceLab の手法であり、リアルタイム フェイクには適用できません。

英国のコメディアンで俳優のローワン・アトキンソンの追加のデフォルト モデルが、間もなく DeepFaceLive で利用可能になる予定です。 当初、DeepFaceLive リポジトリには CELEB_MODEL カテゴリがあり、トム クルーズを含む他の有名人を Open Neural Network Exchange (.onnx) ファイルがありましたが、これらのディレクトリは削除されています。

Tom Cruise は、2021 年 XNUMX 月に DeepFaceLive ベータ版に組み込まれたアイデンティティでしたが、その後、パッケージのデフォルトとして削除されたようです。 ただし、このモデルは、他の多くの著名人からのトレーニングされたモデルや、エンド ユーザーによってトレーニングされたカスタム モデルとともにダウンロードしてインストールできます。

DeepFaceLive は Windows 10 アプリケーションとしてのみ実行されます。 報告 XNUMX 人のユーザーが NVIDIA のライブ ストリーミングとうまく連携できるようにする 放送 アプリケーション。

アイデンティティの取得

DeepFaceLive の FAQ には、既製の公開顔モデルを使用できると記載されているため、ユーザーはデータセット用の顔素材を収集するという面倒なプロセスを経る必要がなく、その後、非常に良好な一致を得るまでに 3 ～ 10 日かかります。 ' はすでに他のクリエイターによってコンパイルされています。 実際、そのようなモデルの最大の情報源は、 フォーラムでトレーニングされたモデル (アーカイブ リンク) mrdeepfakes ポルノ サイトのスレッド。このスレッドは、あるロシアのエンドユーザーによって使用されているのが確認できます。 最近のYouTubeビデオ.

ウラジスラフ・ペドロは DeepFaceLive を使用してリアルタイムでトム クルーズに変身しました。 彼がビデオでロードしたモデルは mrdeepfakes でホストされており、これまでオフラインのディープフェイク処理に使用されてきました。 出典: https://www.youtube.com/watch?v=0TcCKtObSnI

エンドユーザーの顔をターゲットの有名人に合わせてトレーニングすることで最良の結果が得られますが、シミュレーションの品質は、エンドユーザーがターゲットにどれだけ似ているかに正比例するようです。 ユーザーが有名人に比較的よく適合している場合には、納得のいく結果が得られる。

上の画像の最後の XNUMX つのマーゴット ロビーの交換で明らかなように、ソフトウェアはエンド ユーザーの顔の一般的な特徴が根本的に異なる奇跡を起こすことはできません。 ただし、DeepFaceLab では次のこともできます。 頭全体の交換を実行する、ヘアスタイルに関する制限はありますが、ソースの頭部を完全に上書きするプロセスです。 Discord サーバー上のコメントでは、これらが DeepFaceLive にも実装できることが確認されています。

DeepFaceLive は現在、NVIDIA GPU のみをサポートしており、アプリケーションで適切な結果を得ることができる最低のハードウェアは GTX 750 です。 4 GB の VRAM を搭載したグラフィック カードでは、32 GB のスワップ ディスク領域も必要です。

マーゴット・ロビー モデルのトレーニング – イメージ 掲示 Ivan Petrov による DeepFaceLab/DeepFaceLive Discord にて。 ここでは、ソース データセットが非常に多様であることがわかります。これは明らかに、幅広い顔のタイプをオーストラリアの女優のイメージに変換できる、堅牢でよく一般化されたモデルを作成することを目的としています。 ほとんどの「A」セットは通常、単一の個人のものです。

ユーザーは、DeepFaceLive はハードウェア リソースの点で非常に要求が厳しいと報告していますが、ペトロフ氏はこれに応えて、DeepFaceLive は屋内環境で十分なスペックを備えた PC を対象としていると主張しました。

DeepFaceLab GitHub は、 二股 新しい DeepFaceLive には現在 6,000 のフォークがあります。

考えられる用途

のコメント者 糸 (ロシア語) ロシアのソーシャル サイト VK.com では、DeepFaceLive の利用可能性について推測しており、このソフトウェアの考えられる用途をすべて見極めているようです。 詐欺を犯したり、ライブストリームを見ている人を騙したりする手段として。 そしておそらく、ソフトウェアの出所とユーザーベースを考慮すると、有名人に焦点を当てたウェブカメラベースのセックスワークを実装する手段として使われる可能性が最も高いでしょう（記事の最後にある画像を参照）。

「ディープフェイクカムガール」の可能性 登場 数年前にメディアで。 2020 年の Avatarify アプリ 発表の ディープフェイクの有名人のウェブカメラ機能、ただし品質は大幅に向上 下側 DeepFaceLab によって設定された標準よりも、現在は 選択したリポジトリ 最近の 見出しをつかむ トム・クルーズのディープフェイカー、クリス・ウメをはじめ、世界中のハイレベルな映画・テレビ制作会社。

DeepFaceLab は、DeepFaceLive のシード アプリケーションであり、 報告 YouTube 上のすべてのディープフェイクの 95% に使用される (ロシア語) フレームワークは、並外れたパフォーマンスを誇るディープフェイク作成者 Shamook によって使用されるソフトウェアでもあります。 最近ルーカスフィルムに影響を与えた『マンダロリアン』におけるルーク・スカイウォーカーのゲスト出演の改善について 彼を雇うために VFXコンサルタントとして活動。

ディープフェイクの制限に適応

DeepFaceLab などのディープフェイク ソフトウェアの手法 フェイススワップ 典型的なウェブカメラ環境で十分に機能し、オフラインのディープフェイクを依然として悩ませる可能性がある真正性に対する障害の多くを取り除きます。

たとえば、ユーザーが横顔を向いたり（または見上げたり）、急速に移動したり、シーンの変化や照明の突然の変化にさらされたりした場合、ディープフェイクのパフォーマンスは説得力が低下します。

したがって、一般的な Zoom 通話や Web カメラの「静的」な性質がソフトウェアの強みになります。 過去 XNUMX 年間で最も尊敬されているディープフェイク詐欺の例の多くは、スティーブ ブシェミをジェニファー ローレンスに押しつけるなど、スピーカーがカメラに直接向き合い、制約された環境でほとんど動かないものでした。 オスカーのスピーチで、そしてさまざまな「カメラ向け」政治放送の変革。

おそらく、DeepFaceLive に含まれるデフォルトのマーゴット ロビー モデルの使用が最も可能性が高い – カム実装テスト ビデオ 公表 ロシアのユーザー「NoFace」による DeepFaceLab Discord 上の投稿。

8月52日午後7時XNUMX分修正 – 苗字を修正。
8月30日午後8時XNUMX分に修正 – Discordから画像を追加。