DeepFaceLive によるリアルタイム DeepFake ストリーミング

世界で最も多く利用され、ディープフェイクポルノと最も深く結び付けられているディープフェイクソフトウェアに、有名人の肖像のディープフェイクをライブウェブカメラの映像に重ね合わせる機能が新たに実装されました。

オープンソースリポジトリ ディープフェイスライブ は、以下の基盤に基づいて構築された Windows 10 アプリケーションです。 ディープフェイスラボは、2018 年にディープフェイクの出現が世界的な論争を引き起こした直後に、元のディープフェイク ソフトウェアの作成者がプロジェクトを放棄した後、すぐにポルノベースの顔交換の主要なリソースになりました。両方のプロジェクト リスト ディープフェイク ポルノ サイト mrdeepfakes のフォーラム セクションを公式サポート リソースとして提供します。

開発者のイワン・ペトロフがXNUMX月に公開したDeepFaceLiveインターフェースのビデオでは、ものまねタレントのマイルズ・フィッシャーがリアルタイムでトム・クルーズに変身するダウンロード映像が見られる。 出典: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

昨日、両方のプロジェクトのリーダーであるロシアの開発者 イワン・ペトロフ, 発表の プロジェクトの Discord グループに DeepFaceLive の新バージョンが投稿され、DeepFaceLive には現在、mrdeepfakes のポルノ動画で頻繁に取り上げられている女優マーゴット・ロビーの訓練済みモデルが組み込まれていることが紹介されました。

ウェブカメラ フィード内の任意の発言者にロビー ID を付加する DeepFaceLive の機能を実証するために、XNUMX つのサンプル ビデオ クリップがアップロードされました。

マーゴット・ロビーによるライブディープフェイクのデモンストレーションの XNUMX つ。 出典: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

ロビーの変身ビデオは当初Twitchで共有されたが、その後削除された。

DeepFaceLive によって提供されるフェイススワッピングの他の XNUMX つの例。 対象となる被写体とおおよその顔が一致するという要件は依然として存在します。 左下の画像では、DeepFaceLab で実現できるように、ソフトウェアが障害物を効果的にマスクできないことがわかります。これは、マスクをトレーニングする必要があるためです。 XSeg アプリケーション DeepFaceLab の手法は、リアルタイムの偽造には適用できません。

英国のコメディアンで俳優のローワン・アトキンソンの追加のデフォルト モデルが、間もなく DeepFaceLive で利用可能になる予定です。 当初、DeepFaceLive リポジトリには CELEB_MODEL カテゴリがあり、トム クルーズを含む他の有名人を Open Neural Network Exchange (.onnx) ファイルがありましたが、これらのディレクトリは削除されています。

Tom Cruise は、2021 年 XNUMX 月に DeepFaceLive ベータ版に組み込まれたアイデンティティでしたが、その後、パッケージのデフォルトとして削除されたようです。 ただし、このモデルは、他の多くの著名人からのトレーニングされたモデルや、エンド ユーザーによってトレーニングされたカスタム モデルとともにダウンロードしてインストールできます。

DeepFaceLive は Windows 10 アプリケーションとしてのみ実行されます。 報告 NVIDIAのライブストリーミングとうまく連携するために1人のユーザーが 放送 アプリケーション。

アイデンティティの取得

DeepFaceLiveのFAQには、他のクリエイターが既に作成した「公開顔モデル」を利用できると記載されているため、ユーザーはデータセット用の顔素材を収集し、その後3～10日間かけて非常に良好なマッチングを得るという面倒なプロセスを経る必要はありません。事実上、こうしたモデルの最大の供給源は、 フォーラムでトレーニングされたモデル (アーカイブ リンク) mrdeepfakes ポルノ サイトのスレッド。このスレッドは、あるロシアのエンドユーザーによって使用されているのが確認できます。 最近のYouTubeビデオ.

ウラジスラフ・ペドロは DeepFaceLive を使用してリアルタイムでトム クルーズに変身しました。 彼がビデオでロードしたモデルは mrdeepfakes でホストされており、これまでオフラインのディープフェイク処理に使用されてきました。 出典: https://www.youtube.com/watch?v=0TcCKtObSnI

エンドユーザーの顔をターゲットの著名人に対して学習させることで最良の結果が得られますが、シミュレーションの品質はエンドユーザーがターゲットにどれだけ似ているかに正比例するようです。ユーザーが比較的よく似ていれば、説得力のある結果が得られます。

上の画像の最後の3つのマーゴット・ロビーの入れ替えから明らかなように、エンドユーザーの顔の特徴が根本的に異なる場合、ソフトウェアは奇跡を起こすことはできません。しかし、DeepFaceLabは 頭全体の交換を実行する、ヘアスタイルに関する制限はありますが、ソースの頭部を完全に上書きするプロセスです。 Discord サーバー上のコメントでは、これらが DeepFaceLive にも実装できることが確認されています。

DeepFaceLive は現在、NVIDIA GPU のみをサポートしており、アプリケーションで適切な結果を得ることができる最低のハードウェアは GTX 750 です。 4 GB の VRAM を搭載したグラフィック カードでは、32 GB のスワップ ディスク領域も必要です。

マーゴット・ロビー モデルのトレーニング – イメージ 掲示 DeepFaceLab/DeepFaceLive Discordにて、Ivan Petrov氏が投稿しました。この投稿から、ソースデータセットが非常に多様であることがわかります。これは、様々な顔のタイプをオーストラリア人女優の画像に変換できる、堅牢で汎用性の高いモデルを作成することが目的だったようです。「A」セットのほとんどは、通常、単一の人物を対象としています。

ユーザーは、DeepFaceLive はハードウェア リソースの点で非常に要求が厳しいと報告していますが、ペトロフ氏はこれに応えて、DeepFaceLive は屋内環境で十分なスペックを備えた PC を対象としていると主張しました。

DeepFaceLab GitHub は、 二股 新しい DeepFaceLive には現在 6,000 のフォークがあります。

考えられる用途

のコメント者 糸 ロシアのソーシャル サイト VK.com のユーザー (ロシア語) は、DeepFaceLive の考えられる用途について推測し、このソフトウェアの考えられる用途をすべて把握しているようです。具体的には、Zoom や類似のアプリケーションにおける「匿名化」または娯楽用フィルターとして、詐欺を働いたりライブ ストリームの視聴者を騙したりする手段として、そして、このソフトウェアの由来やユーザー ベースを考慮すると、おそらく最も可能性が高いのは、有名人を対象としたウェブカメラ ベースの性行為を実行する手段としてです (記事末尾の画像を参照)。

「ディープフェイクカムガール」の可能性 登場 数年前にメディアで。 2020 年の Avatarify アプリ 発表の ディープフェイクの有名人のウェブカメラ機能、ただし品質は大幅に向上 下側 DeepFaceLab によって設定された標準よりも、現在は 選択したリポジトリ 最近の 見出しをつかむ トム・クルーズのディープフェイカー、クリス・ウメをはじめ、世界中のハイレベルな映画・テレビ制作会社。

DeepFaceLab は、DeepFaceLive のシード アプリケーションであり、 報告 YouTube 上のすべてのディープフェイクの 95% に使用される (ロシア語) フレームワークは、並外れたパフォーマンスを誇るディープフェイク作成者 Shamook によって使用されるソフトウェアでもあります。 マンダロリアンのルーク・スカイウォーカーのゲスト出演を改善するというアイデアは、最近ルーカスフィルムにインスピレーションを与えた。 彼を雇うために VFXコンサルタントとして活動。

ディープフェイクの制限に適応

DeepFaceLab などのディープフェイク ソフトウェアの手法 フェイススワップ 典型的なウェブカメラ環境で十分に機能し、オフラインのディープフェイクを依然として悩ませる可能性がある真正性に対する障害の多くを取り除きます。

たとえば、ユーザーが横顔を向いたり（または見上げたり）、急速に移動したり、シーンの変化や照明の突然の変化にさらされたりした場合、ディープフェイクのパフォーマンスは説得力が低下します。

そのため、Zoomの典型的な通話やウェブカメラの「静的」な性質は、ソフトウェアの強みを活かすことになります。過去3年間で最も注目を集めたディープフェイクのトリックの多くは、スティーヴ・ブシェミをジェニファー・ローレンスに重ね合わせたような、限られた環境の中でカメラに直接向き合い、ほとんど動かないスピーカーを特徴としています。 オスカーのスピーチで、そしてさまざまな「カメラ向け」政治放送の変遷。

おそらく、DeepFaceLive に含まれるデフォルトのマーゴット ロビー モデルの使用が最も可能性が高い – カム実装テスト ビデオ 公表 ロシア人ユーザー「NoFace」によるDeepFaceLab Discordでの投稿。

8月52日午後7時XNUMX分修正 – 苗字を修正。
8月30日午後8時XNUMX分に修正 – Discordから画像を追加。