リアルタイムディープフェイクストリーミングのDeepFaceLive

ディープフェイクソフトウェアの中で最もよく使われているものであり、ディープフェイクポルノと最も強く関連しているDeepFaceLabは、新しい実装を得た。つまり、有名人の顔のライクネスをライブウェブカム映像に重ねることができる。

オープンソースリポジトリDeepFaceLiveは、Windows 10アプリケーションであり、DeepFaceLabの基礎に構築されている。DeepFaceLabは、ディープフェイクポルノのための顔スワッピングリソースとして急速に成長し、2018年にディープフェイクが世界的な論争を巻き起こした直後にオリジナルのディープフェイクソフトウェアの作者がプロジェクトを放棄した。両プロジェクトは、ディープフェイクポルノサイトmrdeepfakesのフォーラムセクションを公式のサポートリソースとしてリストしている。

開発者Ivan Petrovが4月にリリースしたDeepFaceLiveインターフェイスのビデオでは、ダウンロードしたMiles Fisherの映像をリアルタイムにTom Cruiseに変換する様子が見られる。ソース：https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

昨日、両プロジェクトのリーダーであるロシア人開発者Ivan Petrovは、プロジェクトのDiscordグループでDeepFaceLiveの新バージョンを発表し、DeepFaceLiveが女優マーゴット・ロビーをトレーニングしたモデルを組み込んだことを述べた。マーゴット・ロビーは、mrdeepfakesで頻繁にポルノグラフィックビデオの対象となる人物である。

マーゴット・ロビーのアイデンティティをウェブカムフィードのスピーカーにアタッチする能力を示すために、4つのサンプルビデオクリップがアップロードされている。

マーゴット・ロビーの生ディープフェイクデモの1つ。ソース：https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

マーゴット・ロビーの変身ビデオは当初Twitchに共有されたが、後に削除された。

DeepFaceLiveによって提供された他の3つのフェイススワッピングの例。ターゲットサブジェクトとのおおよそのフェイスマッチの要件はまだ証拠されている。左下の画像では、ソフトウェアが障害物を効果的にマスクできないことがわかる。DeepFaceLabのXSegアプリケーションでマスクをトレーニングする必要があるため、リアルタイムでフェイクすることはできない。

追加のデフォルトモデルとして、イギリスのコメディアン兼俳優ローワン・アトキンソンが近く利用できるようになる予定である。もともと、DeepFaceLiveリポジトリにはCELEB_MODELカテゴリがあり、そこでは他の有名人、トム・クルーズを含む、Open Neural Network Exchange（.onnx）ファイルとしてダウンロードすることができたが、これらのディレクトリは削除された。

2021年4月のDeepFaceLiveベータ版に組み込まれたアイデンティティとしてのトム・クルーズ。ただし、現在はパッケージから削除されたようだ。ただし、モデルはダウンロードしてインストールすることができ、他の多くの有名人のトレーニング済みモデルや、エンドユーザーによってカスタマイズされたモデルも利用できる。

DeepFaceLiveは、Windows 10アプリケーションとしてのみ実行され、NVIDIAのライブストリーミングBroadcastアプリケーションと組み合わせて使用することができることが、ユーザーによって報告されている。

アイデンティティの取得

ユーザーは、データセットを収集し、3〜10日間かかるフェイスマッチングプロセスを経る必要はなく、DeepFaceLiveのFAQでは、すでにコンパイルされた「パブリックフェイスモデル」を使用できることが述べられている。実際、最も大きなソースは、mrdeepfakesポルノサイトのフォーラムトレーニングモデル（アーカイブリンク）スレッドであり、ロシアのエンドユーザーによって最近のYouTubeビデオで使用されている。

Vladislav PedroがDeepFaceLiveを使用して、リアルタイムにトム・クルーズに変身する様子。ビデオでロードされるモデルはmrdeepfakesにホストされており、現在までオフラインのディープフェイク処理に使用されていた。ソース：https://www.youtube.com/watch?v=0TcCKtObSnI

最もよい結果は、エンドユーザーの顔とターゲットの有名人をトレーニングすることで得られるが、シミュレーションの品質は、エンドユーザーが有名人にどれだけ似ているかと直接比例する。エンドユーザーが有名人に比較的よく似ている場合、説得力のある結果が得られる。

上記のマーゴット・ロビー交換の最後の3つの画像で明らかなように、ソフトウェアはエンドユーザーの顔が根本的に異なる特徴を持つ場合には奇跡を起こすことができない。しかし、DeepFaceLabはまた、完全なヘッドスワップを実行することができ、ヘアスタイルに関する制限はあるが、ソースヘッドを完全に上書きする。Discordサーバーのコメントでは、これらもDeepFaceLiveで実装できることが確認されている。

DeepFaceLiveは現在、NVIDIAのGPUのみをサポートしており、GTX 750はアプリケーションで妥当な結果を得ることができる最低のハードウェアである。グラフィックスカードに4GBのVRAMがある場合、32GBのスワップディスクスペースも必要である。

マーゴット・ロビーモデルのトレーニング – Ivan PetrovがDeepFaceLab/DeepFaceLive Discordに投稿した画像。ここでは、ソースデータセットが非常に多様であることがわかり、オーストラリアの女優のイメージにさまざまなタイプの顔が変換できるように、頑健で一般化されたモデルを作成する意図がある。ほとんどの「A」セットは通常、単一の個人のものである。

ユーザーは、DeepFaceLiveがハードウェアリソースを大量に消費することを報告しているが、Petrovは、DeepFaceLiveが屋内環境での高性能PC向けに設計されていると主張している。

DeepFaceLabのGitHubは6,000回以上フォークされており、DeepFaceLiveには現在85のフォークがある。

可能な用途

ロシアのソーシャルサイトVK.comのスレッド（ロシア語）では、DeepFaceLiveの可能な用途について議論されており、ソフトウェアの可能な用途はすべて推測されている。つまり、Zoomなどのアプリケーションで匿名化または娯楽フィルターとして使用すること、生放送の視聴者を欺くために使用すること、および（ソフトウェアの出自とユーザーベースを考えると）おそらく最も可能性が高いのは、有名人を中心としたウェブカムベースのセックスワークを実装することである（記事の最後の画像参照）。

「ディープフェイクカムガール」の可能性は、2年前にメディアで取り上げられた。2020年に、Avatarifyアプリは、ディープフェイク有名人ウェブカム機能を発表したが、その品質は、DeepFaceLabによって設定された標準よりも低かった。DeepFaceLabは、最近のヘッドラインを飾ったトム・クルーズのディープフェイカーChris Umeや、世界中の高レベルな映画やテレビ制作会社にとって、ディープフェイクのリポジトリとしての選択肢となっている。

DeepFaceLabは、DeepFaceLiveの元となったアプリケーションであり、また、YouTubeの95%のディープフェイクのフレームワーク（ロシア語）である。Shamookが使用するソフトウェアでもあり、Shamookのディープフェイク作成者は、ルーク・スカイウォーカーのゲスト出演を改善した作品が、ルーカスフィルムによってVFXコンサルタントとして雇用されるきっかけとなった。

ディープフェイクの限界への適応

DeepFaceLabやFaceSwapなどのディープフェイクソフトウェアの方法論は、典型的なウェブカム環境に適しており、オフラインのディープフェイクでまだ発生する可能性のある、リアルなものとしての信憑性の障害を多く除去する。

たとえば、ディープフェイクは、ユーザーが横を向いたり（または上を見たり）、急速に動いたり、シーンが変化したり、照明が急に変化したりすると、説得力が低くなる。

したがって、典型的なZoomコールの「静的」性質は、ソフトウェアの強みを活かす。過去3年間で最も尊敬されるディープフェイクトリックの多くは、カメラの前で直接話し、制限された環境でほとんど動かないスピーカーを特集していた。たとえば、スティーブ・ブシェミをジェニファー・ローレンスの上に重ねたものや、政治放送の変身などである。

DeepFaceLabのDiscordでロシアのユーザー「NoFace」が公開した、DeepFaceLiveのデフォルトのマーゴット・ロビー モデルを使用したカム実装テストビデオ

8月7日20:52に修正 – 姓を修正。
8月8日20:30に修正 – Discordからの画像を追加。