ディープフェイクおよび画像合成システムでの使用に対する画像のエンコード

ディープフェイク研究分野の最もよく知られている研究線は、ディープフェイク化された、合成された、またはその他に偽造されたまたは「編集された」顔の画像やビデオコンテンツのアーティファクトや他の特徴を認識できるシステムです。

これらのアプローチでは、深度検出、ビデオの規則性の破壊、モニターの照明の変化（潜在的なディープフェイクのライブビデオコールで）、生体特徴、外側の顔の領域、そして人間の潜在意識システムの隠された力など、さまざまな戦術を使用しています。

これら、そして同様の方法は、すべて、ディープフェイクや画像合成システムのトレーニングに使用される画像を、ディープフェイクや画像合成システムのトレーニングに使用される前に、不快なものにすることを目的としているという点で共通しています。

ディープフェイク/合成アーキテクチャに敵対的な画像

ディープフェイクや画像合成の脅威に対するより予防的なアプローチとして、この分野では、すべてのソース写真をAI画像合成システムに不快なものにする可能性を研究する、比較的よく知られていない研究線があります。通常は、ほとんど認識できない、またはわずかに認識できる方法で。

例としては、FakeTagger、2021年の米国とアジアの様々な機関からの提案があります。これは、画像にメッセージをエンコードするもので、これらのエンコードは一般化のプロセスに抵抗し、画像がウェブからスクラップされて、最も有名なthispersondoesnotexist.comやその多数の派生を体現するようなジェネレーティブ・アドバーサリアル・ネットワーク（GAN）にトレーニングされた後でも、回復できます。

FakeTaggerは、GANのトレーニング時の一般化プロセスに耐えることができ、特定の画像がシステムの生成能力に貢献したかどうかを判断することができる情報をエンコードします。 ソース: https://arxiv.org/pdf/2009.09869.pdf

ICCV 2021では、別の国際的な取り組みが、生成モデル用の人工指紋（以下の画像を参照）を導入しました。これは、StyleGAN2のような画像合成GANの出力から回復可能な「指紋」を生成します。

極端な操作、切り取り、顔の入れ替えにもかかわらず、ProGANを通過した指紋は回復可能です。 ソース: https://arxiv.org/pdf/2007.08457.pdf

この概念の他のバリエーションには、2018年のプロジェクト（IBM）やデジタルウォーターマーキングスキーム（日本）があります。

より革新的なのは、2021年の取り組み（南京航空航天大学）で、トレーニング画像を暗号化することで、画像は認可されたシステムでのみ効果的にトレーニングされ、汎用的な画像合成トレーニングパイプラインでソースデータとして使用された場合は、壊滅的に失敗するようにします。

これらの方法はすべて、ステガノグラフィーのカテゴリに分類されます。ただし、すべての場合、画像内のユニークな識別情報は、オートエンコーダーやGANアーキテクチャがそれを「ノイズ」として、または不要なデータとして却下しないように、画像の「特徴」としてエンコードする必要があります。

同時に、プロセスは、画像を歪曲させたり、視覚的に影響させたりしてはなりません。そうすれば、画像は、欠陥があるか、または低品質であると、カジュアルなビューアーに認識されるからです。

TAFIM

現在、ドイツの研究（ミュンヘン工科大学とソニー・ヨーロッパ RDC シュトゥットガルト）が、ディープフェイク モデルまたは StyleGAN タイプのフレームワークが処理された画像でトレーニングされた場合、出力が使用できない青または白になる画像エンコード技術を提案しています。

TAFIMの低レベル画像変調は、可能な顔の歪み/置換のいくつかのタイプに対処し、画像に基づいてトレーニングされたモデルは歪んだ出力が生成され、DeepFaceLiveのリアルタイムディープフェイクストリーミングなどのリアルタイムシナリオでも適用可能であると報告されています。 ソース: https://arxiv.org/pdf/2112.09151.pdf

論文「TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations」は、画像にほとんど認識できない変調をエンコードするためにニューラルネットワークを使用します。画像がトレーニングされ、合成アーキテクチャに一般化された後、結果として得られるモデルは、入力アイデンティティに対して、スタイルミックスまたは直截的な顔の入れ替えで使用された場合、色が変化した出力が生成されます。

ウェブの再エンコード..?

ただし、この場合、私たちは、最新のバージョンのこの人気の概念の詳細を調査することではなく、むしろアイデア全体の実用性を考慮することに関心があります。特に、Stable Diffusionのような画像合成フレームワークを動かすために、公開された画像をスクラップして使用することの増加する論争や、そこから生じる法的影響を考えると、です。

これらのプロアクティブな、エンコードベースのアプローチは、少なくとも、標準のウェブベースの処理ライブラリ（例：ImageMagick）に新しい圧縮ルーチンを導入することを伴います。これらのライブラリは、多くのソーシャルメディアのアップロードインターフェイスを含む、多くのアップロードプロセスを駆動し、元のユーザー画像を、軽量な共有とネットワーク配布に適した最適化されたバージョンに変換するために使用されます。

このアプローチが「以降」に実装されるか、または「歴史的な」メディアを対象とする、より広範な、後方への展開が意図されているかという、主な質問が生じます。

Netflixのようなプラットフォームは、新しいコーデックでバックカタログを再エンコードすることに反対していません。同様に、YouTubeの歴史的なコンテンツをH.264コーデックに変換することは、アップルTVのために行われたように、論理的に見て大きな作業ではありません。

皮肉にも、インターネット上のメディアコンテンツの大部分が、トレーニングに抵抗する形式に再エンコードされても、限られた有力なコンピュータビジョンデータセットは、影響を受けないままです。しかし、システムは、これらのデータセットを上流データとして使用し始めると、出力の品質が低下し始めます。なぜなら、ウォーターマーク付きコンテンツが、アーキテクチャの変換プロセスを妨げるからです。

政治的対立

政治的に言えば、AI開発で後れを取らないようにする政府の決意と、公的関心事に対処するための譲歩、つまり、オープンに利用可能なオーディオ、ビデオ、画像コンテンツを、変換AIシステムの豊富なリソースとして使用することへのもの、との間にある明らかな緊張があります。

公式には、西側諸国は、コンピュータビジョン研究部門が、インターネット上で公開されているメディアを使用できるようにすることに対して、寛大です。なぜなら、アジアのいくつかのより独裁的な国々は、研究ワークフローを自国の研究に利益をもたらすように形作るためのより大きな自由を持っているからです。中国が世界的リーダーになることを示唆する要因の1つです。

2022年4月、米国控訴裁判所は、公的に入手可能なウェブデータは、研究目的のために公平なゲームであることを確認しました。ただし、LinkedInは、プロフィールを保護することを望んでおり、継続的な抗議を続けています。

したがって、AI耐性画像が標準にならない場合、主要なトレーニングデータソースのいくつかは、独自の出力が潜在的なディープフェイクや画像合成システムで生産性を上げられないように、独自のシステムを実装することは不可能ではありません。

このような会社固有の展開の重要な要素は、画像が本質的にトレーニングに抵抗している必要があるということです。ブロックチェーンベースの出所技術や、コンテンツの真正性イニシアチブなどの動きは、画像が偽造されたか、または「スタイルGAN化」されたかどうかを証明することに関係していますが、可能な変換を可能にするメカニズムを防止するものではありません。

カジュアルインスペクション

画像の真正な出所を証明するために、ブロックチェーン方法を使用する提案がなされましたが、これ自体は、画像のトレーニングを防止したり、画像がトレーニングデータセットに含まれたことをシステムの出力から証明したりする方法は提供しません。

ウォーターマーキングアプローチを使用して画像をトレーニングから除外する場合、影響力のあるデータセットのソース画像が公開されていることを確認することは重要ではありません。Stable Diffusionの自由な画像の使用について、アーティストの怒りに対応して、haveibeentrained.comは、ユーザーが画像をアップロードして、LAION5Bデータセット（Stable Diffusionを動かす）に含まれている可能性があるかどうかを確認できるようにします。

‘Lenna’は、コンピュータビジョン研究のポスター ガールで、Stable Diffusionのコントリビューターです。 ソース: https://haveibeentrained.com/

ただし、ほとんどの従来のディープフェイク データセットは、インターネットから抽出されたビデオや画像から、非公開データベースにカジュアルに抽出されます。ここで、神経抵抗性ウォーターマーキングだけが、特定の画像の使用を、派生画像やビデオの作成に使用されたことを暴露することができます。

さらに、Stable Diffusionユーザーは、ファインチューニング（公式モデルチェックポイントのトレーニングの継続）またはテキストの転換を介して、LAIONの数十億の画像に表示されないコンテンツを追加し始めています。

ソースでのウォーターマークの埋め込み

ソース画像へのウォーターマーキングの埋め込みのさらに極端な潜在的な応用は、商用カメラの生のキャプチャ出力、ビデオ、または画像に、隠された情報を埋め込むことです。1990年代後半に実験され、実装されたこの概念は、実質的に、機械学習トレーニングシステムに抵抗するメディアコンテンツを作成する目的でも適用可能です。

1990年代後半の特許出願で、離散コサイン変換を使用して、ビデオや静止画像にステガノグラフィック「サブ画像」を埋め込むことが提案されました。これは、「デジタルレコーディングデバイス、たとえば静止画像およびビデオカメラとして」組み込まれた機能として機能することが示唆されました。

1990年代後半の特許出願で、Lennaは、必要に応じて回復できる、隠されたウォーターマークが埋め込まれています。 ソース: https://www.freepatentsonline.com/6983057.pdf

より単純なアプローチは、デバイスレベルで画像に明らかに表示されるウォーターマークを課すことですが、これはほとんどのユーザーにとって魅力的にありません。さらに、アーティストやプロのメディア実践者は、ソースデータを保護し、ブランドや禁止事項を追加することができます（少なくとも、ストック画像会社の場合）。

少なくとも1台のカメラは、オプションのロゴベースのウォーターマークの課題をサポートしています。これは、非認可の使用を信号することができます。ただし、AIを介したロゴの除去は、かなり簡単になり、商業化さえもされています。

初めて公開されたのは2022年9月25日です。