過去数年間、チューニングベースの拡散モデルは、画像のパーソナライゼーションやカスタマイズタスクの幅広い分野で著しい進歩を遂げてきました。しかし、現在のチューニングベースの拡散モデルは、スタイル一致した画像の生成やスタイル転送タスクで複雑な課題に直面しています。その理由は3つあります。第一に、スタイルの概念は未だに広く定義されていないため、雰囲気、構造、デザイン、材質、色など多くの要素を含みます。第二に、逆変換ベースの方法はスタイル劣化の影響を受けやすく、細かい詳細が失われることがよくあります。第三に、アダプタベースのアプローチでは、テキストの制御可能性とスタイルの強度のバランスを取るために、各リファレンス画像ごとに頻繁に重みを調整する必要があります。

さらに、スタイル転送アプローチまたはスタイル画像生成の主な目的は、リファレンス画像またはリファレンス画像のサブセットから特定のスタイルを抽出し、ターゲットコンテンツ画像に適用することです。しかし、スタイルの属性が多数あるため、研究者はスタイルを正確に表現し、転送の成功を評価することが難しくなります。以前のモデルやフレームワークでは、共通のスタイルを持つ画像のデータセットをファインチューニングするプロセスが行われていましたが、これは時間がかかり、現実世界のタスクでは限られた汎用性しかありませんでした。

この記事では、InstantStyleフレームワークについて説明します。InstantStyleフレームワークは、画像生成やカスタマイズのための現在のチューニングベースの拡散モデルで発生する問題に対処することを目的として設計されています。InstantStyleフレームワークでは、2つの重要な戦略が実装されています：

1. リファレンス画像内でのスタイルとコンテンツの簡単で有効な切り離しアプローチ。特徴空間内での特徴の加算や減算が可能であるという仮定に基づいています。
2. スタイル漏れを防ぐために、リファレンス画像の特徴をスタイル固有のブロックにのみ注入し、ファインチューニングのために重みを使用する必要性を回避します。

この記事では、InstantStyleフレームワークのメカニズム、方法論、建築について深く掘り下げ、他の最先端のフレームワークとの比較について説明します。また、InstantStyleフレームワークが著しい視覚的なスタイル化の成果を示し、テキスト要素の制御可能性とスタイルの強度の間で最適なバランスを実現することを示します。

InstantStyle : テキストからイメージ生成におけるスタイル保存

拡散ベースのテキストからイメージ生成AIフレームワークは、カスタマイズやパーソナライゼーションタスクで著しい成功を収めてきました。しかし、スタイル転送は未だに研究者にとって課題的なタスクであり、スタイルの概念は未だに定義されていないため、スタイルを正確に表現し、転送の成功を評価することが難しくなります。 以前のモデルやフレームワークでは、共通のスタイルを持つ画像のデータセットをファインチューニングするプロセスが行われていましたが、これは時間がかかり、現実世界のタスクでは限られた汎用性しかありませんでした。

現在のアプローチでは、研究者はスタイル転送やスタイル画像生成のためのファインチューニングアプローチに興味を示しています。これらのフレームワークは、2つのグループに分けられます：

• アダプタフリーアプローチ：アダプタフリーのアプローチでは、自己注意メカニズムを利用して、リファレンススタイル画像から重要な特徴を抽出します。

• アダプタベースアプローチ：アダプタベースのアプローチでは、軽量のモデルを使用して、リファレンススタイル画像から詳細な画像表現を抽出します。次に、クロス注意メカニズムを使用して、画像表現を拡散プロセスに統合します。

しかし、これらのアプローチにも課題があります。アダプタフリーのアプローチでは、自己注意層内でのキーと値の交換が必要であり、リファレンススタイル画像から得られたキーと値の行列を事前にキャッチする必要があります。アダプタベースのアプローチでは、コンテンツ漏れを防ぐために、スタイルとコンテンツを効果的に切り離す必要があります。

InstantStyleフレームワークは、これらの課題に対処するために導入されました。InstantStyleフレームワークは、既存のアダプタベースの方法に基づく、新しいチューニングフリーメカニズムです。InstantStyleフレームワークは、スタイルとコンテンツの切り離しを効果的に実現し、追加の方法やペア化データセットの構築を必要としません。

以前のアダプタベースのフレームワークでは、CLIPベースの方法で画像特徴抽出器として使用されていました。InstantStyleフレームワークでは、CLIPの特徴を利用して、コンテンツテキストの特徴を抽出し、リファレンス画像の特徴を抽出します。CLIPのグローバル特徴を利用して、コンテンツテキストの特徴を画像特徴から減算することで、スタイルとコンテンツの切り離しを実現します。

InstantStyleフレームワークは、2つのシンプルで有効な戦略を実装しています。第一に、リファレンス画像内でのスタイルとコンテンツの切り離しを実現します。第二に、スタイル漏れを防ぐために、リファレンス画像の特徴をスタイル固有のブロックにのみ注入します。

Instant-Style: 方法論とアーキテクチャ

以前のアプローチでは、チューニングフリーディフュージョンモデルにおけるスタイル条件の注入のバランスが重要です。スタイル条件の強度が高すぎると、コンテンツ漏れが発生する可能性があります。一方、スタイル条件の強度が低すぎると、スタイルが不十分になる可能性があります。これは、画像内でのスタイルとコンテンツが密接に結びついているため、スタイルとコンテンツの切り離しを実現することが難しいからです。

Instant-Styleフレームワークでは、コンテンツとスタイルの切り離しを実現するために、シンプルで有効なアプローチを採用しています。CLIPのテキストエンコーダーを使用して、コンテンツテキストの特徴を抽出し、CLIPの画像エンコーダーを使用して、リファレンス画像の特徴を抽出します。CLIPのグローバル特徴を利用して、コンテンツテキストの特徴を画像特徴から減算することで、スタイルとコンテンツの切り離しを実現します。

さらに、Instant-Styleフレームワークでは、スタイル情報を抽出するために、特定の層を使用します。特に、ブロック.0.アテンション.1とダウンブロック.2.アテンション.1層は、スタイル情報を抽出するために使用されます。Instant-Styleフレームワークでは、スタイルブロックにのみ画像特徴を注入することで、コンテンツ漏れを防ぎます。

Instant-Style : 実験と結果

Instant-Styleフレームワークは、Stable Diffusion XLフレームワーク上で実装され、IRアダプタを使用して、メソッドの有効性を検証します。Instant-Styleモデルは、4百万のテキスト画像ペアデータセットを使用して、IRアダプタをスクラッチから訓練します。

Instant-Styleフレームワークの汎用性とロバスト性を評価するために、さまざまなスタイルの画像に対するスタイル転送実験が行われました。結果は以下の画像で示されています。単一のスタイルリファレンス画像とさまざまなプロンプトに対して、Instant-Styleフレームワークは、高品質のスタイル画像を生成します。

さらに、Instant-Styleフレームワークでは、スタイルブロックにのみ画像情報を注入することで、コンテンツ漏れを大幅に軽減します。したがって、重みのチューニングの必要性がなくなります。

また、Instant-Styleフレームワークでは、ControlNetアーキテクチャを使用して、画像ベースのスタイル化を実現します。結果は以下の画像で示されています。

Instant-Styleフレームワークは、StyleAlign、B-LoRA、Swapping Self Attention、IP-Adapterなどの既存の最先端の方法と比較して、最も優れた視覚的な効果を示しています。

最終的な考え

この記事では、Instant-Styleフレームワークについて説明しました。Instant-Styleフレームワークは、リファレンス画像からスタイルとコンテンツを切り離すために、2つのシンプルで有効な戦略を実装しています。Instant-Styleフレームワークは、画像生成やカスタマイズのための現在のチューニングベースの拡散モデルで発生する問題に対処するために設計されています。Instant-Styleフレームワークは、スタイル転送タスクで著しい視覚的なスタイル化の成果を示し、テキスト要素の制御可能性とスタイルの強度の間で最適なバランスを実現します。