画像の修復は、コンピューター ビジョンにおける古典的な問題の 1 つであり、画像内のマスクされた領域をもっともらしく自然な内容で復元することを目的としています。 Generative Adversarial Networks (GANS) や variational Auto-Encoders (VAE) などの従来の画像修復技術を使用する既存の作業では、多くの場合補助的な手動エンジニアリング機能が必要ですが、同時に満足のいく結果が得られません。過去数年にわたり、拡散ベースの手法は、その優れた高品質画像生成機能、出力の多様性、およびきめ細かい制御により、コンピュータ ビジョン コミュニティ内で人気が高まっています。テキストガイドによる画像修復に拡散モデルを採用する最初の試みでは、事前にトレーニングされた拡散モデルからマスクされた領域をサンプリングし、指定された画像からマスクされていない領域をサンプリングすることで、標準のノイズ除去戦略が修正されました。これらの方法では、単純な画像修復タスクでは満足のいくパフォーマンスが得られましたが、複雑なマスク形状、テキスト プロンプト、および画像コンテンツに問題があり、全体的に一貫性が欠如していました。これらの方法で観察される一貫性の欠如は、主に、マスク境界およびマスクされていない画像領域のコンテキストに関する知覚的知識が限られていることが原因である可能性があります。 

過去数年間にわたるこれらのモデルの進歩、研究、開発にもかかわらず、画像の修復は依然としてコンピューター ビジョン開発者にとって大きなハードルとなっています。画像修復タスク用の拡散モデルの現在の適応には、サンプリング戦略の変更が含まれているか、修復固有の拡散モデルの開発では、多くの場合、画像品質の低下やセマンティクスの一貫性の欠如が発生します。これらの課題に取り組み、画像修復モデルへの道を開くために、この記事では、ピクセルレベルでマスクされた画像の特徴を事前トレーニングされた拡散に埋め込む、新しいプラグアンドプレイのデュアルブランチエンジニアリングフレームワークである BrushNet について説明します。これにより、一貫性が保証され、画像修復タスクの結果が強化されます。 BrushNet フレームワークは、フレームワークが画像の特徴とノイズを含む潜在を別々のブランチに分割する新しいパラダイムを導入します。画像の特徴とノイズの多い潜在を分割することにより、モデルの学習負荷が大幅に軽減され、マスクされた重要な画像情報を階層的に微妙に組み込むことが容易になります。 BrushNet フレームワークに加えて、セグメンテーション ベースのパフォーマンス評価と画像修復トレーニングをそれぞれ容易にする BrushBench と BrushData についても説明します。 

この記事は、BrushNet フレームワークを詳しく説明することを目的としており、フレームワークのメカニズム、方法論、アーキテクチャを、最先端のフレームワークとの比較とともに検討します。それでは始めましょう。 

BrushNet: デュアル ブランチ拡散による画像修復

全体的な一貫性を維持しながら画像のミッション領域を復元しようとする手法である画像修復は、コンピューター ビジョンの分野で長年の問題であり、ここ数年開発者や研究者を悩ませてきました。画像修復は、画像編集や仮想試着など、さまざまなコンピューター ビジョン タスクに応用できます。最近ではこんなディフューザーモデルも 安定拡散、および Stable Diffusion 1.5 は、高品質の画像を生成する優れた能力を実証しており、ユーザーにセマンティックおよび構造的なコントロールを柔軟に制御できるようにします。拡散モデルの驚くべき可能性により、研究者は入力テキスト プロンプトに合わせた高品質の画像修復タスクに拡散モデルを利用するようになりました。 

従来の拡散ベースのテキスト ガイドによる修復フレームワークで採用されている方法は、2 つのカテゴリに分類できます。 サンプリング戦略の変更 や 専用の修復モデル。サンプリング戦略変更メソッドは、事前トレーニングされた拡散モデルからマスクされた領域をサンプリングし、各ノイズ除去ステップで指定された画像からマスクされていない領域をコピー＆ペーストすることによって、標準のノイズ除去プロセスを変更します。サンプリング戦略変更アプローチは任意の拡散モデルに実装できますが、マスク境界やマスクされていない画像領域のコンテキストに関する知覚的な知識が限られているため、一貫性のない修復結果が得られることがよくあります。一方、専用の修復モデルは、破損した画像とマスクを組み込むためにベース拡散モデルの入力チャネルの次元を拡張することによって特別に設計された画像修復モデルを微調整します。専用の修復モデルを使用すると、拡散モデルが特殊な形状認識モデルとコンテンツ認識モデルを使用してより満足のいく結果を生成できるようになりますが、それが画像修復モデルにとって最適なアーキテクチャ設計である場合とそうでない場合があります。 

次の図に示すように、専用の修復モデルは、マスクされたイメージの潜在画像、ノイズを含む潜在画像、テキスト、およびマスクを初期段階で融合します。このような専用の修復モデルのアーキテクチャ設計は、マスクされた画像の特徴に容易に影響を及ぼし、UNet アーキテクチャの後続の層がテキストの影響により純粋なマスクされた画像の特徴を取得するのを防ぎます。さらに、単一のブランチで生成と条件を処理すると、UNet アーキテクチャにさらなる負担がかかり、これらのアプローチでは拡散バックボーンのさまざまなバリエーションでの微調整も必要となるため、これらのアプローチは多くの場合、時間を浪費し、転送可能性が制限されます。 

マスクされたイメージの特徴を抽出するための専用のブランチを追加することが、上記の問題に対する適切な解決策であるように見えるかもしれませんが、既存のフレームワークを修復に直接適用すると、不適切な情報が抽出および挿入されることがよくあります。その結果、ControlNet などの既存のフレームワークは、専用の修復モデルと比較すると満足のいく結果が得られません。可能な限り最も効果的な方法でこの問題に取り組むために、BrushNet フレームワークは元の拡散ネットワークに追加のブランチを導入し、画像修復タスクにより適したアーキテクチャを作成します。 BrushNet フレームワークの設計とアーキテクチャは 3 つのポイントに要約できます。 

1. BrushNet フレームワークは、畳み込み層をランダムに初期化する代わりに、VAE エンコーダーを実装してマスクされたイメージを処理します。その結果、BrushNet フレームワークは、UNet ディストリビューションに適応させるための画像特徴をより効果的に抽出できるようになります。 
2. BrishNet フレームワークは、完全な UNet 機能を層ごとに段階的に事前トレーニングされた UNet アーキテクチャに組み込みます。これは、ピクセルごとの高密度な制御を可能にする階層的アプローチです。 
3. BrushNet フレームワークは、UNet コンポーネントからテキストのクロスアテンションを削除し、純粋な画像情報が追加ブランチで考慮されるようにします。さらに、BrushNet モデルは、画像のマスクされていない領域でより高い範囲の制御性とともに、より優れた一貫性を達成するために、ぼやけたブレンド戦略を実装することも提案しています。 

BrushNet : メソッドとアーキテクチャ

次の図は、BrushNet フレームワークの概要を示しています。 

見てわかるように、フレームワークはマスクされたイメージ ガイダンスの挿入にデュアル ブランチ戦略を採用し、ぼかしたマスクとのブレンディング操作を使用して、マスクされていない領域をより適切に保存します。 BrushNet フレームワークでは、追加されたスケールを調整して柔軟な制御を実現できることは注目に値します。指定されたマスクされたイメージ入力およびマスクに対して、BrushNet モデルは修復されたイメージを出力します。モデルはまず、潜在空間のサイズに合わせてマスクをダウンサンプリングし、マスクされたイメージが入力として VAE エンコーダーに供給されて、潜在空間の分布を調整します。次にモデルは、マスクされたイメージの潜在画像、ノイズを含む潜在画像、およびダウンサンプリングされたマスクを連結し、それを入力として使用します。モデルが抽出した特徴は、ゼロ畳み込みブロックの後に事前トレーニングされた UNet 層に追加されます。ノイズ除去後、モデルはマスクされたイメージと、ぼかしたマスクを使用して生成されたイメージをブレンドします。 

マスク画像ガイダンス

BrushNet フレームワークは、マスクされた画像の特徴抽出を画像生成のプロセスから明示的に分離する追加のブランチを使用して、マスクされた画像の特徴を事前トレーニングされた拡散ネットワークに挿入します。入力は、マスクされたイメージ潜在、ノイズを含む潜在、およびダウンサンプリングされたマスクを連結することによって形成されます。より具体的には、ノイズを含む潜在は、現在の生成プロセス中に画像生成のための情報を提供し、フレームワークがマスクされた画像特徴の意味論的一貫性を強化するのに役立ちます。次に、BrushNet フレームワークは、変分 AutoEncoder を使用して、マスクされたイメージから潜在的なマスクされたイメージを抽出します。さらに、フレームワークは三次補間を使用してマスクをダウンサンプリングし、マスク サイズがマスクされた画像潜在およびノイズを含む潜在と確実に一致するように試みます。マスクされた画像の特徴を処理するために、BrushNet フレームワークは事前トレーニングされた拡散モデルのクローンを実装し、拡散モデルのクロスアテンション層を除外します。その理由は、拡散モデルの事前トレーニングされた重みが、マスクされた画像の特徴を抽出するための強力な事前条件として機能し、クロスアテンション層を除外することで、モデルが追加のブランチ内の純粋な画像情報のみを考慮することが保証されるためです。 BrushNet フレームワークは、フリーズされた拡散モデルにレイヤーごとに特徴を挿入するため、ピクセルごとの階層的高密度制御が可能になります。また、ゼロ畳み込みレイヤーを使用してトレーニング可能な BrushNet モデルとロックされたモデルの間の接続を確立し、有害なノイズが確実に除去されるようにします。初期トレーニング段階では、トレーニング可能なコピーの隠れ状態には影響しません。 

ブレンディング操作

前述したように、潜在空間でブレンド操作を実行するとマスクのサイズが変更されるため、多くの場合不正確さが生じます。また、BrushNet フレームワークでは、潜在空間のサイズに合わせてマスクのサイズを変更するときに同様の問題が発生します。さらに、変分 AutoEncoder でのエンコードおよびデコード操作には固有の制限された操作があり、完全な画像再構成が保証されない可能性があることに注意してください。フレームワークがマスクされていない領域の完全に一貫した画像を再構築することを保証するために、既存の研究では、元の画像からマスクされていない領域をコピーするなど、さまざまな手法が実装されています。このアプローチは機能しますが、多くの場合、最終結果の生成において意味上の一貫性が欠如します。一方、潜在ブレンディング操作を採用するような他の方法では、マスクされていない領域に必要な情報を保存することが困難になります。 

柔軟な制御

BrushNet フレームワークのアーキテクチャ設計により、さまざまな事前トレーニングされた拡散モデルへの本質的なプラグ アンド プレイ統合に適した選択肢となり、柔軟な保存スケールが可能になります。 BrishNet フレームワークは事前トレーニングされた拡散モデルの重みを変更しないため、開発者はプラグ アンド プレイ コンポーネントとして微調整された拡散モデルと統合できる柔軟性があり、事前トレーニングされたモデルの導入と実験が容易になります。さらに、開発者は、保存スケールに対する BrushNet フレームワークの影響を決定する特定の重み w を使用して、BrushNet モデルの機能を凍結拡散モデルに組み込むことで、マスクされていない領域の保存スケールを制御するオプションも提供します。必要な保存レベルを調整する機能。最後に、BrushNet フレームワークを使用すると、ユーザーはぼかしスケールを調整し、ぼかし操作を実装するかどうかを決定できるため、マスクされていない領域の保存スケールを簡単にカスタマイズでき、画像修復プロセスに対する柔軟な調整ときめ細かい制御の余地が生まれます。 。 

BrushNet : 実装と結果

その結果を分析するために、BrushNet フレームワークは BrushBench を提案します。 セグメンテーションベース 600 を超える画像を含む画像修復データセット。各画像には人間による注釈付きのマスクとキャプションの注釈が付いています。ベンチマーク データセット内の画像は、自然画像と人工画像の間で均等に分散され、また、異なるカテゴリ間でも均等に分散されるため、異なるカテゴリ間での公平な評価が可能になります。修復タスクの分析をさらに強化するために、BrushNet フレームワークは、使用される方法 (セグメンテーション ベースとブラシ マスク) に基づいてデータセットを XNUMX つの異なる部分に分類します。 

定量比較

次の表は、BrushNet フレームワークと、Stable Diffusion をベース モデルとした BrushBench データセット上の既存の拡散ベースの画像修復モデルとを比較しています。 

ご覧のとおり、BrushNet フレームワークは、マスクされた領域の保存、テキストの配置、および画像品質にわたって顕著な効率を示しています。さらに、Stable Diffusion Inpainting のようなモデル、 HDペインター、PowerPaint などは、画像の内部修復タスクでは優れたパフォーマンスを示しますが、外部修復タスクでは、特にテキストの配置と画像品質の点でパフォーマンスを再現できません。全体として、BrushNet フレームワークは最も強力な結果をもたらします。 

さらに、次の表では、BrushNet フレームワークと EditBench データセット上の既存の拡散ベースの画像修復モデルを比較しています。パフォーマンスは BrushBench データセットで観察されたものと同等です。結果は、BrushNet フレームワークが、さまざまなマスク タイプを使用した幅広い画像修復タスクにわたって強力なパフォーマンスを提供することを示しています。 

定性的な比較

次の図は、BrushNet フレームワークと既存の画像修復手法を定性的に比較したもので、ランダム マスク修復、修復内部のセグメンテーション マスク、修復外部のセグメンテーション マスクなど、さまざまな修復タスクにわたる人工知能と自然画像をカバーする結果が示されています。 

ご覧のとおり、BrushNet フレームワークはマスクされていない領域とコヒーレント領域のコヒーレンスにおいて顕著な結果をもたらし、デュアル ブランチ デカップリング アプローチの実装により背景情報の認識をうまく実現しています。さらに、事前トレーニングされた拡散モデルの未加工のブランチには、アニメやペイントなどのさまざまなデータ ドメインをより適切にカバーできるという利点もあり、その結果、さまざまなシナリオでパフォーマンスが向上します。 

最終的な考え

この記事では、BrushNet について説明しました。これは、ピクセル レベルでマスクされた画像の特徴を事前トレーニング済みの拡散モデルに埋め込み、一貫性を保証し、画像修復タスクの結果を向上させる、新しいプラグ アンド プレイのデュアル ブランチ エンジニアリング フレームワークです。 BrushNet フレームワークは、画像の特徴とノイズを含む潜在を別々のブランチに分割する新しいパラダイムを導入しています。画像の特徴とノイズの多い潜在を分割することにより、モデルの学習負荷が大幅に軽減され、マスクされた重要な画像情報を階層的に微妙に組み込むことが容易になります。 BrushNet フレームワークに加えて、セグメンテーション ベースのパフォーマンス評価と画像修復トレーニングをそれぞれ容易にする BrushBench と BrushData についても説明します。