AIモデルとプラットフォーム
DiffSeg:Stable Diffusionを用いた教師なしゼロショットセグメンテーション
要点DiffSegは、学習やラベルを一切必要とせず、Stable Diffusionの自己注意層からセグメンテーションマスクを生成します。
もっと見る
- DiffSegは、学習やラベルを一切必要とせず、Stable Diffusionの自己注意層からセグメンテーションマスクを生成します。
- 従来の教師なし手法とは異なり、クラスタ数を指定する必要のない新しいマージプロセスを採用しています。
- このアルゴリズムは、CityscapesやCOCO-stuffなどのベンチマークにおいて、ゼロショットセグメンテーションで最先端の性能を達成しています。
コンピュータビジョンモデルにおける重要な課題の1つは、高品質のセグメンテーションマスクの生成です。最近の大規模な教師ありトレーニングの進歩により、さまざまな画像スタイルでのゼロショットセグメンテーションが可能になりました。さらに、教師なしトレーニングにより、広範な注釈の必要性なくセグメンテーションが簡素化されました。ただし、注釈なしのゼロショット設定で任意の対象をセグメンテーションできるコンピュータビジョンフレームワークを構築することは、まだ複雑なタスクです。コンピュータビジョンモデルにおける基本的な概念であるセマンティックセグメンテーションは、画像を統一的なセマンティクスを持つ小さな領域に分割することを含みます。この技術は、医療画像、画像編集、自動運転など、多くのダウンストリームタスクの基盤を提供します。
コンピュータビジョンモデルを発展させるために、画像セグメンテーションがカテゴリ数が限られた固定データセットに限定されないことが重要です。代わりに、さまざまなアプリケーションのための汎用的な基礎タスクとして機能する必要があります。ただし、ピクセルごとのラベルを収集するコストは高く、ゼロショットと教師ありセグメンテーション方法の進歩を制限しています。この記事では、Stable Diffusionモデルの自己アテンション層を使用して、適切な注釈なしでゼロショット設定で何でもセグメンテーションできるモデルの構築を可能にする方法について説明します。これらの自己アテンション層は、事前トレーニングされたStable Diffusionモデルによって学習されたオブジェクトの概念を固有に理解しています。
DiffSeg : 高度なゼロショットセグメンテーションアルゴリズム
セマンティックセグメンテーションは、画像をさまざまなセクションに分割するプロセスであり、各セクションは類似したセマンティクスを共有します。この技術は、多くのダウンストリームタスクの基盤を提供します。従来、ゼロショットコンピュータビジョンタスクは、教師ありセマンティックセグメンテーションに依存しており、大規模なデータセットと注釈付きのカテゴリを使用していました。ただし、ゼロショット設定で教師なしセマンティックセグメンテーションを実装することは、まだ課題です。伝統的な教師あり方法は有効ですが、ピクセル単位のラベル付け費用は高すぎることが多く、注釈付きデータも対象データの事前知識も不要な、制約の少ないゼロショット設定で教師なしセグメンテーション手法を開発する必要があります。
この制限を解決するために、DiffSeg は、Stable Diffusionフレームワークを使用して、ゼロショット転送が可能な汎用的なセグメンテーションモデルを構築するための新しいポストプロセッシング戦略を導入します。Stable Diffusionフレームワークは、高解像度画像を生成する能力を証明しており、生成された画像に対して、対応するテキストプロンプトを使ってセグメンテーションマスクを生成できますが、その対象は通常、前景の主要な物体に限られます。ただし、DiffSeg は、拡散モデルの自己アテンション層からのアテンションテンソルを使用してセグメンテーションマスクを生成する革新的なポストプロセッシング方法です。
DiffSeg アルゴリズムは、3 つの主要なコンポーネントで構成されています。アテンションテンソルを合計し、アテンションマップを反復的にマージし、非極大値抑制を実行します。これらのコンポーネントは、以下の画像に示されています。

DiffSeg アルゴリズムは、アテンションテンソルを空間的一貫性を持つ 4 次元のテンソルとして扱い、さまざまな解像度のアテンションマップを反復的にマージします。アンカー ポイントをサンプリングしてマージ プロセスを開始し、同じオブジェクトのアンカーを最終的に吸収します。KLダイバージェンスを使用して、アテンションマップ間の類似性を測定し、マージ プロセスを制御します。
クラスタリングベースの教師なしセグメンテーション方法と比較して、DiffSeg アルゴリズムでは、クラスタの数を事前に指定する必要はありません。また、追加のリソースを使用せずにセグメンテーションを生成できます。DiffSeg アルゴリズムは、「事前トレーニングされたStable Diffusionモデルを使用して、追加のリソースや事前の知識なしで画像をセグメンテーションできる、新しい教師なしゼロショットセグメンテーション方法です。」
DiffSeg : 基礎概念
DiffSeg は、拡散モデル、教師なしセグメンテーション、ゼロショットセグメンテーションの知識を基盤としています。
拡散モデル
DiffSeg アルゴリズムは、事前トレーニングされた拡散モデルからの知識を基盤としています。拡散モデルは、画像を生成するための最も人気のあるフレームワークの 1 つであり、画像を生成するため、サンプリングした等方的なガウシアンノイズ画像を用いて、順方向と逆方向の拡散過程を学習します。Stable Diffusionは、拡散モデルの最も人気のあるバリアントであり、教師ありセグメンテーション、ゼロショット分類、セマンティック対応付け、ラベル効率的なセグメンテーション、オープンボキャブラリー セグメンテーションなどのタスクを実行するために使用されます。ただし、拡散モデルには、高次元の視覚特徴に依存するという問題があり、追加のトレーニングが必要になることがあります。
教師なしセグメンテーション
DiffSeg アルゴリズムは、教師なしセグメンテーションと密接に関連しています。教師なしセグメンテーションは、注釈なしで密なセグメンテーション マスクを生成するための現代的な AI の実践です。ただし、良いパフォーマンスを発揮するには、ターゲット データセットに対する事前の教師なしトレーニングが必要です。教師なしセグメンテーション モデルは、事前学習済みモデルを使うクラスタリングと、不変性に基づくクラスタリングの二つに分かれます。前者は事前学習で得た識別的特徴を使ってマスクを生成します。後者は汎用クラスタリングアルゴリズムで二画像間の相互情報量を最適化し、画像を意味的なクラスタに分割しながら、セグメンテーションの退化を避けます。
ゼロショットセグメンテーション
DiffSeg アルゴリズムは、ゼロショットセグメンテーション フレームワークと密接に関連しています。ゼロショットセグメンテーション モデルは、事前のトレーニングやデータの知識なしで何でもセグメンテーションできる能力を示しています。ゼロショットセグメンテーション モデルは、最近、ゼロショット転送能力を示していますが、テキスト入力とプロンプトが必要です。対照的に、DiffSeg アルゴリズムは、拡散モデルを使用して、物体の内容を知らなくても、複数画像への問い合わせや画像合成を行わずにセグメンテーションを生成します。
DiffSeg : 方法とアーキテクチャ
DiffSeg アルゴリズムは、事前トレーニングされたStable Diffusionモデルの自己アテンション層を使用して、高品質のセグメンテーション タスクを生成します。
Stable Diffusionモデル
Stable Diffusionは、DiffSeg フレームワークの基本的な概念の 1 つです。Stable Diffusionは、生成的な AI フレームワークであり、最も人気のある拡散モデルの 1 つです。拡散モデルの主な特徴の 1 つは、前向きと後向きのパスです。前向きのパスでは、画像に少量のガウシアンノイズが加算され、画像が等方的なガウシアンノイズ画像になるまで、各時間ステップで反復的にノイズが加算されます。一方、後向きのパスでは、等方的なガウシアンノイズ画像からノイズが反復的に除去され、元の画像が回復します。
Stable Diffusionフレームワークは、エンコーダーとデコーダーを使用し、U-Net デザインに注意層を使用します。エンコーダーは、画像を小さい空間次元の潜在的な空間に圧縮し、デコーダーは圧縮された表現から画像を復元します。U-Net アーキテクチャは、モジュラー ブロックのスタックで構成されています。各ブロックは、トランスフォーマー層または ResNet 層のいずれかで構成されています。
コンポーネントとアーキテクチャ
拡散モデルの自己アテンション層は、固有のオブジェクトの情報を空間的なアテンションマップの形式でグループ化し、DiffSeg は、アテンションテンソルを有効なセグメンテーション マスクにマージするための新しいポストプロセッシング方法です。DiffSeg のパイプラインは、注意の集約、非極大値抑制、反復的な注意のマージの 3 つの主なコンポーネントで構成されています。
注意の集約
入力画像が U-Net 層とエンコーダーを通過すると、Stable Diffusionモデルは、合計16個のアテンションテンソルを生成します。16 個のテンソルを生成する主な目標は、さまざまな解像度のアテンションテンソルを可能な限り高解像度のテンソルに集約することです。これを実現するために、DiffSeg アルゴリズムは、4 次元のテンソルをそれぞれ別々に扱います。
四つの次元のうち、後ろの二次元は解像度こそ異なりますが、空間的には対応しています。二次元空間マップが、各位置と空間全体の位置との相関を表すためです。したがって、DiffSeg フレームワークは、すべてのアテンションマップのこれら 2 次元を、64 x 64 の最高解像度にサンプリングします。一方、最初の 2 次元は、アテンションマップの位置参照を示します。

これらの次元はアテンションマップの位置を参照するため、アテンションマップはそれぞれ別々に集約する必要があります。また、集約されたアテンションマップが有効な分布を持つように、集約後に分布を正規化します。各アテンションマップは、解像度に比例した重みが与えられます。
反復的な注意のマージ
注意の集約の主な目標は、アテンションテンソルを計算することですが、次の目標は、テンソル内のアテンションマップを複数の物体候補に統合することです。各プロポーザルには、 Stuff カテゴリーまたは単一のオブジェクトのアクティベーションが含まれます。K-平均アルゴリズムを有効な分布のテンソルに実装して、オブジェクトのクラスターを見つけることができます。ただし、K-平均は最適な解決策ではありません。K-平均クラスタリングでは、クラスターの数を事前に指定する必要があります。また、K-平均アルゴリズムの実装は、ランダムな初期化に依存するため、同じ画像に対して異なる結果になる可能性があります。障害を克服するために、DiffSeg フレームワークは、サンプリンググリッドを作り、アテンションマップを反復的に統合して物体候補を生成する方法を提案します。
非極大値抑制
先のアテンションマップの反復統合ステップは、オブジェクト プロポーザルのリストを生成します。各オブジェクト プロポーザルには、オブジェクトのアクティベーションが含まれます。DiffSeg フレームワークは、リストのオブジェクト プロポーザルを有効なセグメンテーション マスクに変換するために、非極大値抑制を使用します。このプロセスは、各要素がすでに確率分布のマップであるため、有効なアプローチです。すべてのマップに対して、各空間位置で最大の確率のインデックスを取り、対応するマップのインデックスに基づいてメンバーシップを割り当てます。
DiffSeg : 実験と結果
教師なしセグメンテーションを扱うフレームワークは、Cityscapes と COCO-stuff-27 という 2 つのセグメンテーション ベンチマークを使用します。Cityscapes ベンチマークは、27 のミッドレベル カテゴリーを持つ自律走行データセットです。一方、COCO-stuff-27 ベンチマークは、80 の物体と 91 のカテゴリを 27 のカテゴリにまとめた、COCO-stuff データセットのカスタマイズされたバージョンです。また、DiffSeg フレームワークは、セグメンテーションのパフォーマンスを分析するために、平均IoU(領域の共通部分を和集合で割った値の平均、mIoU) とピクセル精度 (ACC) を使用します。DiffSeg アルゴリズムは、セマンティック ラベルを提供できないため、ハンガリアン マッチング アルゴリズムを使用して、各予測マスクにグラウンド トゥルース マスクを割り当てます。予測マスクの数がグラウンド トゥルース マスクの数を超える場合、フレームワークは、対応する正解のない予測マスクを偽陰性として考慮します。
さらに、DiffSeg フレームワークは、推論時に必要となる条件を三つの観点から検討しています。言語依存 (LD)、教師なし適応 (UA)、および補助画像 (AX) です。言語依存とは、セグメンテーションを促進するために、画像の記述的なテキスト入力が必要であることを意味します。教師なし適応とは、ターゲット データセットで教師なしトレーニングを使用することを意味します。補助画像とは、画像をセグメンテーションするために、合成画像または参照画像のプールを使用することを意味します。
結果
COCO ベンチマークでは、DiffSeg フレームワークは、2 つの K-平均ベースライン、K-Means-S と K-Means-C を含みます。K-Means-C ベースラインは、評価される画像のオブジェクトの数の平均に基づいて 6 つのクラスターを計算します。一方、K-Means-S ベースラインは、各画像のグラウンド トゥルースのオブジェクトの数に基づいて、各画像に特定の数のクラスターを使用します。両方のベースラインの結果は、以下の画像に示されています。

結果から、K-平均ベースラインが既存の方法を上回っていることがわかります。これは、自己アテンションテンソルを使用することの利点を示しています。K-Means-S ベースラインが K-Means-C ベースラインを上回っていることは、クラスターの数が重要なハイパーパラメータであることを示しています。さらに、DiffSeg フレームワークは、K-平均ベースラインを上回り、より良いセグメンテーションを提供し、K-平均ベースラインの欠点を回避する能力を示しています。
Cityscapesデータセットでは、DiffSegは解像度320の入力を使う手法と同程度の結果を示し、より高い解像度512の入力を使う手法に対しては精度とmIoUの両方で上回っています。

DiffSeg フレームワークは、次の画像に示されているように、複数のハイパーパラメータを使用します。

注意の集約は、DiffSeg フレームワークで使用される基本的な概念の 1 つです。解像度が一定の場合、さまざまな集約重みを使用した場合の影響は、以下の画像に示されています。

結果から、図(b)の高解像度マップ(64 x 64) が最も詳細なセグメンテーションを生成することがわかります。ただし、セグメンテーションには一部の可視的な亀裂があります。一方、低解像度マップ (32 x 32) は詳細を過剰にセグメンテーションする傾向がありますが、より一貫性のあるセグメンテーションを生成します。図(d)の低解像度マップでは、現在のハイパーパラメータ設定の下で画像全体が単一の物体に統合され、セグメンテーションを生成できません。最後に、比例集約戦略を使用すると (a)、詳細と一貫性のバランスが取れたセグメンテーションが生成されます。
最終的な考え
ゼロショット教師なしセグメンテーションは、コンピュータビジョンフレームワークにとって、依然として大きな課題です。既存のモデルは、非ゼロショット教師なし適応または外部リソースに依存しています。この課題を克服するために、Stable Diffusionモデルの自己アテンション層を使用して、適切な注釈なしでゼロショット設定で何でもセグメンテーションできるモデルの構築を可能にする方法について説明しました。また、DiffSeg という新しいポストプロセッシング戦略についても説明しました。DiffSeg は、Stable Diffusionフレームワークを使用して、ゼロショット転送が可能な汎用的なセグメンテーションモデルを構築することを目的としています。アルゴリズムは、アテンションマップを反復的にマージして有効なセグメンテーションマスクを生成するために、相互注意類似性と内部注意類似性を使用します。DiffSeg は、人気のあるベンチマークで最先端のパフォーマンスを達成します。












