LASS（Language-queried Audio Source Separation）または言語クエリ音源分離は、CASA（Computational Auditory Scene Analysis）または計算聴覚シーン分析の新しいパラダイムであり、自然言語クエリを使用して音の混合からターゲット音を分離することを目的としています。LASSフレームワークは、特定の音源（例：楽器）に対する望ましいパフォーマンスを達成する点で、近年大幅に進歩しましたが、オープンドメインではターゲット音を分離することができません。

AudioSepは、LASSフレームワークの現在の限界を解決することを目的とした基礎モデルであり、自然言語クエリを使用してターゲット音を分離します。AudioSepフレームワークの開発者は、モデルを幅広い大規模な多モーダルデータセットで徹底的にトレーニングしており、音楽楽器分離、音イベント分離、スピーチ強化など多数のオーディオタスクでモデルを評価しました。AudioSepの初期パフォーマンスはベンチマークを満たしており、印象的なゼロショットラーニング能力と強力なオーディオ分離パフォーマンスを示しています。

この記事では、AudioSepフレームワークのアーキテクチャ、トレーニングと評価に使用されるデータセット、モデルが動作する際に関与する重要な概念について詳細に説明します。まず、CASAフレームワークの基本的な紹介から始めましょう。

CASA、USS、QSS、LASSフレームワーク: AudioSepの基礎

CASA（Computational Auditory Scene Analysis）フレームワークは、開発者が人間の聴覚システムと同様に複雑な音環境を認識できるマシン聴覚システムを設計するために使用されるフレームワークです。音分離、特にターゲット音分離は、CASAフレームワーク内の基本的な研究分野であり、実世界のオーディオレコーディングを個々のオーディオソースレコーディングまたはファイルから分離する「コクテールパーティー問題」を解決することを目的としています。音分離の重要性は、音楽ソース分離、オーディオソース分離、スピーチ強化、ターゲット音識別など、幅広い応用にあります。

過去に行われた音分離に関する大部分の研究は、音楽分離やスピーチ分離などの1つまたは複数のオーディオソースの分離に主に焦点を当てています。USS（Universal Sound Separation）または普遍音分離という名前の新しいモデルは、実世界のオーディオレコーディング内の任意の音を分離することを目的としています。ただし、世界には多数の異なる音源があるため、オーディオミキスからすべての音源を分離することは困難で制限的なタスクであり、USS方法はリアルタイムで動作するリアルワールドアプリケーションには実行可能ではありません。

USS方法の実行可能な代替手段は、QSS（Query-based Sound Separation）またはクエリベース音分離方法であり、特定のクエリに基づいてオーディオミキスから個々のターゲット音源を分離することを目的としています。これにより、QSSフレームワークは、開発者とユーザーが必要なオーディオソースをミキスから抽出できるようにし、QSS方法はマルチメディアコンテンツ編集やオーディオ編集などのデジタルリアルワールドアプリケーションにとってより実用的な解決策となります。

さらに、開発者は最近、QSSフレームワークの拡張であるLASS（Language-queried Audio Source Separation）フレームワークを提案しました。これは、ターゲット音源をオーディオミキスから自然言語の説明を使用して分離することを目的としています。LASSフレームワークは、ユーザーが自然言語の指示のセットを使用してターゲットオーディオソースを抽出できるようにするため、幅広いデジタルオーディオアプリケーションで強力なツールになる可能性があります。伝統的なオーディオクエリまたはビジョンクエリ方法と比較して、音分離に自然言語の説明を使用することは、柔軟性を追加し、クエリ情報の取得を容易にします。さらに、事前に定義されたセットの指示またはクエリを使用するラベルクエリベースの音分離フレームワークと比較して、LASSフレームワークは入力クエリの数を制限せず、オープンドメインにシームレスに一般化できます。

もともと、LASSフレームワークは、ラベル付きオーディオテキストペアデータのセットでトレーニングされた教師あり学習に依存しています。ただし、このアプローチの主な問題は、注釈付きおよびラベル付きオーディオテキストデータの限られた可用性です。LASSフレームワークが注釈付きオーディオテキストラベルデータに依存することを減らすために、モデルは多モーダルスーパーバイジョン学習アプローチを使用してトレーニングされます。多モーダルスーパーバイジョンの主な目的は、CLIP（Contrastive Language Image Pre Training）モデルまたはCLAP（Contrastive Language Audio Pre Training）モデルなどの多モーダルコントラスト予備トレーニングモデルをフレームワークのクエリエンコーダーとして使用することです。CLIPフレームワークはテキスト埋め込みを視覚的な表現と同じ意味的な空間にマッピングする能力を持っているため、開発者はデータ豊富なモダリティを使用してLASSモデルをトレーニングし、ゼロショット設定でテキストデータと干渉することができます。ただし、現在のLASSフレームワークはトレーニングに小規模なデータセットを使用しており、LASSフレームワークの数百の潜在的なドメインへの応用はまだ探索されていません。

LASSフレームワークの現在の限界を解決するために、開発者は、自然言語の説明を使用して音をオーディオミキスから分離することを目的とした基礎モデルであるAudioSepを導入しました。AudioSepの現在の焦点は、オープンドメインのアプリケーションでLASSモデルを一般化できる大規模な多モーダルデータセットを活用する、事前にトレーニングされた音分離モデルを開発することです。要約すると、AudioSepモデルは「大規模なオーディオおよび多モーダルデータセットでトレーニングされたオープンドメインの普遍音分離のための基礎モデルであり、自然言語クエリまたは説明を使用します」。

AudioSep: キーコンポーネントとアーキテクチャ

AudioSepフレームワークのアーキテクチャは、2つの主要コンポーネントで構成されています。テキストエンコーダーと分離モデルです。

テキストエンコーダー

AudioSepフレームワークは、CLIPまたはCLAPモデルを使用したテキストエンコーダーを使用して、自然言語クエリ内でテキスト埋め込みを抽出します。入力テキストクエリは「N」トークンのシーケンスで構成されており、テキストエンコーダーによって処理されて入力言語クエリのテキスト埋め込みが抽出されます。テキストエンコーダーは、トランスフォーマーブロックのスタックを使用して入力テキストトークンをエンコードし、出力表現はトランスフォーマーレイヤーを通過した後集約され、固定長のD次元ベクトル表現が生成されます。ここで、DはCLAPまたはCLIPモデルの次元に対応します。テキストエンコーダーはトレーニング期間中には凍結されています。

CLIPモデルは、イメージテキストペアデータの大規模なデータセットでコントラスト学習を使用して事前にトレーニングされており、そのテキストエンコーダーはテキスト的説明を視覚的な表現と同じ意味的な空間にマッピングすることを学習します。AudioSepがCLIPのテキストエンコーダーを使用することで得られる利点は、オーディオ視覚データを使用してLASSモデルをトレーニングできるため、注釈付きオーディオテキストラベルデータの必要性がなくなります。

CLAPモデルはCLIPモデルと同様にコントラスト学習オブジェクトを使用して、テキストエンコーダーとオーディオエンコーダーを使用してオーディオと言語を接続し、テキストとオーディオの説明をオーディオテキスト潜在空間にまとめます。

分離モデル

AudioSepフレームワークは、オーディオクリップのミキスを入力として、分離バックボーンとして周波数ドメインのResUNetモデルを使用します。モデルは、波形信号からSTFT（Short-Time Fourier Transform）を適用して複素スペクトログラム、magnitudeスペクトログラム、Xの位相を抽出します。モデルは次に、magnitudeスペクトログラムを処理するためのエンコーダーとデコーダーのネットワークを構築します。

ResUNetエンコーダーデコーダーネットワークは、6つの残差ブロック、6つのデコーダーブロック、4つのボトルネックブロックで構成されています。各エンコーダーブロックでは、4つの残差畳み込みブロックを使用してスペクトログラムをボトルネック機能にダウンサンプリングし、デコーダーブロックでは、4つの残差畳み込みブロックを使用して、機能をアップサンプリングして分離コンポーネントを取得します。次に、各エンコーダーブロックとその対応するデコーダーブロックは、同じアップサンプリングまたはダウンサンプリング率で動作するスキップ接続を確立します。フレームワークの残差ブロックには、2つのLeaky-ReLU活性化層、2つのバッチ正規化層、2つのCNN層があり、さらに、各個々の残差ブロックの入力と出力の間の追加の残差ショートカットが導入されています。ResUNetモデルは、複素スペクトログラムXを入力として受け取り、magnitudeマスクMを出力として生成し、位相残差はテキスト埋め込みに条件付けられており、スペクトログラムのmagnitudeのスケーリングと回転角度を制御します。分離された複素スペクトログラムは、予測されたmagnitudeマスクと位相残差をミキスのSTFT（Short-Time Fourier Transform）に掛け合わせることで抽出できます。

AudioSepフレームワークでは、分離モデルとテキストエンコーダーを接続するために、ResUNetの畳み込みブロックの展開後にFiLm（Feature-wise Linearly modulated）レイヤーを使用します。

トレーニングとロス

AudioSepモデルのトレーニング中、開発者はラウドネス増幅法を使用し、L1ロス関数を使用してエンドツーエンドでモデルをトレーニングします。

データセットとベンチマーク

前述のように、AudioSepは、LASSモデルの現在の注釈付きオーディオテキストペアデータセットへの依存を解決することを目的とした基礎モデルです。AudioSepモデルは、多モーダル学習能力を備えるために、幅広いデータセットでトレーニングされています。ここでは、AudioSepフレームワークをトレーニングおよび評価するために使用されるデータセットとベンチマークの詳細な説明が示されています。

AudioSet

AudioSetは、YouTubeから直接抽出された約200万の10秒間のオーディオクリップで構成される、大規模な弱いラベル付けされたオーディオデータセットです。AudioSetデータセットの各オーディオクリップは、音クラスの存在または不存在によってカテゴリ化されており、音イベントの特定のタイミングの詳細はありません。AudioSetデータセットには、自然音、人間の音、車の音など、約500の異なる音クラスがあります。

VGGSound

VGGSoundデータセットは、YouTubeから直接抽出された、約20万の10秒間のビデオクリップで構成される、大規模なビジュアルオーディオデータセットです。VGGSoundデータセットには、人間の音、自然音、鳥の音など、約300の音クラスがあります。VGGSoundデータセットの使用により、ターゲット音を生成するオブジェクトも、対応するビジュアルクリップで説明可能になります。

AudioCaps

AudioCapsは、一般に公開されている最大のオーディオキャプションデータセットであり、AudioSetデータセットから抽出された約5万の10秒間のオーディオクリップで構成されています。AudioCapsのデータは、トレーニングデータ、テストデータ、バリデーションデータの3つのカテゴリに分割されています。オーディオクリップは、Amazon (AMZN ) Mechanical Turkプラットフォームを使用して人間によって自然言語の説明で注釈付けされています。トレーニングデータセットの各オーディオクリップには1つのキャプションがありますが、テストデータとバリデーションデータセットにはそれぞれ5つのグラウンドトゥルースキャプションがあります。

ClothoV2

ClothoV2は、FreeSoundプラットフォームから抽出されたクリップで構成されるオーディオキャプションデータセットであり、AudioCapsと同様に、各オーディオクリップはAmazon Mechanical Turkプラットフォームを使用して人間によって自然言語の説明で注釈付けされています。

WavCaps

AudioSetと同様に、WavCapsは、約40万のオーディオクリップとキャプションで構成される、大規模な弱いラベル付けされたオーディオデータセットであり、合計の再生時間は約7568時間のトレーニングデータに相当します。WavCapsデータセットのオーディオクリップは、BBC Sound Effects、AudioSet、FreeSound、SoundBibleなど、幅広いオーディオソースから抽出されています。

トレーニングの詳細

トレーニング段階で、AudioSepモデルはトレーニングデータセットから2つの異なるオーディオクリップから2つのオーディオセグメントをランダムにサンプリングし、それらを組み合わせてトレーニングミキスを作成します。各オーディオセグメントの長さは約5秒です。モデルは次に、波形信号からHann窓（サイズ1024、ホップサイズ320）を使用して複素スペクトログラムを抽出します。

モデルは次に、CLIPまたはCLAPモデルのテキストエンコーダーを使用して、テキストの監視をデフォルトの構成としてテキスト埋め込みを抽出します。分離モデルについては、AudioSepフレームワークは、30層、6つのエンコーダーブロック、6つのデコーダーブロックで構成されるResUNetレイヤーを使用します。さらに、各エンコーダーブロックには、3×3のカーネルサイズを持つ2つの畳み込み層があり、エンコーダーブロックの出力特徴マップの数は、32、64、128、256、512、1024です。デコーダーブロックはエンコーダーブロックと対称性を持ち、開発者はAudioSepモデルをバッチサイズ96でトレーニングするためにAdam最適化アルゴリズムを適用します。

評価結果

既知データセットでの評価

以下の図は、AudioSepフレームワークのベンチマーク評価結果を、Speech Enhancementモデル、LASS、CLIPなどの基準システムと比較して、トレーニング段階での既知データセットでのパフォーマンスを示しています。CLIPテキストエンコーダーを使用するAudioSepモデルはAudioSep-CLIPとして表され、CLAPテキストエンコーダーを使用するAudioSepモデルはAudioSep-CLAPとして表されます。

図から見られるように、AudioSepフレームワークは、オーディオキャプションまたはテキストラベルを入力クエリとして使用する場合に良好なパフォーマンスを示しています。結果は、AudioSepフレームワークが従来のベンチマークLASSおよびオーディオクエリ音分離モデルと比較して優れたパフォーマンスを示していることを示しています。

未知データセットでの評価

AudioSepのゼロショット設定でのパフォーマンスを評価するために、開発者は未知データセットでのパフォーマンスを継続して評価しました。AudioSepフレームワークはゼロショット設定で印象的な分離パフォーマンスを提供し、結果は以下の図に示されています。

さらに、以下の画像は、AudioSepモデルをVoicebank-Demandスピーチ強化と比較した結果を示しています。

AudioSepフレームワークの評価結果は、未知データセットでのゼロショット設定での強力で望ましいパフォーマンスを示しています。したがって、新しいデータ分布でのサウンド操作タスクを実行することが可能になります。

分離結果の視覚化

以下の図は、開発者がAudioSep-CLAPフレームワークを使用して、グラウンドトゥルースターゲットオーディオソース、オーディオミキス、およびさまざまなオーディオまたはサウンドのテキストクエリを使用して分離されたオーディオソースのスペクトログラムの視覚化結果を示しています。結果は、分離されたソースのスペクトログラムパターンがグラウンドトゥルースソースに近いことを示しており、これは実験で得られた目的の結果をさらに裏付けています。

テキストクエリの比較

開発者は、AudioCaps MiniでAudioSep-CLAPとAudioSep-CLIPのパフォーマンスを評価し、AudioSetイベントラベル、AudioCapsキャプション、および再注釈された自然言語の説明を使用して、さまざまなクエリの影響を調べます。以下の図は、AudioCaps Miniの例を示しています。

結論

AudioSepは、オープンドメインの普遍音分離フレームワークであり、自然言語の説明を使用して音を分離します。評価結果は、AudioSepフレームワークがゼロショットおよび教師なし学習をスムーズに実行できることを示しており、オーディオキャプションまたはテキストラベルをクエリとして使用する場合の結果は、LASSなどの現在の最先端の音分離フレームワークを上回る強力なパフォーマンスを示しています。したがって、AudioSepは、人気のある音分離フレームワークの現在の限界を解決できる可能性があります。