聴覚は、ジェネリックな聴覚情報の認識と理解を伴うもので、AIエージェントにとって現実世界の環境では不可欠です。この聴覚情報には、音楽、オーディオイベント、スピーチの3つの主なサウンドタイプが含まれます。最近、テキストベースの大規模言語モデル（LLM）フレームワークは、幅広い自然言語処理（NLP）タスクで人間レベルのパフォーマンスを達成するという驚くべき能力を示しています。さらに、インストラクションチューニングは、参照レスポンスとユーザープロンプトのペアを使用するトレーニング方法として人気を博しています。このアプローチにより、大規模言語モデルはより効果的にオープンエンドユーザーの指示に従うことができます。ただし、現在の研究は、大規模言語モデルにマルチモーダルコンテンツを認識する機能を付与することに重点を置いています。

同じ点に焦点を当てて、この記事では、サルモンまたはスピーチオーディオ言語ミュージックオープンネットワークについて話します。これは、スピーチとオーディオエンコーダーを事前トレーニングされたテキストベースの大規模言語モデルと統合して単一のオーディオテキストマルチモーダルモデルを構築した、最先端のオープンスピーチオーディオ言語ミュージックニューラルネットワークです。サルモンモデルにより、大規模言語モデルは、直接ジェネリックオーディオ入力を受け取り、トレーニングで使用される幅広いオーディオおよびスピーチタスクで競合するパフォーマンスを提供することができます。さらに、聴覚情報に基づく質問回答、スピーチ認識および翻訳、スピーカー認証、感情認識、オーディオおよびミュージックのキャプションなど、多くのタスクを実行できます。この記事では、サルモンモデルの詳細に焦点を当て、サルモンフレームワークの動作、構造、および幅広いNLPタスクでの結果を探ります。では、始めましょう。

サルモン：シングルオーディオテキストマルチモーダル大規模言語モデルへの紹介

サルモンは、スピーチオーディオ言語ミュージックオープンネットワークの略称で、スピーチ、オーディオイベント、ミュージックを含む3つの基本的なオーディオまたはサウンドタイプを認識および理解できる単一のオーディオテキストマルチモーダル大規模言語モデルフレームワークです。サルモンは、大規模言語モデルが直接ジェネリックオーディオ入力を受け取り、幅広いオーディオおよびスピーチタスクで競合するパフォーマンスを提供することを可能にします。

サルモンモデルは、スピーチおよび非スピーチオーディオタスクの両方のパフォーマンスを向上させるために、デュアルエンコーダ構造を採用しています。これには、BEATsオーディオエンコーダーと、Whisperスピーチモデルから得られたスピーチエンコーダーが含まれます。さらに、サルモンモデルは、出力シーケンスを変数長のオーディオトークンに効果的に変換し、高い時間分解能を実現するために、フレームレベルのQ-Formerまたはクエリトランスフォーマーを接続モジュールとして使用します。LoRA（Low Rank Adaptation）アプローチは、出力空間を入力空間と一致させることで、Vicunaフレームワークのパフォーマンスをさらに向上させるために、クロスモーダルアダプターとして使用されます。サルモンモデルでは、クロスモーダルタスクを実行する能力は、トレーニング段階で失われたインストラクションのトレーニングとして失われます。これが、サルモンモデルでクロスモーダルエマージェント能力を再取得するために、追加の少量のアクティベーション段階を実装する主な理由です。

さらに、サルモンモデルは、認知的な聴覚能力を評価するために、幅広いオーディオイベント、ミュージックベンチマーク、およびスピーチベンチマークを使用し、これらのベンチマークを3つのレベルに分類します。最初のベンチマークレベルでは、インストラクショントレーニングで8つのタスクをトレーニングします。これには、翻訳、オーディオキャプション、およびスピーチ認識が含まれます。2つ目と3つ目のベンチマークレベルは、トレーニングされていないタスクです。2つ目のベンチマークレベルは、スロットフィリングや未トレーニング言語への翻訳など、5つのスピーチベースのNLPタスクで構成されています。これらのタスクは、高品質のテキストとスピーチトークンの間の多言語対応に依存しています。3つ目のベンチマークレベルのタスクは、スピーチと非スピーチの聴覚情報を理解し、スピーチオーディオの共理性とオーディオベースの物語を実現することを目指しています。

まとめると、サルモンモデルは、

1. オーディオイベント、スピーチ、ミュージックを含む一般的なオーディオ入力を最大限に認識および理解できる最初の大規模言語モデルです。
2. LoRAスケーリングファクターを実装し、トレーニング中にクロスモーダルエマージェント能力をアクティブ化するために追加の予算に優しいアクティベーション段階を使用することで、クロスモーダルエマージェント能力を提供する試みです。

サルモン：アーキテクチャと方法論

このセクションでは、サルモンモデルのアーキテクチャ、トレーニング方法、および実験設定について見ていきます。

モデルのアーキテクチャ

サルモンモデルのコアは、2つの聴覚エンコーダーの出力を同期および統合し、接続モジュールとしてフレームレベルのQ-Formerを実装します。Q-Formerによって生成される出力シーケンスは、テキストインストラクションプロンプトと結合されて、LoRA適応アプローチの入力として提供され、必要な応答を生成します。

聴覚エンコーダー

サルモンモデルは、2つの聴覚エンコーダーを使用します。1つは非スピーチのBEATsオーディオエンコーダーで、もう1つはWhisperスピーチモデルのスピーチエンコーダーです。BEATsオーディオエンコーダーは、自己教師ありの反復学習アプローチを使用して、非スピーチの高レベルのオーディオセマンティクスを抽出するためにトレーニングされます。一方、スピーチエンコーダーは、スピーチ認識およびスピーチ翻訳タスクのための大量の弱い教師ありデータでトレーニングされ、エンコーダーの出力機能はバックグラウンドノイズおよびスピーチ情報を含むように適しています。モデルは、入力オーディオをトークナイズし、トレーニング中にマスクおよび予測します。2つのエンコーダーの結果として得られる聴覚特徴は、互いに補完し合い、スピーチおよび非スピーチの両方の情報に適しています。

ウィンドウレベルQ-Former

Q-Former構造の実装は、LLMフレームワークで、イメージエンコーダーの出力をテキスト入力トークンに変換するために一般的に使用されるアプローチです。ただし、可変長のオーディオトークンを扱う場合には、少し修正が必要です。具体的には、モデルは、入力イメージのエンコーダーの出力を連結されたエンコーダーの出力シーケンスとして見なし、Q-Formerは、スタックされたQ-Formerブロックを使用して、エンコーダーの出力シーケンスをテキストトークンに変換します。スタックされたQ-Formerブロックは、自己注意層のカジュアルマスクを削除し、初期ブロックで固定数のトレーニング可能な静的クエリを使用することを除いて、トランスフォーマーデコーダーブロックに似ています。

LoRAとLLM

サルモンモデルは、Vicuna LLMも実装しています。これは、指示に従うことをより正確に実行するために、事前トレーニングされたテキストベースの大規模言語モデルフレームワークです。LoRAフレームワークは、パラメータ効率的なファインチューニングのための一般的な方法であり、サルモンモデルでは、自己注意層のクエリと重み行列を適応させるために使用されます。

トレーニング方法

サルモンモデルは、3段階のクロスモーダルトレーニングアプローチを使用します。トレーニング段階には、ほとんどの視覚LLMフレームワークに含まれる事前トレーニング段階とインストラクションチューニング段階があり、さらに、オーバーフィッティング問題を解決するために、アクティベーションチューニング段階が実装されます。

事前トレーニング段階

エンコーダーおよびLLMの事前トレーニングパラメータと、適配子および接続モジュールのランダムに初期化されたパラメータの間のギャップを制限するために、サルモンモデルは、オーディオキャプションおよびスピーチ認識データの大量を使用して、LoRAおよびQ-Formerコンポーネントを事前トレーニングします。これらのタスクには、スピーチおよび非スピーチの両方のオーディオイベントの重要な聴覚情報が含まれており、どちらも、テキストと聴覚情報の間の複雑な理解や推論を必要としません。

インストラクションチューニング段階

サルモンモデルで実装されているインストラクションチューニング段階は、NLPおよび視覚LLMフレームワークで実装されているものに似ています。オーディオイベント、ミュージックタスク、およびスピーチイベントのリストを使用して、オーディオテキストインストラクションをファインチューニングします。タスクは、電話認識、重複スピーチ認識、ミュージックキャプションなどのさまざまなテストでの重要性に基づいて優先順位付けされます。さらに、テキスト情報は、オーディオデータとペアになって、インストラクションプロンプトを生成するための基礎となります。

タスクオーバーフィッティング

最初の2つのトレーニング段階のみを実装していても、サルモンモデルはインストラクションチューニングタスクで競合する結果を提供しますが、クロスモーダルタスク、特にクロスモーダル共理性能力を必要とするタスクでは、パフォーマンスが十分ではありません。具体的には、モデルは、無関係または不正確な応答を生成することによって、指示プロンプトを時々違反し、これはサルモンモデルでタスクオーバーフィッティングと呼ばれます。アクティベーションチューニング段階は、これらのオーバーフィッティング問題を解決するために実装されます。

アクティベーションチューニング段階

オーバーフィッティング問題を解決するための有効なアプローチは、長くて多様な応答を使用して、内在的な条件付き言語モデルを正則化することです。例えば、ストーリーテリングまたは聴覚情報に基づく質問回答を使用します。モデルは、テキストとオーディオまたはスピーチおよびミュージックキャプションのペアで、これらのタスクのペアトレーニングデータを生成します。

タスクの仕様

サルモンのゼロショットクロスモーダルエマージェント能力を評価するために、開発者は、3つのレベルにわたって15のスピーチ、オーディオ、ミュージックタスクを含めています。

レベル1

最初のレベルでは、タスクはインストラクションチューニングに使用され、したがって、これらはサルモンモデルが実行する最も簡単なタスクのセットです。

レベル2

2番目のレベルは、トレーニングされていないタスクで構成されており、レベル1のタスクよりも複雑性が高くなります。レベル2では、スピーチキーワード抽出、Spoken Query-based Question Answering (SQQA)、Speech-based Slot Filling (SF)タスク、および英語からドイツ語および日本語への翻訳タスクなど、NLPベースのタスクが含まれます。

レベル3

レベル3のタスクの複雑さは、他の2つのレベルよりも最大です。これには、スピーチオーディオ共理性 (SAC)およびオーディオベースのストーリーテリングタスクが含まれます。SACタスクでは、サルモンモデルはオーディオクリップ内の質問を理解し、オーディオイベントまたはミュージックを使用してサポート的な証拠を見つけ、質問に適切な理由を生成する必要があります。オーディオベースのストーリーテリングタスクでは、モデルは、一般的なオーディオ入力から得られる聴覚情報に基づいて、意味のあるストーリーを生成する必要があります。

結果

レベル1タスク

次の表は、レベル1タスクでの結果を示しています。アクティベーションチューニングの有無に関わらず、サルモンモデルはレベル1タスクで競合する結果を返します。

レベル2およびレベル3タスク

サルモンモデルはレベル1タスクで競合する結果を返しますが、アクティベーションチューニングなしでは、レベル2およびレベル3タスクではオーバーフィッティングに苦しんでいます。特に、SQQA、SAC、ストーリーテリングタスクなど、多モーダルインタラクションを強調するタスクでは、サルモンモデルはアクティベーションチューニングなしでは指示に従うのに苦労しています。ただし、アクティベーションチューニングを使用すると、結果は大幅に改善されます。

LoRAスケーリングファクターの割引

LoRAスケーリングファクターの割引は、オーバーフィッティング問題を最小限に抑えるために、LoRAスケーリングファクターの時間テスト割引の影響を評価します。次の図からわかるように、LoRAスケーリングファクターを2.0に減らすと、ASRおよびPRタスク、SQQAタスク、ストーリーテリングタスク、SACタスクでのサルモンモデルのクロスモーダル推論能力が向上します。

タスクオーバーフィッティングの評価

アクティベーションチューニングを強調するために、サルモンモデルは、3つのトレーニング段階でのパーセプトロン変更を分析します。次の画像からわかるように、AACおよびASRタスクのパーセプトロン変更は、最初のトレーニング段階後の小さな最終値を示し、モデルのクロスモーダルアライメントの学習を示しています。

さらに、PRタスクのパーセプトロンも、LoRAコンポーネントを使用して出力トークンを学習するため、インストラクションチューニング後に低下します。インストラクションチューニングは、ストーリーテリングおよびSACタスクのパーセプトロンも低下させるのに役立ちますが、タスクを成功裏に実行するには、追加のアクティベーション段階を実装するか、LoRAコンポーネントを削除する必要があります。

アクティベーションチューニング

サルモンモデルは、さまざまなアクティベーション方法を探索します。例えば、長い回答を持つテキストベースのQAタスクのペアを使用するか、またはオーディオベースの長い書き込みストーリーを使用するか、またはASRタスクの長いスピーチトランスクリプトを使用します。Q-FormerおよびLoRAコンポーネントの両方が、これらの3つの方法でファインチューニングされます。さらに、モデルは、LoRAおよびVicunaコンポーネントを適応テキストベースの大規模言語モデルとして、オーディオおよびQ-Former入力を無視してファインチューニングします。結果は、次の画像に示されています。モデルは、ASR（長いラベルでASRをトレーニング）、ストーリー、またはテキストベース（LoRAコンポーネントをテキストプロンプト入力でトレーニング）でアクティブ化できません。

最終的な考え

この記事では、サルモンまたはスピーチオーディオ言語ミュージックオープンネットワークについて話しました。これは、スピーチとオーディオエンコーダーを事前トレーニングされたテキストベースの大規模言語モデルと統合して単一のオーディオテキストマルチモーダルモデルを構築した、最先端のオープンスピーチオーディオ言語ミュージックニューラルネットワークです。サルモンモデルは、大規模言語モデルが直接ジェネリックオーディオ入力を受け取り、トレーニングで使用される幅広いオーディオおよびスピーチタスクで競合するパフォーマンスを提供することを可能にします。

サルモンモデルは、オーディオキャプション、スピーチ翻訳および認識、さらに多くのタスクで競合するパフォーマンスを提供する幅広いトレーニングタスクで競合するパフォーマンスを提供します。また、未トレーニングの理解タスク、キーワード抽出のスピーチ翻訳、未トレーニング言語などへの一般化も実現します。サルモンモデルの能力により、大規模言語モデルの一般的な聴覚能力を向上させるための次のステップとみなすことができます。