AIモデルとプラットフォーム

SALMONN:音声とテキストを扱う単一のマルチモーダル大規模言語モデルの紹介

Kunal Kejriwal
Unite.AI を Google の優先ソースに追加
要点SALMONNは、音楽、イベント、音声を直接処理するために、音声・オーディオエンコーダーと言語モデルを統合しています。
もっと見る
  • SALMONNは、音楽、イベント、音声を直接処理するために、音声・オーディオエンコーダーと言語モデルを統合しています。
  • このモデルは、トレーニング中に失われたクロスモーダル推論能力を回復させるために、新しい活性化調整段階を採用しています。
  • そのアーキテクチャは、可変長のオーディオとテキストトークンを整合させるために、デュアルエンコーダーとQ-Formerを活用しています。

聴覚は、一般的な聴覚情報の認識と理解を伴うもので、AIエージェントにとって現実世界の環境では不可欠です。この聴覚情報には、音楽、オーディオイベント、スピーチの3つの主なサウンドタイプが含まれます。最近、テキストベースの大規模言語モデル(LLM)フレームワークは、幅広い自然言語処理(NLP)タスクで人間レベルのパフォーマンスを達成するという驚くべき能力を示しています。さらに、インストラクションチューニングは、参照レスポンスとユーザープロンプトのペアを使用するトレーニング方法として人気を博しています。このアプローチにより、大規模言語モデルはより効果的に自由形式のユーザー指示に従うことができます。ただし、現在の研究は、大規模言語モデルにマルチモーダルコンテンツを認識する機能を付与することに重点を置いています。

同じ点に焦点を当てて、この記事では、SALMONNまたはSpeech Audio Language Music Open Neural Networkについて話します。これは、スピーチとオーディオエンコーダーを事前トレーニングされたテキストベースの大規模言語モデルと統合して単一のオーディオテキストマルチモーダルモデルを構築した、最先端のオープンスピーチオーディオ言語ミュージックニューラルネットワークです。SALMONNモデルにより、大規模言語モデルは、直接一般的な音入力を受け取り、トレーニングで使用される幅広いオーディオおよびスピーチタスクで競争力のある性能を提供することができます。さらに、聴覚情報に基づく質問回答、スピーチ認識および翻訳、スピーカー認証、感情認識、オーディオおよびミュージックのキャプションなど、多くのタスクを実行できます。この記事では、SALMONNモデルの詳細に焦点を当て、SALMONNフレームワークの動作、構造、および幅広いNLPタスクでの結果を探ります。では、始めましょう。

SALMONN:シングルオーディオテキストマルチモーダル大規模言語モデルへの紹介

SALMONNは、Speech Audio Language Music Open Neural Networkの略称で、スピーチ、オーディオイベント、ミュージックを含む3つの基本的なオーディオまたはサウンドタイプを認識および理解できる単一のオーディオテキストマルチモーダル大規模言語モデルフレームワークです。SALMONNは、大規模言語モデルが直接一般的な音入力を受け取り、幅広いオーディオおよびスピーチタスクで競争力のある性能を提供することを可能にします。

SALMONNモデルは、スピーチおよび非スピーチオーディオタスクの両方のパフォーマンスを向上させるために、デュアルエンコーダ構造を採用しています。これには、BEATsオーディオエンコーダーと、Whisperスピーチモデルから得られたスピーチエンコーダーが含まれます。さらに、SALMONNモデルは、エンコーダーの可変長の出力系列を、可変個数の拡張音声トークンへ効率よく変換し、音声とテキストの対応付けで高い時間分解能を実現するために、ウィンドウ単位のQ-Formerまたはクエリトランスフォーマーを接続モジュールとして使用します。LoRA(低ランク適応)の手法は、出力空間を入力空間と一致させることで、Vicunaフレームワークのパフォーマンスをさらに向上させるために、クロスモーダルアダプターとして使用されます。SALMONNモデルでは、訓練で見ていないクロスモーダルタスクを実行する創発的能力が、指示に合わせた訓練の過程で失われます。これが、SALMONNモデルでクロスモーダルの創発的能力を再取得するために、少数の例を用いる追加の活性化段階を実装する主な理由です。

さらに、SALMONNモデルは、認知的な聴覚能力を評価するために、幅広いオーディオイベント、ミュージックベンチマーク、およびスピーチベンチマークを使用し、これらのベンチマークを3つのレベルに分類します。最初のベンチマークレベルでは、インストラクショントレーニングで8つのタスクをトレーニングします。これには、翻訳、オーディオキャプション、およびスピーチ認識が含まれます。2つ目と3つ目のベンチマークレベルは、トレーニングされていないタスクです。2つ目のベンチマークレベルは、スロットフィリングや未トレーニング言語への翻訳など、5つのスピーチベースのNLPタスクで構成されています。これらのタスクは、高品質のテキストとスピーチトークンの間の多言語対応に依存しています。3つ目のベンチマークレベルのタスクは、スピーチと非スピーチの聴覚情報を理解し、スピーチオーディオの共同推論とオーディオベースの物語を実現することを目指しています。

まとめると、SALMONNモデルは、

  1. オーディオイベント、スピーチ、ミュージックを含む一般的なオーディオ入力を最大限に認識および理解できる最初の大規模言語モデルです。
  2. LoRAスケーリングファクターを実装し、トレーニング中にクロスモーダルの創発的能力をアクティブ化するために低コストの追加の活性化段階を使用することで、クロスモーダルの創発的能力を提供する試みです。

SALMONN:アーキテクチャと方法論

このセクションでは、SALMONNモデルのアーキテクチャ、トレーニング方法、および実験設定について見ていきます。

モデルのアーキテクチャ

SALMONNモデルのコアは、2つの聴覚エンコーダーの出力を同期および統合し、接続モジュールとしてフレームレベルのQ-Formerを実装します。Q-Formerによって生成される出力シーケンスは、テキストインストラクションプロンプトと結合されて、LoRA適応アプローチの入力として提供され、必要な応答を生成します。

聴覚エンコーダー

SALMONNモデルは、2つの聴覚エンコーダーを使用します。1つは非スピーチのBEATsオーディオエンコーダーで、もう1つはWhisperスピーチモデルのスピーチエンコーダーです。BEATsオーディオエンコーダーは、自己教師ありの反復学習アプローチを使用して、非スピーチの高レベルのオーディオセマンティクスを抽出するためにトレーニングされます。一方、スピーチエンコーダーは、スピーチ認識およびスピーチ翻訳タスクのための大量の弱い教師ありデータでトレーニングされ、エンコーダーの出力特徴はバックグラウンドノイズおよびスピーチ情報を含むように適しています。モデルは、入力オーディオをトークナイズし、トレーニング中にマスクおよび予測します。2つのエンコーダーの結果として得られる聴覚特徴は、互いに補完し合い、スピーチおよび非スピーチの両方の情報に適しています。

ウィンドウレベルQ-Former

Q-Former構造の実装は、LLMフレームワークで、イメージエンコーダーの出力をテキスト入力トークンに変換するために一般的に使用されるアプローチです。ただし、可変長のオーディオトークンを扱う場合には、少し修正が必要です。具体的には、モデルは、入力イメージのエンコーダーの出力を連結されたエンコーダーの出力シーケンスとして見なし、Q-Formerは、スタックされたQ-Formerブロックを使用して、エンコーダーの出力シーケンスをテキストトークンに変換します。スタックされたQ-Formerブロックは、自己注意層の因果マスクを削除し、初期ブロックで固定数のトレーニング可能な静的クエリを使用することを除いて、トランスフォーマーデコーダーブロックに似ています。

LoRAとLLM

SALMONNモデルは、Vicuna LLMも実装しています。これはLLaMAを基に、指示により正確かつ効果的に従えるよう微調整された大規模言語モデルです。LoRAフレームワークは、パラメータ効率的なファインチューニングのための一般的な方法であり、SALMONNモデルでは、自己注意層のクエリとバリューの重み行列を適応させるために使用されます。

トレーニング方法

SALMONNモデルは、3段階のクロスモーダルトレーニングアプローチを使用します。トレーニング段階には、ほとんどの視覚LLMフレームワークに含まれる事前トレーニング段階とインストラクションチューニング段階があり、さらに、オーバーフィッティング問題を解決するために、アクティベーションチューニング段階が実装されます。

事前トレーニング段階

エンコーダーおよびLLMの事前トレーニングパラメータと、アダプターおよび接続モジュールのランダムに初期化されたパラメータの間のギャップを制限するために、SALMONNモデルは、オーディオキャプションおよびスピーチ認識データの大量を使用して、LoRAおよびQ-Formerコンポーネントを事前トレーニングします。これらのタスクには、スピーチおよび非スピーチの両方のオーディオイベントの重要な聴覚情報が含まれており、どちらも、テキストと聴覚情報の間の複雑な理解や推論を必要としません。

インストラクションチューニング段階

SALMONNモデルで実装されているインストラクションチューニング段階は、NLPおよび視覚LLMフレームワークで実装されているものに似ています。オーディオイベント、ミュージックタスク、およびスピーチイベントのリストを使用して、オーディオテキストインストラクションをファインチューニングします。タスクは、音素認識、重複スピーチ認識、ミュージックキャプションなどのさまざまなテストでの重要性に基づいて優先順位付けされます。さらに、テキスト情報は、オーディオデータとペアになって、インストラクションプロンプトを生成するための基礎となります。

タスクオーバーフィッティング

最初の2つのトレーニング段階のみを実装していても、SALMONNモデルはインストラクションチューニングタスクで競争力のある結果を提供しますが、クロスモーダルタスク、特にクロスモーダル共同推論能力を必要とするタスクでは、パフォーマンスが十分ではありません。具体的には、モデルは、無関係または不正確な応答を生成することによって、指示プロンプトを時々違反し、これはSALMONNモデルでタスクオーバーフィッティングと呼ばれます。アクティベーションチューニング段階は、これらのオーバーフィッティング問題を解決するために実装されます。

アクティベーションチューニング段階

オーバーフィッティング問題を解決するための有効なアプローチは、長くて多様な応答を使用して、内在的な条件付き言語モデルを正則化することです。例えば、ストーリーテリングまたは聴覚情報に基づく質問回答を使用します。モデルは、テキストとオーディオまたはスピーチおよびミュージックキャプションのペアで、これらのタスクのペアトレーニングデータを生成します。

タスクの仕様

SALMONNのゼロショットクロスモーダルの創発的能力を評価するために、開発者は、3つのレベルにわたって15のスピーチ、オーディオ、ミュージックタスクを含めています。

レベル1

最初のレベルでは、タスクはインストラクションチューニングに使用され、したがって、これらはSALMONNモデルが実行する最も簡単なタスクのセットです。

レベル2

レベル2は訓練されていないタスクから成り、レベル1より複雑です。音声から特定のキーワードを抽出する精度を調べるキーワード抽出、音声の質問に対して取り出せる常識的知識を評価するSQQA(音声質問に基づく質問応答)、スロット値の正確さを評価するSF(音声に基づくスロットフィリング)が含まれます。さらに、英語からドイツ語、英語から日本語への2つの音声翻訳(AST)タスクがあります。

レベル3

レベル3のタスクの複雑さは、他の2つのレベルよりも最大です。これには、スピーチオーディオ共同推論 (SAC)およびオーディオベースのストーリーテリングタスクが含まれます。SACタスクでは、SALMONNモデルはオーディオクリップ内の質問を理解し、オーディオイベントまたはミュージックを使用してサポート的な証拠を見つけ、質問に適切な理由を生成する必要があります。オーディオベースのストーリーテリングタスクでは、モデルは、一般的なオーディオ入力から得られる聴覚情報に基づいて、意味のあるストーリーを生成する必要があります。

結果

レベル1タスク

次の表は、レベル1タスクでの結果を示しています。アクティベーションチューニングの有無に関わらず、SALMONNモデルはレベル1タスクで競争力のある結果を返します。

レベル2およびレベル3タスク

SALMONNモデルはレベル1タスクで競争力のある結果を返しますが、アクティベーションチューニングなしでは、レベル2およびレベル3タスクではオーバーフィッティングに苦しんでいます。特に、SQQA、SAC、ストーリーテリングタスクなど、マルチモーダルなやり取りを重視するタスクでは、SALMONNモデルはアクティベーションチューニングなしでは指示に従うのに苦労しています。ただし、アクティベーションチューニングを使用すると、結果は大幅に改善されます。

LoRAスケーリング係数の引き下げ

LoRAスケーリング係数の引き下げは、オーバーフィッティング問題を最小限に抑えるために、テスト時にLoRAスケーリング係数を引き下げることの影響を評価します。次の図からわかるように、LoRAスケーリングファクターを2.0に減らすと、ASRおよびPRタスク、SQQAタスク、ストーリーテリングタスク、SACタスクでのSALMONNモデルのクロスモーダル推論能力が向上します。

タスクオーバーフィッティングの評価

アクティベーションチューニングを強調するために、SALMONNモデルは、3つのトレーニング段階でのパープレキシティの変化を分析します。次の画像からわかるように、AACおよびASRタスクのパープレキシティの変化は、最初のトレーニング段階後の小さな最終値を示し、モデルのクロスモーダルアライメントの学習を示しています。

さらに、PRタスクのパープレキシティも、LoRAコンポーネントを使用して出力トークンを学習するため、インストラクションチューニング後に低下します。インストラクションチューニングは、ストーリーテリングおよびSACタスクのパープレキシティも低下させるのに役立ちますが、タスクを成功裏に実行するには、追加のアクティベーション段階を実装するか、LoRAコンポーネントを削除する必要があります。

アクティベーションチューニング

SALMONNモデルは、さまざまなアクティベーション方法を探索します。例えば、長い回答を持つテキストベースのQAタスクのペアを使用するか、またはオーディオベースの文章で書かれた長い物語を使用するか、またはASRタスクの長いスピーチトランスクリプトを使用します。Q-FormerおよびLoRAコンポーネントの両方が、これらの3つの方法でファインチューニングされます。さらに、モデルは、LoRAおよびVicunaコンポーネントを適応テキストベースの大規模言語モデルとして、オーディオおよびQ-Former入力を無視してファインチューニングします。結果は、次の画像に示されています。モデルは、ASR(長いラベルでASRをトレーニング)、ストーリー、またはテキストベース(LoRAコンポーネントをテキストプロンプト入力でトレーニング)でアクティブ化できません。

最終的な考え

この記事では、SALMONNまたはSpeech Audio Language Music Open Neural Networkについて話しました。これは、スピーチとオーディオエンコーダーを事前トレーニングされたテキストベースの大規模言語モデルと統合して単一のオーディオテキストマルチモーダルモデルを構築した、最先端のオープンスピーチオーディオ言語ミュージックニューラルネットワークです。SALMONNモデルは、大規模言語モデルが直接一般的な音入力を受け取り、トレーニングで使用される幅広いオーディオおよびスピーチタスクで競争力のある性能を提供することを可能にします。

SALMONNは、音のキャプション生成、音声翻訳、音声認識など、幅広い訓練済みタスクで競争力のある性能を示します。また、音声からのキーワード抽出や訓練していない言語への音声翻訳など、さまざまな未訓練の理解タスクにも汎化します。SALMONNモデルの能力により、大規模言語モデルの一般的な聴覚能力を向上させるための次のステップとみなすことができます。

Kunal Kejriwal は、Python、PostgreSQL、Redis、そして GCP と AWS のクラウドインフラストラクチャを専門とするバックエンドエンジニアです。3 年間にわたり本番システムの構築とスケーリングを経験しており、AI インフラストラクチャ、分散システム、機械学習ワークロードのデプロイに関するアーキテクチャについて執筆しています。