data2vec：自己教師あり学習におけるマイルストーン

機械学習モデルは、従来、ラベル付きデータに大きく依存してきました。ラベル付きデータでモデルをトレーニングすることは、正確な結果をもたらします。しかし、ラベル付きデータを使用することの主な欠点は、高いアノテーションコストがトレーニングデータのサイズの増加とともに上昇することです。高いアノテーションコストは、特に大規模なプロジェクトで大量のトレーニングデータを扱う開発者にとって大きな障害です。

アノテーションの問題に対処するために、開発者は SSL（自己教師あり学習）という概念を生み出しました。自己教師あり学習は、入力の一部から別の入力の一部を学習させることで、モデルが自己をトレーニングするプロセスです。自己教師あり学習モデルは、ラベル付きデータの教師あり信号を使用するのではなく、データ間の関係を利用しようとします。

また、自己教師あり学習に加えて、ラベル付きデータを使用せずに機械学習モデルをトレーニングする他の方法やモデルもあります。しかし、これらの方法のほとんどには、2つの大きな問題があります

1. 画像やテキストなどの 単一のモダリティに特化していることが多いです。
2. 大量の計算リソースを必要とすることが多いです。

これらの制限は、人間の平均的な認知能力が、AIモデルよりも、単一のデータタイプから学習することができることを実証しています。

単一モダリティの問題に対処するために、Meta AIは data2vec、最初の自己教師あり高性能アルゴリズム をリリースしました。data2vecは、画像、テキスト、音声の3つの異なるモダリティからパターン情報を学習することを目的としています。data2vecアルゴリズムの実装により、テキストの理解を画像セグメンテーションの問題に適用したり、音声認識タスクに展開したりすることができます。

この記事では、data2vecモデルについて詳細に説明します。メソッドの概要、関連研究、構造、結果について、より深く掘り下げて説明します。

data2vecの紹介：コアアイデア

自己教師あり学習の基本概念は、モダリティ間で適用されますが、実際の目的とアルゴリズムは、モダリティごとに異なります。モダリティごとに設計されたモデルは、同じ自己教師あり学習アルゴリズムが異なる種類のトレーニングデータで効果的に機能しないことを意味します。

単一モダリティのモデルとアルゴリズムの課題に対処するために、Meta AIは data2vec をリリースしました。これは、コンピュータビジョン、NLP、または音声のために同じ学習方法論を使用するアルゴリズムです。

data2vecアルゴリズムの背後にあるコアアイデアは、入力のマスクされたビューを使用して、自己蒸留セットアップで標準のTransformerアーキテクチャの助けを借りて、入力データの完全なラテント表現を予測することです。したがって、ローカルな性質を持つモダリティ固有のオブジェクト（画像、テキスト、音声）ではなく、data2vecアルゴリズムは、トレーニングデータ全体からの情報を含むラテント表現を予測します。

AI業界がdata2vecアルゴリズムを必要とする理由

自己教師あり学習モデルは、人間が注釈したラベルを使用してトレーニングデータの表現を構築し、これはNLPとコンピュータビジョンの進歩の背後にある主な理由の1つです。これらの自己教師あり学習表現は、音声認識や機械学習がモデルで無監督学習を使用する理由です。

これまで、自己教師あり学習アルゴリズムは、個々のモダリティに焦点を当てており、学習バイアスやモデル設計の特定の側面を生み出します。自己教師あり学習アルゴリズムの個々のモダリティは、コンピュータビジョンやNLPを含むさまざまなAIアプリケーションで課題を生み出します。

例えば、音声処理では、NLPの自己教師あり学習タスクを定義するために、音声単位の語彙を使用できます。同様に、コンピュータビジョンでは、開発者は入力を再帰的にする、離散的な視覚的なトークンを学習する、またはデータ増強に対して不変な表現を学習することができます。ただし、これらの学習バイアスは便利ですが、他のモダリティに一般化するかどうかを確認することは困難です。

data2vecアルゴリズムは、自己教師あり学習業界における重要なマイルストーンです。なぜなら、data2vecアルゴリズムは、単一のモダリティではなく、複数のモダリティを改善することを目的としているからです。さらに、data2vecアルゴリズムは、入力の再構築や対比学習に依存しません。

したがって、data2vecが必要な理由は、data2vecアルゴリズムがAIの進歩を加速し、AIモデルが周囲のさまざまな側面をシームレスに学習できるようにすることで、AIの開発に貢献する可能性があるためです。科学者は、data2vecアルゴリズムが、今日のAIモデルが実行できる以上に高度なタスクを実行できる、より適応性の高いAIモデルと機械学習モデルを開発できることを期待しています。

data2vecアルゴリズムとは

data2vecは、画像、音声、テキストなどの異なるデータモダリティで自己教師あり機械学習を実現するための統一されたフレームワークです。

data2vecアルゴリズムは、モダリティ間で学習目的を統一し、環境の一般的なパターンをよりよく学習できる機械学習モデルを開発することを目的としています。data2vecモデルは、学習アルゴリズムを統一しますが、各モダリティの表現を個別に学習します。

data2vecアルゴリズムの導入により、Meta AIは、多モダリティ学習を効果的で簡単にすることを期待しています。

data2vecアルゴリズムの動作

data2vecアルゴリズムは、ラテントターゲット表現の学習とマスク予測を組み合わせますが、ネットワーク層をターゲットとして使用してラテント表現を一般化します。モデルは、教師モードまたは生徒モードで使用される、オフザシェルフのTransformerネットワークを特にトレーニングします。

教師モードでは、モデルは入力データの表現を構築し、これらは学習タスクでターゲットとして機能します。生徒モードでは、モデルは入力データのマスクされたバージョンをエンコードし、これは完全なデータ表現を予測するために使用されます。

上の図は、data2vecモデルが異なるモダリティで同じ学習プロセスを使用する方法を示しています。最初のステップでは、モデルは入力データの表現（教師モード）を生成します。次に、モデルはこれらの表現をマスクされた入力のバージョンに基づいて回帰します。

さらに、data2vecアルゴリズムは入力データのラテント表現を使用するため、入力の正規化による適切なターゲットの作成や、視覚的なトークンの固定セットの学習などのモダリティ固有の設計の簡素化されたバージョンと見なすことができます。ただし、data2vecと他のアルゴリズムの重要な違いは、data2vecアルゴリズムがターゲット表現を文脈化および連続化するために自己注意を使用することです。一方、他の自己教師あり学習モデルは、ローカルなコンテキストに基づいた固定のターゲットセットを使用します。

data2vec：モデル方法

data2vecモデルは、入力の一部のビューを予測することで、入力データのモデル表現を予測することによってトレーニングされます。

モデルは、トレーニングサンプルのマスクされたバージョン（生徒モード）をエンコードし、次に入力のアンマスクされたバージョンをエンコードして、同じモデルでパラメータ化された教師モードでトレーニングターゲットを構築します。さらに、ターゲット表現は、トレーニングサンプルに含まれる情報をエンコードし、生徒モードでは、ターゲットを予測するために部分的な入力のビューが使用されます。

モデルアーキテクチャ

data2vecモデルは、モダリティ固有の入力データエンコーディングを使用した標準的なTransformerアーキテクチャを使用します。

コンピュータビジョンタスクの場合、モデルは16×16ピクセルのパッチとして224×224ピクセルの画像をエンコードし、各パッチは線形変換としてシーケンス化され、196の表現が標準のTransformerにフィードされます。

さらに、音声認識データの場合、モデルは16 kHzの波形を50 Hzの表現にマッピングする多層の1次元の畳み込みニューラルネットワークを使用してデータをエンコードします。テキストデータを処理するには、モデルはサブワードユニットを抽出し、分布的空間への埋め込みベクトルを介してデータを埋め込みます。

マスキング

モデルが入力データをトークンのシーケンスとして埋め込んだ後、モデルはこれらのユニットの部分を埋め込みトークンに置き換えることでマスクし、シーケンスをTransformerネットワークにフィードします。

コンピュータビジョンの場合、モデルはブロックごとのマスキング戦略を実践します。ラテントな音声表現は音声データのスパンをマスクするために使用され、言語関連タスクの場合、トークンはマスクされます。

トレーニングターゲット

data2vecモデルは、アンマスクされたトレーニングサンプルのモデル表現を予測することを目的としています。これは、マスクされたサンプルのエンコーディングに基づいて行われます。

モデルは、特定のタイムステップのみを予測します。 文脈化された表現 を予測します。これは、特定のタイムステップのみをエンコードするのではなく、Transformerネットワークの自己注意を使用して、サンプルからの他の情報もエンコードします。文脈化された表現とTransformerネットワークの使用は、data2vecモデルを、BERT、wav2vec、BEiT、SimMIM、MAE、MaskFeatなどの既存のモデルと区別します。これらのモデルは、文脈情報を使用せずにターゲットを予測します。

ここでは、教師モードをパラメータ化する方法を示します。

教師パラメータ化

data2vecモデルは、アンマスクされたトレーニングサンプルのエンコーディングを、モデルパラメータ（θ）の指数移動平均（EMA）を使用してパラメータ化します。

ターゲットモード（△）のモデル重みは、次のように表されます。 ∆ ← τ∆ + (1 − τ ) θ

さらに、τは、τ0からτe（ターゲット値）まで、最初のτn更新で線形に増加し、トレーニングが終了するまで定数を維持します。EMA戦略を使用すると、教師はトレーニングの初期段階で、モデルがランダムなときに、より頻繁に更新されます。トレーニングが進むにつれて、良いパラメータが学習されると、教師は更新される頻度が減ります。

結果は、特徴エンコーダと位置エンコーダのパラメータを生徒モードと教師モードで共有することで、モデルがより効率的で正確になることを示しています。

ターゲット

トレーニングターゲットの構築は、生徒モードでマスクされたタイムステップの教師ネットワークのトップKブロックの出力に依存します。ブロックlの出力は、タイムステップtでaltと表記されます。モデルは、各ブロックに正規化を適用してaltを取得します。次に、トップKブロックを平均化して、タイムステップtのトレーニングターゲットytを取得します。

これにより、生徒モードで回帰するトレーニングターゲットが作成されます。初期の実験では、data2vecモデルは、各ブロックを個別に予測することに重点を置き、専用の投影を使用して、効率的で正確な結果をもたらしました。

さらに、ターゲットの正規化は、data2vecモデルがタイムステップごとに定数表現に収束するのを防ぎ、正規化が高い層がターゲットデータセットの特徴を支配するのを防ぎます。音声認識の場合、モデルは、学習パラメータを使用せずに、入力サンプルに対してインスタンス正規化を使用します。これは、入力データのストライドが小さく、隣接する表現が高く相関しているためです。

さらに、研究者は、バリアンス不変性共分散正規化を使用することもできますが、上記の戦略は十分に機能し、追加のパラメータは必要ありません。

目的関数

文脈化されたトレーニングターゲットytに対して、モデルは、次のように表されるスムースL1損失を使用してターゲットを回帰します。

ここで、βは、L1損失への遷移を制御し、モデル予測ft（x）とターゲットytの間のギャップのサイズに依存します。損失の利点は、外れ値に対して比較的敏感でないことであり、βの設定を調整する必要があります。

実験設定

data2vecモデルは、2つのモデルサイズで実験されます。 data2vec Largeとdata2vec Baseです。数値的安定性のために、EMA更新はfp32で実行され、モデルにはL = 12またはL = 24のTransformerブロックが含まれ、隠れ次元（H）は768または1024です。

さまざまなモダリティと目的のための実験設定について詳細に見てみましょう。

コンピュータビジョン

data2vecモデルは、16×16ピクセルのパッチとして224×224ピクセルの画像をエンコードし、各パッチは線形変換としてシーケンス化され、196の表現が標準のTransformerにフィードされます。

モデルは、BEiTと同様に、隣接するパッチを含む各ブロックに少なくとも16のパッチをマスクしますが、BEiTモデルで元々使用されている40％ではなく、60％のパッチをマスクします。

さらに、モデルは、ランダムな画像クロップ、水平フリップ、色のジッターを実行します。最後に、data2vecモデルは、教師モードと生徒モードの両方で同じ修正された画像を使用します。

ViT-Bモデルは800エポックで事前トレーニングされ、data2vecモデルはViT-Lモデルに8,192、ViT-Bモデルに2,048のバッチサイズを使用します。data2vecモデルは、ViT-Lの場合0.001、ViT-Bの場合0.001まで80エポックで学習率を温めるために、コサインとアダムのスケジュールを使用します。

ViT-BとViT-Lの両方で、data2vecモデルは、β = 2、K = 6、τ = 0.9998（スケジュールなし）を使用し、さらに、ドロップアウト率0.2のランダム深度を使用します。

さらに、ViT-Lの場合、モデルは、最初の800エポックで学習率0.9998、次の800エポックで学習率0.9999で、合計1,600エポックでトレーニングされます。

画像分類の場合、モデルは、最後のTransformerブロックの出力の平均プール化を使用し、それをソフトマックス正規化された分類器にフィードします。モデルは、ViT-Lを50エポック、ViT-Bを100エポックで、コサインとアダムを使用して学習率を温めることで、ViT-Lを微調整します。

音声処理

音声処理の場合、data2vecモデルは、音声認識、翻訳、テキスト生成のためのカスタムモデルをトレーニングするためのシーケンスモデリングキットであるFairseqを使用します。モデルは、16 kHzの波形を入力として処理し、特徴エンコーダを含み、512チャネルの時間方向の畳み込み、カーネル幅（10、3、3、3、3、2、2）、ストライド（5、2、2、2、2、2、2）で構成されます。

上記の結果は、エンコーダの出力周波数が50 Hzになり、サンプル間のストライドが20 msになります。受信フィールドは400個の入力サンプルまたは25 msのオーディオで構成されます。 生の波形は、単位分散とゼロ平均に正規化されます。

data2vecモデルは、Baevskiフレームワークに似たBaseモデル用のマスキング戦略を使用します。 p = 0.065をすべてのタイムステップの開始インデックスにサンプリングし、次の10のタイムステップをマークします。典型的なトレーニングシーケンスでは、このプロセスにより、約49％のタイムステップがマスクされます。

トレーニング中、data2vecモデルは、τo = 0.999、τe = 0.9999、τn = 30,000を線形に減衰させます。data2vecモデルは、Baseモデルにピーク学習率5 x 10-4のアダム最適化を使用します。さらに、Baseモデルは、最初の3％の更新で学習率を線形に上昇させ、次の90％で維持し、残りの7％で線形に減衰する3段階のスケジュールを使用します。

自然言語処理

data2vecモデルは、入力を50,000種類のバイトペアエンコーディングでトークナイズし、次に各種類の埋め込みを学習します。データがエンコードされた後、モデルは15％のトークンにBERTのマスキング戦略を適用し、80％を学習したマスクトークンに置き換え、10％をランダムな語彙トークンに置き換え、残りの10％は変更されません。

事前トレーニング中、モデルは、τo = 0.999、τe = 0.9999、τn = 100,000、K = 10、β = 4を使用します。モデルは、最初の5％の更新で学習率を線形に上昇させ、次の80％で維持し、残りの15％で線形に減衰する3段階の学習率スケジュールで、アダム最適化を使用します。ピーク学習率は2 x 10-4です。

さらに、モデルは、256シーケンスのバッチサイズで16個のGPUでトレーニングされ、各シーケンスには約512トークンが含まれます。ダウンストリームタスクの場合、モデルは4つの異なる学習率（1 x 10-4、2 x 10-4、3 x 10-4、4 x 10-4）で事前トレーニングされ、最も適切に実行されたものが選択され、NLPのダウンストリームタスクに使用されます。

結果

上記で説明した戦略を実装したdata2vecモデルが、さまざまなモダリティでどのように機能するかを見てみましょう。

コンピュータビジョン

コンピュータビジョンの結果を評価するために、data2vecモデルは、ImageNet-1Kデータセットの画像で事前トレーニングされます。結果として得られるモデルは、同じベンチマークのラベル付きデータでファインチューンされます。標準的な慣行に従って、モデルは検証データでトップ1の精度で評価されます。

結果は、単一の自己教師ありモデル、追加データでトレーニングされた別の視覚的トークナイザー、または他の自己教師あり学習モデルとの比較に基づいて区別されます。

以下の表は、コンピュータビジョンと他の既存モデルのパフォーマンスを比較したdata2vecモデルのパフォーマンスを示しています。

上記の表の結果をまとめると、以下のようになります。

• data2vecモデルは、ViT-LモデルとViT-Bモデルで、単一モデルの設定で以前の結果を上回ります。
• data2vecアルゴリズムで使用されるマスク予測セットアップは、画像の特徴をエンジニアリングしたり、入力ピクセルを予測したり、視覚的なトークンを予測したりするなどのローカルターゲットを予測する方法よりも、文脈化されたラテント表現を予測する方が優れています。
• data2vecモデルは、生徒ネットワークの最終層を2つの異なる画像の増強バージョンで回帰する自己蒸留方法も上回ります。

音声と音声処理

音声と音声処理の場合、data2vecモデルは、約960時間のオーディオデータを含むLibrispeech（LS-960）データセットでトレーニングされます。データセットには、英語のオーディオブックからのクリーンな音声オーディオが含まれ、音声と音声処理業界では標準的なベンチマークとして扱われます。

モデルがさまざまなリソース設定でどのように機能するかを分析するために、研究者は、自動音声認識にさまざまな量のラベル付きデータ（数分から数時間）を使用して、data2vecモデルをファインチューンしました。モデルを分析するために、data2vecは、HuBERTとwav2vec 2.0と比較されます。これらは、離散的な音声単位に依存する、音声と音声表現学習の2つの最も人気のあるアルゴリズムです。

上記の表は、data2vecの音声認識のパフォーマンスを、他の既存のモデルと比較して示しています。 LMは、デコーディングに使用される言語モデルを表します。結果をまとめると、以下のようになります。

• data2vecモデルは、ベースモデルでラベル付きデータが10分の場合に最大の利益を示し、他の設定でも改善を示しています。
• 大きなモデルでは、小規模なラベル付きデータセットでは大幅にパフォーマンスが向上し、100時間以上のラベル付きデータセットではリソース豊富なラベル付きデータセットでパフォーマンスが同等になることがわかります。一般的に、リソース豊富なラベル付きデータセットでは、ほとんどのモデルのパフォーマンスが飽和します。
• パフォーマンスを分析すると、リッチな文脈化されたターゲットを使用する必要がないことがわかります。
• トレーニング中に文脈化されたターゲットを学習することは、全体的なパフォーマンスを大幅に改善するのに役立ちます。

さらに、音声認識に対するdata2vecアプローチを検証するために、モデルはAudioSetベンチマークでもトレーニングされます。AudioSetの事前トレーニング設定はLibrispeechと似ていますが、モデルはK = 12、200,000の更新でトレーニングされ、バッチサイズは94.5分です。

モデルは、ターゲットにDeepNormフレームワークと層正規化を適用して、トレーニングを安定化するのに役立ちます。さらに、モデルは、バッチサイズ21.3分、13,000の更新で、バランスの取れたサブセットでファインチューンされます。モデルは、線形ソフトマックスプーリングと0.7の確率でミックスアップを使用し、527のユニークなオーディオクラスに単一の線形投影を追加し、投影の学習率を2e-4に設定します。

さらに、事前トレーニングされたパラメータは、学習率3e-5を使用し、データセットのファインチューンにマスキング技術を使用します。以下の表は結果をまとめています。data2vecモデルは、同じファインチューンと事前トレーニングデータを使用する設定で、比較可能な設定を上回ることができます。

自然言語処理

テキストでのdata2vecのパフォーマンスを分析するために、モデルは、100万回の更新と256のバッチサイズで、英語Wikipediaデータセットで事前トレーニングされます。モデルは、GLUEまたは一般的な言語理解評価ベンチマークで評価されます。これには、自然言語推論タスク（MNLIまたはマルチジャンルの自然言語推論）、文の類似性（QQPまたはQuoraの質問ペアベンチマーク、MRPCまたはマイクロソフトリサーチパラグラフコーパス、STS-Bまたは意味的テキスト類似性ベンチマーク）、感情分析（SST-2またはスタンフォード感情ツリー銀行）、および文法（CoLA）が含まれます。

さらに、data2vecモデルをファインチューンするために、各タスクのラベル付きデータが提供され、開発セットで平均精度が報告され、5つのファインチューン実行が実行されます。以下の表は、NLPタスクのdata2vecモデルのパフォーマンスをまとめ、他のモデルと比較しています。

• 上記のデータは、data2vecモデルが、ランダムなターゲットを使用しない戦略を使用するため、ベースラインのRoBERTaモデルを上回ることを示しています。
• data2vecモデルは、離散的な単位（文字、単語、またはサブワード）をトレーニングターゲットとして使用しない、最初の成功した事前トレーニングNLPモデルです。代わりに、data2vecフレームワークは、完全なアンマスクテキストシーケンス全体で文脈化されたラテント表現を予測します。
• これにより、モデルは、特定のテキストユニットごとに汎用的な表現を予測するのではなく、シーケンスから特定のプロパティを持つターゲットを予測する必要がある学習タスクを作成する必要があります。
• さらに、ターゲットセットは固定されていないため、モデルは新しいターゲットを定義でき、ボキャブラリー設定に開放されています。

data2vec：削減研究

削減とは、AIおよびMLシステムからコンポーネントを削除することを指します。削減研究は、システムのパフォーマンスを調査または分析するために、モデルから特定の重要なコンポーネントを削除することを指します。これにより、研究者は、そのコンポーネントが全体的なシステムに与える貢献を理解できます。

レイヤー平均ターゲット

data2vecと他の自己教師あり学習モデルの主な違いは、data2vecが教師ネットワークから複数のレイヤーを平均化することによって得られるターゲットを使用することです。これは、wav2vec 2.0モデルのトップレイヤーがダウンストリームタスクに比べて中間レイヤーほどよく機能しないという事実に基づいています。

次の実験では、すべてのモダリティのパフォーマンスが、K = 1、2、…、12のレイヤーを平均化することによって測定されます。ここで、K = 1は、トップレイヤーのみを予測します。ただし、より迅速なターンアラウンド時間を抽出するために、data2vecは、合計12レイヤーでベースモデルをトレーニングします。音声認識の場合、モデルは、Librispeechで200,000の更新で事前トレーニングされ、10時間のラベル付きスプリットでLibri-lightでファインチューンされます。NLPの場合、モデルは、検証セットのGLUEスコアの平均を報告し、コンピュータビジョンの場合、モデルは、300エポックで事前トレーニングされ、ImageNetデータセットでトップ1の精度を報告します。

上記の図は、すべてのモダリティで、K = 1の場合に比べて、複数のレイヤーを使用するターゲットが一般的に改善されることを示しています。使用可能なすべてのレイヤーを使用することは良い慣行です。ニューラルネットワークは、さまざまな種類の特徴をさまざまなレイヤーで構築し、特徴抽出レイヤーとして抽出されます。

複数のレイヤーからの特徴を使用することは、精度の向上と自己教師あり学習プロセスの強化に役立ちます。

ターゲットの特徴タイプ

data2vecモデルのTransformerブロックには、すべてターゲットとして機能できる複数のレイヤーがあります。さまざまなレイヤーがパフォーマンスに与える影響を分析するために、モデルは、Librispeechの音声モデルのさまざまなレイヤーを使用して、異なるレイヤーをターゲットの特徴として使用します。

以下の図は、フィードフォワードネットワーク（FFN）の出力が最も適切に機能し、自己注意ブロックの出力が有用なモデルにはつながらないことを示しています。

ターゲットの文脈化

data2vecモデルの教師表現は、入力全体に自己注意を使用して文脈化されたターゲットを生成します。これは、BYOL（Bootstrap Your Own Latent）やDINOなどの他の自己教師あり学習モデルと異なります。これらのモデルは、変換不変な表現を学習することに重点を置いています。

これは、data2vecモデルが文脈化されたターゲットを必要とするかどうかという疑問を提起します。 data2vecモデルは、入力のフルコンテキストにアクセスできず、入力の事前に決定された部分のみにアクセスできるターゲット表現を構築することで、研究者はこの疑問に答えます。

次に、モデルはフルコンテキストにアクセスできるようにトレーニングされます。

以下の図は、より大きなコンテキストサイズが一般的により優れたパフォーマンスにつながり、入力サンプルのフルコンテキストが可視化されたときに最高の精度が得られることを示しています。さらに、 より豊富なターゲット表現がより優れたパフォーマンスにつながることを示しています。

モダリティ固有の特徴抽出とマスキング

data2vecの主な目的は、さまざまなモダリティで動作するための単純な学習メカニズムを設計することです。これは、現在のモデルやフレームワークが統一された学習体制を持っているにもかかわらず、モダリティ固有のマスキングや特徴抽出を使用しているためです。

これは、入力データの性質が大きく異なるため、モデルの大部分が単一のモダリティで機能することを意味します。たとえば、音声認識モデルは、高解像度の入力（10 kHzの波形）を使用し、通常は数千のサンプルがあります。波形は、50 Hzの特徴シーケンスを取得するために、多層の畳み込みニューラルネットワークを使用して処理されます。

構造化されたターゲットと文脈化

data2vecと他のマスク予測モデルの主な違いは、data2vecモデルのトレーニングターゲットの特徴が文脈化されていることです。これらの特很は、教師モードで入力の全体的なマスクされた入力に自己注意を使用して構築されます。

BYOL（Bootstrap Your Own Latent）やDINOなどの他のフレームワークも、data2vecと同様のラテント表現を使用しますが、変換不変表現の学習に重点を置いています。

最終的な考え

最近の研究では、統一されたモデルアーキテクチャが、複数のモダリティに対処するための有効なアプローチであることを示しています。data2vecモデルは、音声、画像、言語の3つのモダリティで自己教師あり学習アプローチを使用します。

data2vecモデルの背後にある重要な概念は、入力の部分的なビューを使用して、入力データの文脈化された情報または入力データを回帰することです。data2vecフレームワークで使用されるアプローチは、data2vecモデルが、ViT-BおよびViT-Lの単一モデル設定で、ImageNet-1Kデータセットの以前の自己教師あり学習モデルを上回ることを実証しています。

data2vecは、実際に、複数のモダリティを学習するための単一の学習方法が、モデルのモダリティ間の学習を容易にすることができることを示した、自己教師あり学習業界における重要なマイルストーンです。