量子化技術の比較：スケーラブルなベクトル検索のための量子化技術

より深い洞察に基づいて類似するものを検索することを想像してみましょう。キーワードだけでなく、ベクトルデータベースと類似性検索がこれを可能にします。 ベクトルデータベース では、ベクトル類似性検索が可能です。検索クエリ内のデータポイントを距離を使用して見つけることができます。

しかし、高次元データでの類似性検索は遅く、リソースを大量に消費する可能性があります。ここで、量子化技術が登場します！量子化技術は、ベクトルデータベースでのデータストレージとデータ取得の最適化において重要な役割を果たします。

この記事では、さまざまな量子化技術、種類、実際のユースケースについて 探ります。

量子化とは何か？どうやって機能するのですか？

量子化とは、連続したデータを離散したデータポイントに変換するプロセスです。特に、億スケールのパラメータを扱う場合、量子化は管理と処理に不可欠です。ベクトルデータベースでは、量子化により、高次元データが圧縮された空間に変換され、重要な特徴とベクトル距離が保持されます。

量子化により、メモリのボトルネックが大幅に削減され、ストレージ効率が向上します。

量子化のプロセスには、3 つの重要なステップがあります：

1. 高次元ベクトルの圧縮

量子化では、コードブック生成、特徴量エンジニアリング、エンコードなどのテクニックを使用して、高次元ベクトル埋め込みを低次元部分空間に圧縮します。言い換えると、ベクトルは複数のサブベクトルに分割されます。ベクトル埋め込みは、音、画像、ビデオ、テキスト、または信号データの数値表現であり、処理を容易にします。

2. 離散値へのマッピング

このステップでは、低次元サブベクトルを離散値にマッピングします。マッピングにより、各サブベクトルのビット数がさらに削減されます。

3. 圧縮ベクトルストレージ

最後に、サブベクトルの離散値がマッピングされ、元のベクトルに代わってデータベースに保存されます。圧縮されたデータは、同じ情報をより少ないビットで表現し、ストレージを最適化します。

ベクトルデータベースの量子化の利点

量子化には、計算とメモリのフットプリントの両方が向上するという一連の利点があります。

1. 効率的なスケーラブルなベクトル検索

量子化により、ベクトル検索が最適化され、比較計算コストが削減されます。したがって、ベクトル検索にはより少ないリソースが必要になり、全体的な効率が向上します。

2. メモリ最適化

量子化されたベクトルにより、同じ空間内に更多のデータを保存できます。さらに、データのインデックス作成と検索も最適化されます。

3. 速度

効率的なストレージと取得により、計算が速くなります。次元の削減により、データの操作、クエリ、予測が速くなります。

人気のベクトルデータベースである Qdrant、Pinecone、および Milvus では、さまざまな量子化技術が提供されており、さまざまなユースケースがあります。

ユースケース

量子化がデータのサイズを削減しながら重要な情報を保持する能力により、便利なツールとなります。

いくつかの応用について詳しく見てみましょう。

1. 画像とビデオ処理

画像とビデオデータには、計算の複雑さとメモリのフットプリントが大幅に増加する可能性のある、より広い範囲のパラメータがあります。 量子化 により、重要な詳細を失うことなくデータを圧縮し、効率的なストレージと処理を可能にします。これにより、画像とビデオの検索が速くなります。

2. 機械学習モデルの圧縮

大規模なデータセットで AI モデルをトレーニングすることは、リソースを大量に消費するタスクです。量子化により、モデルサイズと複雑さ を削減することで役立ちますが、効率性を損なうことはありません。

3. 信号処理

信号データは、GPS または監視カメラのフッテージなどの連続したデータポイントを表します。量子化により、データを離散値にマッピングし、より速いストレージと分析を可能にします。さらに、効率的なストレージと分析により、検索操作が速くなり、信号の比較が速くなります。

さまざまな量子化技術

量子化により、億スケールのパラメータをシームレスに処理できるようになりますが、不可逆的な情報損失のリスクもあります。ただし、許容可能な情報損失と圧縮のバランスを取ることで、効率性が向上します。

各量子化技術には、長所と短所があります。選択する前に、圧縮要件、各技術の長所と短所を理解する必要があります。

1. バイナリ量子化

バイナリ量子化は、すべてのベクトル埋め込みを 0 または 1 に変換する方法です。値が 0 より大きい場合、1 にマッピングされ、0 の場合、0 にマークされます。したがって、高次元データを大幅に低次元化し、類似性検索を高速化します。

式

式は次のとおりです。

バイナリ量子化の式。著者による画像。

ここでは、バイナリ量子化がベクトルにどのように作用するかについての例を示します。

バイナリ量子化のグラフィカルな表現。著者による画像。

長所

• 最速の検索、スカラー量子化と積量子化を上回る。
• メモリのフットプリントを 32 倍削減します。

短所

• 情報損失の比率が高い。
• ベクトルコンポーネントは、平均がほぼ 0 に等しい必要があります。
• 低次元データでは、情報損失が大きいため、パフォーマンスが低下します。
• 最良の結果を得るには、再評価が必要です。

ベクトルデータベースの Qdrant と Weaviate では、バイナリ量子化が提供されます。

2. スカラー量子化

スカラー量子化は、浮動小数点または小数を整数に変換します。これは、各次元の最小値と最大値を特定することから始まります。特定された範囲は、複数のビンに分割されます。最後に、各次元の各値はビンに割り当てられます。

量子化されたベクトルの精度または詳細度は、ビンの数に依存します。ビンが多くなるほど、精度が高くなり、より細かい詳細が捉えられます。したがって、ベクトル検索の精度もビンの数に依存します。

式

式は次のとおりです。

スカラー量子化の式。著者による画像。

ここでは、スカラー量子化がベクトルにどのように作用するかについての例を示します。

スカラー量子化のグラフィカルな表現。著者による画像。

長所

• 大量の メモリ 最適化。
• 情報損失が小さくなる。
• 部分的に逆変換可能なプロセス。
• 高速な圧縮。
• 情報損失が小さいため、効率的なスケーラブルな検索。

短所

• 検索の品質がわずかに低下します。
• 低次元ベクトルは、各データポイントが重要な情報を保持するため、情報損失の影響を受けやすくなります。

ベクトルデータベースの Qdrant と Milvus では、スカラー量子化が提供されます。

3. 積量子化

積量子化では、ベクトルをサブベクトルに分割します。各セクションについて、中心点 (セントロイド) を クラスタリングアルゴリズム を使用して計算します。各サブベクトルの最も近いセントロイドがそれらを表します。

積量子化における類似性検索は、検索ベクトルを同じ数のサブベクトルに分割することから始まります。次に、各サブベクトルのセントロイドからの距離の昇順に、類似する結果のリストを作成します。ベクトル検索プロセスでは、クエリサブベクトルと量子化されたベクトルのセントロイドからの距離を比較するため、検索結果の精度は低くなります。ただし、積量子化により、類似性検索プロセスが高速化され、サブベクトルの数を増やすことで、より高い精度が得られます。

式

セントロイドの検出は、各データポイントとそのセントロイド間のユークリッド距離の再計算を使用する反復プロセスです。n 次元空間のユークリッド距離の式は次のとおりです。

積量子化の式。著者による画像。

ここでは、積量子化がベクトルにどのように作用するかについての例を示します。

積量子化のグラフィカルな表現。著者による画像。

長所

• 最も高い圧縮比。
• 他の技術よりもストレージ効率が高い。

短所

• 低次元ベクトルには適していません。
• リソースを大量に消費する圧縮。

ベクトルデータベースの Qdrant と Weaviate では、積量子化が提供されます。

適切な量子化方法の選択

各量子化方法には、長所と短所があります。適切な方法を選択するには、次の要素を考慮する必要があります。

• データの次元
• 圧縮と精度のトレードオフ
• 効率性の要件
• リソース制約。

以下の比較チャートを参照して、どの量子化技術があなたのユースケースに適しているかを理解しましょう。このチャートでは、各量子化方法の精度、速度、圧縮要素を強調しています。

Qdrant による画像。

ストレージの最適化から高速な検索まで、量子化により、億スケールのパラメータを保存する際の課題を軽減します。ただし、実装前に要件とトレードオフを理解することは、成功の鍵です。

最新のトレンドやテクノロジーについてもっと知りたい場合は、Unite AI を訪問してください。