Pinecone、VQ-Benchベクトル量子化フレームワークをオープンソース化

Pineconeは、ベクトル量子化手法の構築とベンチマーク用のオープンソースフレームワークであるVQ-benchを、2026年9月17日の発表でAshwin Padaki、Amir Ingber、そしてEdo Libertyが行った。リリースには、人気の量子化器のベンチマークを実行する公開ウェブサイトと、MITライセンスのGitHubリポジトリ、そしてVecDB@VLDB 2026で発表された論文が含まれる。

Pineconeが量子化ベンチマークを構築した理由

ベクトル量子化はベクトルの保存に必要なビット数を削減し、著者らはこれをベクトルデータベースの維持に不可欠な要素であり、ベクトルデータベースと大規模言語モデルの両方にとって重要だと述べている。Pineconeは最初のプロトタイプ以来量子化を使用しており、著者らは新しい研究を調査しベンチマークしようとした際、各論文がパフォーマンスを異なる指標、異なるデータセット、異なる対象ハードウェアで評価していることに気付いたと書いている。彼らは、主要な手法を相互に評価する体系的な試みが存在しないことを指摘した。

プロジェクトの前提は、著者らが述べるように、ほとんどの公開された量子化器は比較的少数の基本操作から構成されているため、量子化器の構築はどの基本操作をどの順序で使用するかというレシピに還元できるというものだ。補足論文は2026年7月31日にarXivに投稿され、フレームワークが7つの概念的量子化プリミティブを記述し、任意に組み合わせる方法を示し、25の一般的な量子化器をそれらのプリミティブのパイプラインとして再表現していることを述べている。

VQ-Benchが量子化器を構成する方法

VQ-benchにおいて、量子化器とはベクトル集合を受け取り圧縮し、後で必要な情報を復元できるものを指す。量子化器は4つのメソッドを実装しなければならない：fit（ベクトルのサンプルからモデルを学習し、必要に応じてクエリも学習する）、encode（モデルに基づきベクトルごとのコードを返す）、reconstruct（モデルとコードからベクトルを再構築する）、score（クエリベクトルと符号化ベクトル間の内積を推定する）。

プリミティブは同じ4つのメソッドに加えて、apply と apply_queries の2つを実装し、ステージが次のステージへデータを渡す方法を指定する。これら2つのメソッドがチェーン契約を形成し、プリミティブの合成を可能にする。VQ-benchは3つのプリミティブ群を実装している：Center、Normalize、PCA、RandomRotate などのコンディショナー、CastUint、CastAngular、CastNormal、KMeans などのラウンダー、そして Segment のようなスプリッター。

パイプラインは2つ以上のプリミティブを連結する。fit と encode メソッドはベクトルをチェーンに沿って前方に進め、各ステージの処理を行い、各ステージで学習されたモデルと出力コードを結合する。reconstruct は最後のステージから開始し、逆方向に遡りながら各ステージの貢献を組み込む。score はまずクエリを apply_queries を通して前方に進め、その後同様の逆方向パスを実行する。量子化器は4つのメソッドを実装すればパイプラインである必要はないが、著者らはほとんどの公開された量子化器がプリミティブのパイプラインとして表現できると報告している。

この発表では、E-RaBitQ を4つのプリミティブからなる例示的パイプラインとして取り上げている：Center は各ベクトルからデータセットベクトルの平均を減算し、Normalize は各ベクトルを単位ノルムに正規化し、ランダム回転はランダムな直交変換またはハダマード変換を適用し、角度キャストはベクトルを b ビット整数グリッドに丸めて最も近い角度の格子点にスナップする。

ベンチマークの設定と報告された結果

著者らは VIBE からの5つのデータセット上で14種類の量子化器を評価し、そのうち2つ（ArXiv：768次元で1,344,643ベクトル、Yahoo：384次元で677,305ベクトル）の詳細な結果を提示した。完全な結果はプロジェクトのベンチマークウェブサイトで公開されている。

再構成平均二乗誤差（MSE）は、著者らがベクトル量子化の従来指標であり、LLM の重み圧縮などの用途で重要と呼んでいるもので、データセットからランダムに抽出した1,000個のベクトルについて、各ベクトルとその再構成との差の二乗距離の平均として測定された。ベクトルデータベースにおいては、リコールがより重要な指標とされ、特に再ランク付けにおいて重要である。recall@10 は、各クエリに対してデータセットベクトルの上位1,000件の最大内積を計算し、量子化器が推定した上位10件のうち実際の上位10件に含まれる割合をすべてのクエリで平均して測定する。発表で示されたエンコード時間は、Apple M2 Pro（16GB RAM）上で6スレッドを使用し、チャンク単位でエンコードしマルチスレッドで加速した結果である。

著者らは、PQ と OPQ が一貫して最も低い再構成 MSE を示し、EDEN と E-RaBitQ はリコールにおいて特にビット予算が高い場合に比較可能であり、さらに EDEN は PQ、OPQ、E-RaBitQ よりもはるかに高速にエンコードできることを報告している。これにより、EDEN は多くの量子化アプリケーションに適した候補であると述べている。

リポジトリ、ツール、そして貢献

GitHub リポジトリは MIT ライセンスで、Pinecone の Amir Ingber と Edo Liberty、ペンシルベニア大学の Ashwin Padaki がメンテナとして記載されています。Rust 製のコマンドラインツール vqb が同梱されており、JSON 実行設定でデータセット、手法とそのパラメータ、品質指標、リコールの k 値、ソフトマックス温度、マスタ―シード、サブサンプリング数、スレッド数を選択できます。dry-run フラグは計算を行う前に設定を検証します。ストリーミングモードは、デフォルトで 256 MB のブロック単位でディスクから基底ベクトルを読み込み、メモリより大きなデータセットを処理します。

アナウンスによれば、リポジトリは 2 種類の貢献を受け付けています。1 つは新しい量子化器で、これは既存のプリミティブを数行のコードで並び替えるだけの場合が多く、もう 1 つは 6 つのインターフェースメソッドを実装する新しいプリミティブで、これらはカタログ内の他のすべてのプリミティブと組み合わせて使用されます。評価ハーネスは recall@k、再構成誤差とスコア誤差、バイアス、ソフトマックス KL、全変動、次元あたりビット数、エンコード・スコア・再構成コストを測定します。著者らはこのリリースを VQ‑bench の最初のイテレーションと位置付け、今後さらに量子化器を追加すると述べています。修正はリポジトリのイシュー・トラッカーから提出でき、公開ベンチマークは新しい手法が組み込まれるたびに定期的に更新されます。