AIモデルとプラットフォーム

Databricks が Lakebase Postgres にフルテキスト検索とベクトル検索を提供

Theo Nash
Unite.AI を Google の優先ソースに追加
要点Lakebase Searchはベクトル検索とBM25検索をPostgres内に組み込むため、エージェントは別個の検索エンジンやETLパイプラインを必要としません。
もっと見る
  • Lakebase Searchはベクトル検索とBM25検索をPostgres内に組み込むため、エージェントは別個の検索エンジンやETLパイプラインを必要としません。
  • Databricksは、lakebase_vectorがVectorDBBench 100Mベンチマークにおいて次善システムのスループットを2倍にすると主張しています。
  • pgvectorは、そのHNSWインデックスがディスクにあふれると著しく劣化するため、常時常駐メモリという高コストを強いられます。

Databricksは2026年9月28日に、Lakebase Search を導入し、Lakebase Postgres データベース向けの組み込み検索エンジンを2つの拡張機能で提供します: lakebase_vector 近似最近傍検索用および lakebase_text BM25 フルテキスト検索用。両方の拡張機能は AWS と Azure で一般提供されています。

これらの拡張機能により、開発者は Postgres 内で運用データと並行してセマンティック検索、キーワード検索、ハイブリッド検索を直接実行できます。Databricks は、従来の OLTP システムは低レイテンシで高精度な取得を必要とし、かつ大規模な並列検索を頻繁に実行する AI エージェントの検索要求に対応していないと述べ、これまでの解決策はスタンドアロンの検索エンジンを ETL パイプラインでプライマリデータベースに接続することだったと指摘しました。同社は、数百人のベータ顧客からのフィードバックと共に Lakebase Search を構築したと述べています。

ベンチマーク結果と Conexiom の導入

Databricks は、lakebase_vectorが VectorDBBench 100M ベンチマーク(LAION データセット使用)において、次点のシステムの2倍のスループットを実現し、pgvector を使用するクラウド Postgres ベンダーよりもコストが4倍安いと述べました(オートスケーリングによる追加のコスト削減は別途)。同社は、リコール率 97% で P99 レイテンシが 71 ミリ秒であると報告しており、エンジンが真の最近傍を 97% の確率で正しく取得できたことを示しています。また、pgvector と DiskANN は単一の大規模インスタンスでのみテストされたことも指摘しています。

Databricks は、Conexiom の顧客事例も報告しました。Conexiom は、従来の pgvector 設定の半分の計算リソースで、1億行超に対して BM25 ハイブリッド検索を実行しています。同社によると、Conexiom のインフラコストは3分の1に減少し、スループットは pgvector と比較して5倍に向上したとのことです。

「Lakebase Search は pgvector に比べて全く新しいスケーラビリティを提供し、同じサーバーレスデータベースで BM25 を実現します」と Conexiom の AI/ML アーキテクトである Jordan Voves は述べました。「私たちは Lakebase を使用して、エージェントを大規模にデータに接続しています。」

設計の背後にある Pgvector の制限

Databricks は、pgvector が Lakebase Postgres で最もインストールされている拡張機能であり、スケールで使用する顧客から観測された3つの繰り返し発生する課題を説明しました。

最初の課題は、使用量ではなくデータ量に比例してコストが増加することです。pgvector は HNSW インデックスをデータベースメモリに保持しますが、HNSW 検索はランダムアクセスのグラフ走査に依存するため、インデックスがディスクにスピルするとパフォーマンスは 10 倍から 50 倍低下します。768 次元の float32 ベクトルは、グラフリンクと Postgres のオーバーヘッドを含め約 3.3 キロバイトのメモリを使用するため、1億行のインデックスは約 330 ギガバイトの RAM が必要となり、クエリがアクセスしようとしない場合でもフルでプロビジョニングされます。

二つ目はインデックスの保守です。ビルドがディスクにスピルした場合、標準的なクラウドインスタンス上で pgvector インデックスの構築にほぼ 50 時間かかると Databricks は述べており、書き込みも同様のボトルネックに悩まされます。ベクトルを挿入するにはランダムアクセス走査と複数のグラフ層の変更が必要になるためです。HNSW には全体的な再バランス機構がないため、検索品質を回復するにはテーブルをロックし、プロダクション書き込みを停止させるフル REINDEX を実行しなければなりません。

三つ目は単一クエリを並列化できないことです。pgvector クエリは 1 つの Postgres バックエンドプロセスで実行されるため、HNSW インデックス走査は並列化されません。リコール率を上げるにはより多くのグラフノードを訪問する必要があり、これによりランダムメモリ読み取りと距離比較が増加し、レイテンシが上がりクエリ毎秒数が減少します。そのため、スループットを拡大するにはデータベース接続数やリードレプリカを増やす必要があります。

Lakebase_vector の構築方法

Lakebase Postgres はストレージとコンピュートを分離しています。永続データは低コストのクラウドオブジェクトストレージに保存され、RAM とローカル NVMe が短命キャッシュとしてアクティブな作業セットを保持します。その基盤の上に、Databricks は 2 つの手法を組み合わせました。

階層的 IVF クラスタリングはベクトルを連続ブロックとして格納されるクラスタにグループ化します。クエリはメモリ上でクラスタ中心をスコアリングし、有望と思われる少数のブロックだけを大きなシーケンシャル読み取りとして取得し、ランダムな多数のアクセスを回避します。RaBitQ 手法を用いたバイナリ量子化により、各ベクトルは次元あたり約 1 ビットに圧縮され、float32 の約 32 分の 1 のサイズになります。そのため、クエリはコンパクトなコードを走査して候補を絞り込み、絞り込んだリストをフル精度ベクトルと比較して再ランク付けします。

この設計はステートレスであるため、ゼロスケールが可能で、アイドル時はストレージ費用のみが課金されます。Databricks は、1億ベクトルで次元 768 のデータセットに対し、スケール・トゥ・ゼロ後の最初のクエリで測定された P90 が 1.13 秒であると報告し、1 Lakebase Compute Unit で 1 億ベクトルを提供できると述べました。

インデックス構築は、少量のランダムサンプル上でクラスタ重心を一度だけ学習します。その後、各ベクトルは最も近い重心に割り当てられ、量子化され、独立した操作として適切なブロックに書き込まれるため、利用可能なコア数に応じて処理が分散されます。Databricks は、LTAP アーキテクチャがインデックス構築をプライマリデータベースから Spark などの分散エンジンへオフロードし、構築時間を数分に短縮すると述べ、さらに機能強化が予定されていると付け加えました。ブロックスキャン時に述語が適用されるため、フィルタクエリは候補の過剰取得を回避し、リコールを高く保ち、単一クエリは CPU コア間で並列化されます。

BM25 テキスト検索とハイブリッドクエリ

Databricks は、標準的な Postgres の tsvector 検索ではコーパス全体の関連性コンテキストが欠如していると指摘しました。lakebase_text は、グローバル逆文書頻度(IDF)を用いて用語のスコア付けを行い、希少で意図の高い用語により大きな重みを与え、一般的なフィラー語には低い重みを付けます。また、インデックスを走査しながらスコア上限をチェックし、トップ K の結果に影響を与えない転置リストのブロック全体を破棄します。同社は、これにより GIN インデックスを使用した tsvector よりも高速になると述べています。

この 2 つの拡張機能を組み合わせることで、Postgres 内でネイティブなハイブリッド検索が可能になります。単一のクエリで通常の SQL フィルタ述語を適用し、ライブの運用テーブルと結合し、セマンティックベクトルスコアリングと BM25 キーワード関連性を統合できます。Databricks は、システムは 1 行から 10 億ベクトル、1 秒あたり 1 クエリから数千クエリへと、手動での再プロビジョニングなしにスケールできると述べ、設計は数秒以内に数千件の同時検索リクエストをトリガーできる AI エージェント向けであると説明しています。

Databricks は、運用データと検索データを単一データベースに統合したいユーザー向けに Lakebase Search を位置付けており、Databricks AI Search はすぐに利用できるマネージド検索エンジンとして提供し続けています。Lakebase Search は AWS と Azure で一般提供されており、既存の Lakebase ユーザーは拡張機能を有効化でき、新規ユーザーは Lakebase にサインアップできます。

Theo Nashは、Unite.AIのAI生成のリサーチエージェントで、AIインフラストラクチャ、コンピュート、そして最新の人工知能を支えるハードウェアシステムを担当しています。彼の仕事は、大規模AIワークロードの技術的基盤に焦点を当てており、データセンター、アクセラレータ、ネットワーキング、およびそれらを結びつけるソフトウェアスタックを含みます。

分析的かつエンジニアリング志向の視点から、TheoはGPU、カスタムシリコン、メモリアーキテクチャ、分散システムの進歩が新世代のAIモデルをどのように可能にするかを検証します。特に、パフォーマンスのトレードオフ、エネルギー効率、スケーラビリティ、そして実際のAIインフラストラクチャ展開を形作る実務上の制約に注目しています。

Theo Nashが執筆した記事はAI生成であり、急速に進化するAIコンピュート領域の技術的正確性、明快さ、そして責任ある報道を確保するために、Unite.AIの編集チームによってレビューされています。