AI 模型与平台
Databricks 将全文搜索和向量搜索引入 Lakebase Postgres

要点Lakebase Search 将向量搜索和 BM25 搜索嵌入 Postgres 内部,使智能体无需单独的搜索引擎和 ETL 管道。
查看更多
- Lakebase Search 将向量搜索和 BM25 搜索嵌入 Postgres 内部,使智能体无需单独的搜索引擎和 ETL 管道。
- Databricks 声称,在 VectorDBBench 100M 基准测试中,lakebase_vector 的吞吐量是次优系统的两倍。
- pgvector 迫使其付出高昂的常驻内存代价,因为其 HNSW 索引一旦溢出到磁盘,性能就会严重下降。
Databricks 于 2026 年 9 月 28 日,推出 Lakebase Search,这是一款内置于其 Lakebase Postgres 数据库的搜索引擎,通过两个扩展提供: lakebase_vector 用于近似最近邻搜索和 lakebase_text 用于 BM25 全文搜索。两个扩展均已在 AWS 和 Azure 上普遍可用。
这些扩展让开发者能够在 Postgres 中直接运行语义、关键字和混合搜索,并与运营数据并行。Databricks 表示,传统的 OLTP 系统并未针对 AI 代理的搜索需求而构建,这类需求需要低延迟、高精度的检索,并且经常执行大规模并行搜索,而迄今为止的解决方案是将独立的搜索引擎通过 ETL 流水线附加到主数据库。公司称,他们在数百位 beta 客户的反馈下构建了 Lakebase Search。
基准测试结果与 Conexiom 部署
Databricks 表示 lakebase_vector 在使用 LAION 数据集的 VectorDBBench 100M 基准测试中,其吞吐量是次佳系统的两倍,并且在自动扩缩容带来的额外节省之前,其成本为使用 pgvector 的云 Postgres 供应商的四分之一。公司报告称,在 97% 召回率下,P99 延迟为 71 毫秒,这意味着引擎在 97% 的情况下成功检索到真实的最近邻,并指出 pgvector 和 DiskANN 仅在单个大实例上进行测试。
Databricks 还报告了来自 Conexiom 的客户结果,该公司在超过 1 亿行数据上运行 BM25 混合搜索,其计算占用仅为之前 pgvector 设置的一半。公司称,Conexiom 的基础设施成本降至原来的三分之一,吞吐量增至原来的五倍,相较于 pgvector。
“Lakebase Search 为我们提供了相较于 pgvector 全新的可扩展性水平,并在同一无服务器数据库中解锁了 BM25,”Conexiom 的 AI/ML 架构师 Jordan Voves 说。“我们使用 Lakebase 将数据大规模连接到我们的代理。”
设计背后的 Pgvector 限制
Databricks 表示,pgvector 是 Lakebase Postgres 中安装最广的扩展,并描述了在大规模使用时客户观察到的三个常见痛点。
首先是成本随数据量而非使用量增长。pgvector 将其 HNSW 索引保存在数据库内存中,由于 HNSW 搜索依赖随机访问图遍历,一旦索引溢写到磁盘,性能会下降 10 到 50 倍,查询变成随机读取链。一个 768 维的 float32 向量在包含图链接和 Postgres 开销后约占 3.3 千字节内存,因此对 1 亿行的索引大约需要 330 GB RAM 常驻,无论查询是否触及,都必须完整预配。
第二个问题是索引维护。Databricks 表示,当构建溢写到磁盘时,pgvector 索引在标准云实例上几乎需要 50 小时才能构建,写入也受到同样的瓶颈,因为插入向量需要随机访问遍历并修改多个图层。由于 HNSW 没有全局重新平衡,恢复搜索质量必须运行完整的 REINDEX,这一操作会锁表并停止生产写入。
第三个问题是单个查询无法并行化。pgvector 查询由单个 Postgres 后端进程执行,使得 HNSW 索引扫描无法并行。提升召回率需要访问更多图节点,这会增加随机内存读取和距离比较,导致延迟上升并降低每秒查询数,因此提升吞吐量只能通过增加数据库连接或只读副本来实现。
Lakebase_vector 的构建方式
Lakebase Postgres 将存储与计算分离:永久数据存放在低成本的云对象存储中,而 RAM 和本地 NVMe 充当短暂缓存,保存活动工作集。在此基础之上,Databricks 结合了两种技术。
层次化 IVF 聚类将向量分组为存储为连续块的簇。查询在内存中对簇中心进行打分,然后仅读取少量看似有前景的块,作为大顺序读取,而不是进行大量随机跳转。二进制量化使用 RaBitQ 方法,将每个向量压缩至约每维一个比特,约比 float32 小 32 倍,因此查询扫描紧凑的代码以筛选候选项,并仅用全精度向量对该候选集重新排序。
由于设计是无状态的,它可以扩展至零,并且在空闲时用户仅为存储付费。Databricks 报告称,在对 1 亿条、768 维数据集进行零扩展后的首次查询,其测得的 P90 为 1.13 秒,并表示 1 亿向量可以在一个 Lakebase Compute Unit 上提供服务。
索引构建仅在一个小的随机样本上对聚类中心进行一次训练;随后每个向量被分配到最近的中心,进行量化,并作为独立操作写入相应的块,从而使工作能够在可用的所有核心上并行展开。Databricks 表示,其 LTAP 架构将索引构建从主数据库卸载到诸如 Spark 等分布式引擎,使构建时间缩短至分钟级,并称该功能还有更多改进即将推出。由于谓词在块扫描期间直接应用,过滤查询能够避免过度获取候选项并保持高召回率,且单个查询可在 CPU 核心之间并行执行。
BM25 文本搜索和混合查询
Databricks 表示,标准的 Postgres tsvector 搜索缺乏全语料库的相关性上下文。lakebase_text 使用全局逆文档频率对词项进行打分,对稀有的、高意图的词赋予更高权重,对常见的填充词赋予较低权重。它在遍历索引时还会检查得分上限,丢弃那些无法影响 top‑K 结果的整个 posting 块,Databricks 称这使其比使用 GIN 索引的 tsvector 更快。
将这两个扩展结合起来即可在 Postgres 内实现原生混合搜索:单个查询既可以应用普通的 SQL 过滤谓词、连接实时业务表,又可以将语义向量得分与 BM25 关键字相关性相融合。Databricks 表示,该系统能够从单行扩展到十亿向量,并且从每秒一次的查询扩展到每秒数千次,而无需手动重新配置,称其设计面向能够在秒级内触发数千个并发检索请求的 AI 代理的工作流。
Databricks 将 Lakebase Search 定位于希望将运营数据和搜索数据合并到单一数据库的用户,而 Databricks AI Search 则继续作为即开即用的托管检索引擎。Lakebase Search 已在 AWS 和 Azure 上普遍可用;现有 Lakebase 用户可以启用这些扩展,新用户则可注册使用 Lakebase。












