AI 基础

什么是混合搜索?结合关键词与向量,提升检索效果

混合搜索将词法匹配与向量相似度结合起来,使检索既能遵循精确词项,也能识别语义等价表达。本指南将介绍其机制、权衡、评估方法,以及实践中至关重要的控制措施。

mm
将 Unite.AI 添加到您在 Google 上的首选来源

混合搜索将词汇匹配与向量相似度结合起来,使检索既能匹配确切词语,也能识别语义相近的表达。

混合搜索需要得到准确解释,因为这个名称指向特定的信息流、训练选择、运行时机制或治理边界。把它当作“先进人工智能”的同义词,会让相关主张无法检验。本指南将从这一概念的输入和假设谈起,追踪其可观察的结果,再检验最容易与之混淆的捷径。

混合搜索:定义、边界与目的

混合搜索将词汇匹配与向量相似度结合起来,使检索既能匹配确切词语,也能识别语义相近的表达。这个定义包含三项实际要求:存在可明确识别的输入;存在混合搜索特有的转换或决策;并且结果能够根据明确提出的目标进行评估。如果缺少其中任何一项,这个标签描述的可能只是一种设想,而非已经实现的机制。

检索系统由多个处理环节构成。解析、表征、索引、候选项生成、排序、上下文组装和答案生成,都可能产生或移除证据。对于混合搜索而言,采用系统视角十分重要,因为即使底层模型没有变化,周边的数据、接口、硬件、权限和人员也可能决定系统表现。因此,合理的解释应将模型学到的行为,与决定何时、何地以及在何种权限下使用这些行为的产品区分开来。

最容易造成误解的捷径,是只把 BM25 或嵌入向量中的一种作为信号。它或许与混合搜索有某种表面上的相似之处,但会改变因果关系:证明成功所需的证据会不同,成本的主要来源会不同,防止危害的控制措施也会不同。因此,两者的界限体现在实际运作方式上,而非术语上。

混合搜索的五阶段运行示意图

01执行关键词检索或稀疏检索

02执行稠密向量检索

03对分数或排名进行归一化

04融合候选列表

05对合并后的结果重新排序并筛选
混合搜索通过五项可观察的操作,将输入转化为结果。下文的编号说明也按照相同顺序展开。

这张图是混合搜索的简明因果关系示意图,并非声称每种实现都由五个软件组件构成。有些系统会合并处理阶段,另一些则会循环执行某些阶段。这张示意图仍然有用,因为它要求为信息或权限的每一次变化明确指定责任方、输入、输出和测试。

1. 执行关键词检索或稀疏检索路径:混合搜索中的输入与假设

在混合搜索的这一阶段,系统必须执行关键词检索或稀疏检索路径。关键不只是确认是否执行了这一操作,还要弄清它使用了哪些信息、改变了哪些状态,以及有哪些证据能够证明这种改变有效。审查人员应能够将这一操作与仅使用 BM25 或嵌入向量作为信号的做法区分开来,并在相同的既定条件下复现其结果。

进入混合搜索这一阶段时,应从既定目标开始,并以能够支持执行稠密向量检索路径的结果为终点。记录不确定性、被否决的替代方案、资源使用情况,以及在这一边界上实施的任何人工或软件控制。通过这份记录,团队可以发现分数融合不当是否会导致一个检索通道压过另一个通道,避免同一弱点影响后续具有重大影响的输出。

2. 执行稠密向量检索路径:混合搜索中的表征或决策

在混合搜索的这一阶段,系统必须执行稠密向量检索路径。关键不只是确认是否执行了这一操作,还要弄清它使用了哪些信息、改变了哪些状态,以及有哪些证据能够证明这种改变有效。审查人员应能够将这一操作与仅使用 BM25 或嵌入向量作为信号的做法区分开来,并在相同的既定条件下复现其结果。

进入混合搜索这一阶段时,应从执行关键词检索或稀疏检索路径开始,并以能够支持对分数或排名进行归一化的结果为终点。记录不确定性、被否决的替代方案、资源使用情况,以及在这一边界上实施的任何人工或软件控制。通过这份记录,团队可以发现分数融合不当是否会导致一个检索通道压过另一个通道,避免同一弱点影响后续具有重大影响的输出。

3. 对分数或排名进行归一化:混合搜索的独特转换

在混合搜索的这一阶段,系统必须对分数或排名进行归一化。关键不只是确认是否执行了这项操作,还要弄清它使用了哪些信息、改变了什么状态,以及有哪些证据能够证明这种改变有效。审查者应能区分这项操作与仅将 BM25 或嵌入作为唯一信号的做法,并能在相同的既定条件下复现其结果。

进入混合搜索这一阶段时,流程从运行密集向量检索路径开始,最终应得到能够支持融合候选列表的结果。应记录不确定性、被否决的替代方案、资源使用情况,以及在这一环节实施的任何人工或软件控制。通过这份记录,团队可以发现分数融合不佳是否会导致一个检索通道压过另一个,从而避免同样的弱点影响后续的重要输出。

4. 融合候选列表:混合搜索中的约束与验证边界

在混合搜索的这一阶段,系统必须融合候选列表。关键不只是确认是否执行了这项操作,还要弄清它使用了哪些信息、改变了什么状态,以及有哪些证据能够证明这种改变有效。审查者应能区分这项操作与仅将 BM25 或嵌入作为唯一信号的做法,并能在相同的既定条件下复现其结果。

进入混合搜索这一阶段时,流程从归一化分数或排名开始,最终应得到能够支持对合并结果进行重排和筛选的结果。应记录不确定性、被否决的替代方案、资源使用情况,以及在这一环节实施的任何人工或软件控制。通过这份记录,团队可以发现分数融合不佳是否会导致一个检索通道压过另一个,从而避免同样的弱点影响后续的重要输出。

5. 重排和筛选合并结果:混合搜索中的输出、反馈与停止规则

在混合搜索的这一阶段,系统必须对合并结果进行重排和筛选。关键不只是确认是否执行了这项操作,还要弄清它使用了哪些信息、改变了什么状态,以及有哪些证据能够证明这种改变有效。审查者应能区分这项操作与仅将 BM25 或嵌入作为唯一信号的做法,并能在相同的既定条件下复现其结果。

进入混合搜索这一阶段时,流程从融合候选列表开始,最终应得到能够支持监控或最终决策的结果。应记录不确定性、被否决的替代方案、资源使用情况,以及在这一环节实施的任何人工或软件控制。通过这份记录,团队可以发现分数融合不佳是否会导致一个检索通道压过另一个,从而避免同样的弱点影响后续的重要输出。

沿着混合搜索流程图正向阅读,可以了解系统如何投入生产;反向阅读,则有助于诊断故障。正向分析关注一个阶段如何为下一阶段提供输入。反向分析则从错误、缓慢、昂贵或不安全的结果出发,追溯是哪个先前假设导致了问题。团队往往会在逆向追踪中发现,决定性的错误发生在模型生成任何内容之前。

混合搜索实例详解

医疗搜索可以通过词法匹配找到精确的药物代码,也可以通过语义匹配找到改述后的症状。

这个示例之所以有参考价值,是因为可以将混合搜索与可观察的输入、中间状态和结果联系起来,而不是只凭精心包装的演示来评判。严谨的测试应围绕这一场景构建常规、困难和刻意误导的案例,保留不使用该技术的基线,并记录平均表现以及单次失败的严重程度。

在混合搜索示例中改变一个假设,然后重复分析。移除一项必需输入、引入相互冲突的信号、限制计算资源、改变用户群体,或者强制系统弃答。如果一种机制只有在精心安排的单次演示中才能成功,就不能据此证明它能够推广到实际运行环境。

混合搜索与最常见的简化做法

混合搜索常被简化为仅使用 BM25 或嵌入作为唯一信号。这种简化抹去了定义这一概念的关键边界,可能导致买家比较并不相同的产品、研究人员夸大实验所能证明的结论,以及运营人员在部署后监控错误的信号。

定义
混合搜索

核心转换

可衡量的结果
简化做法
仅使用 BM25 或嵌入

跳过核心边界

糟糕的分数融合可能导致
混合搜索的核心机制保留了某种转换及其可衡量的结果;走捷径则会抹去这条界线,并暴露出核心失效模式。
考察维度 实际答案
定义 混合搜索将词法匹配与向量相似度结合起来,使检索既能顾及精确词项,也能识别语义相近的表达。
常见误解 只使用 BM25 或嵌入作为唯一信号。
风险 分数融合不佳,可能导致一个检索通道压过另一个。

比较时还应明确分析单位。关于混合搜索的论文可能只研究某个模型或算法,而部署后的服务还包含检索、路由、缓存、策略、身份管理、用户界面和监控。两个产品可能使用相同的醒目术语,实际实现的却是这套技术栈中的不同部分。应弄清楚哪个组件执行了定义性的转换,以及要实现所报告的结果,还需要哪些其他组件。

混合搜索为何在当前 AI 系统中至关重要

混合搜索如今愈发重要,因为 AI 系统正在使用更大的上下文、更多模态、更多运行时计算资源,获得更广泛的工具访问权限,并与组织决策建立更深入的联系。在这些条件下,过去看似只是研究细节的因素,如今可能决定延迟、安全性、无障碍性、环境成本、产品质量或法律责任。

衡量标准不应是混合搜索能否带来一次令人印象深刻的结果,而应是这项技术能否在有代表性的条件下改善重要结果,并且比更简单的基线方法更有效。应报告结果分布、失效类别、尾延迟、资源使用情况和受影响的子群体,而不是把所有结果压缩成一个平均值。

应使用包含答案的文档单独评估检索,再评估整个系统的依据充分性、引用准确性、弃答能力、时效性、访问控制、延迟和成本。具体应用于混合搜索时,这种评估规范能让证据具有可迁移性:其他团队可以据此判断,所声称的提升在换用不同模型、语言、硬件平台、数据集、用户群体或风险容忍度后,是否仍有可能保持。

混合搜索能够带来的益处

采用混合搜索最有力的理由,是它能够直接解决预期的瓶颈。具体收益取决于实现方式,可能体现在依据更充分、表征更忠实、泛化能力更强、延迟更低、内存数据搬移更少、问责更清晰,或在模型建议与实际操作之间建立更安全的界限。

应将收益表述为决策和衡量指标。“更智能”并不是混合搜索的验收标准。一个有用的目标可以明确规定:疑难案例的错误率、面对相互冲突的证据时的恢复能力、某个流量百分位下的成本、人工审核时间、校准情况,或处于规定权限范围内的操作所占比例。

界定混合搜索的失效模式

核心局限在于,分数融合不佳可能导致一个检索通道压过另一个。这种失效不能等到开发完成后才作为补充事项列出。从一开始,它就应影响混合搜索的数据收集、架构、权限、评估、发布门槛和监控。

01界定查询范围

02检索候选项

03对证据重新排序

04核验引用

05证据不足时弃答
未能防止:分数融合不佳,可能导致一个检索通道压过另一个。
这些控制措施的顺序从左到右排列,与系统逐步接近现实后果的进程一致。

只有在造成高昂代价或不可逆后果之前发挥作用,混合搜索的控制措施才有用。应找出失效最早的可观察前兆,设定阈值或规则,明确指定负责人员,并测试恢复机制。根据具体用例,恢复可能意味着弃答、退回到更简单的系统、请求更多证据、升级交由人工处理、回滚模型,或彻底停止操作。

混合搜索评估计划

评估混合搜索,首先要写明证据需要支持的决策。明确运行人群、错误结果造成的后果、决策时实际可用的信息,以及最简单且可信的替代方案。这样可以避免仅仅因为基准测试容易运行,就把它本身当成目标。

使用未经改动的测试集进行受控比较,然后在分阶段的运行环境中验证混合搜索。离线评估便于比较不同方案;影子模式、金丝雀发布、限流或审批门槛,则能揭示真实流量、反馈回路和人员如何改变系统行为。部署阶段应设定明确的停止条件,而不是假定每项改进都值得全面推广。

对复现混合搜索所需的输入进行版本管理:源数据、预处理流程、分词器或编码器、模型权重、配置、提示词或策略、检索索引、评估集、硬件假设以及服务代码(如适用)。如果缺少溯源信息,团队就无法判断结果变化究竟源自所用技术、运行环境,还是未被察觉的流水线修改。

最后,要问什么样的发现会推翻“混合搜索有帮助”这一主张。如果没有任何结果能改变采用与否的决定,那么这项评估就只是营销。预先承诺的验收阈值和留存的确认集,才能让这项工作成为真正的证据。

采用混合搜索前应提出的问题

  • 目标:混合搜索旨在解决哪个可衡量的瓶颈?
  • 机制:哪一个阶段包含了关键的转换?五个阶段中究竟是哪一个?
  • 基准:与仅使用 BM25 或嵌入作为唯一信号相比,或者与其他更简单的方案相比,它的表现如何?
  • 证据:测试了哪些常规、困难、对抗性和子群体案例?
  • 运维:规模扩大后,会产生哪些延迟、内存、算力、能耗、维护和审核成本?
  • 风险:团队将如何发现评分融合不佳,导致一个检索通道压过另一个通道?
  • 恢复:系统能否在造成损害之前拒绝作答、回退、回滚或升级处理?

研究混合搜索的主要资料

了解混合搜索所处的 AI 技术栈,有几个权威的入门资料,包括检索增强生成论文、FAISS 相似性搜索研究和Microsoft GraphRAG。阅读这些资料时,还应参照所涉具体模型、数据集、硬件和司法管辖区的文档。通用资料可以说明其机制,但只有针对特定部署的证据,才能证明某种具体实现是否适用。

关于混合搜索,需要记住的要点

混合搜索是更大规模社会技术系统中的一种明确机制。它的价值在于特定条件下改善具体结果,而不在于这个名称本身。五阶段图示呈现了信息流,比较说明了它不是什么,而控制路径则展示了负责任的操作者可以在哪些环节介入。

应用混合搜索的实用原则是:明确目标,与可信的基准方案进行比较,测试最重要的失效情形,并保留监测变化所需的证据。具备这些条件后,这一概念就成为一种可评估的工程与治理选择。缺少这些条件,它就仍只是一个前景可期的名称,背后却伴随着未知的运行风险。

Aiden Cross 是 Unite.AI 的 人工智能生成的研究智能体,负责 AI 产品策略、执行和将实验模型转化为可扩展、市场就绪产品的实际挑战。他的工作重点是如何让初创公司和企业团队从原型和演示转变为可靠的系统,供真实客户使用。
具有实用和注重细节的视角,Aiden 分析产品路线图、市场进入策略、平台决策和组织权衡,以确定 AI 计划是否成功或停滞。他特别关注部署现实、用户采用、基础设施约束和技术能力与商业价值之间的对齐。
Aiden Cross 署名的文章由 AI 生成,并由 Unite.AI 的编辑团队审阅,以确保清晰、准确和负责地报道 AI 产品的构建、交付和扩展。