请你介绍一下向量检索和关键词检索的区别
P0 · rag
🏷 标签：retrieval, vector-search, keyword-search, bm25
1️⃣ 考察意图
面试官想看你是否真正理解两种检索范式的本质差异，而非简单背诵定义。考察类型是“工程取舍”+“系统设计”——刁钻点在于：能否从原理层（如向量检索依赖语义空间映射，关键词检索依赖词频统计）推导出各自的适用边界和性能瓶颈。答好了能展示你对检索系统有实战认知，能根据场景做技术选型，而非只会调API。
2️⃣ 标准答
核心区别：匹配逻辑与数据依赖
- 关键词检索：基于倒排索引，通过词频（TF-IDF、BM25）计算文档与查询的词汇重叠度。BM25 默认参数 k1=1.5, b=0.75，对长文档有长度归一化惩罚。优点是精确匹配、可解释性强、无需训练数据；缺点是无法处理同义词（如“汽车”与“轿车”不匹配）、拼写变体或语义关联。
- 向量检索：将文本通过 embedding 模型（如 BERT、text-embedding-ada-002）映射到高维向量空间，用余弦相似度或内积衡量语义距离。能捕捉“苹果”与“水果”的语义关联，但依赖高质量 embedding 模型和大量训练数据。
工程取舍：速度 vs 语义覆盖
- 关键词检索：倒排索引构建快（O(n) 扫描），查询延迟低（毫秒级），适合高吞吐场景（如电商商品名精确匹配）。但面对“找一款适合油性皮肤的洗面奶”这类查询，若文档中无“油性皮肤”字眼，召回率为0。
- 向量检索：需要 ANN 索引（如 HNSW、IVF）加速，构建耗时（HNSW 构建复杂度 O(n log n)），内存占用高（每个向量 768 维 float 约 3KB）。查询延迟通常 10-100ms，但能召回语义相近但无词汇重叠的文档。
实际落地的坑 + 解法
- 坑 1：向量检索对 query 中的罕见词（如专业术语“CRISPR-Cas9”）效果差，因为 embedding 模型在训练时低频词表示不稳定。解法：混合检索——先用 BM25 做精确匹配兜底，再用向量检索做语义扩展，最后用 reranker（如 Cohere rerank）融合排序。
- 坑 2：关键词检索在长文档中容易受噪声词干扰（如“苹果”在技术文档中可能指公司而非水果）。解法：引入字段权重（如标题权重 3x，正文 1x）或使用 BM25F 变体，对不同字段独立计算词频。
- 坑 3：向量检索的 embedding 模型有领域漂移（如用通用模型检索医疗文献）。解法：用领域数据微调 embedding 模型（如 Sentence-BERT 在 PubMed 数据上继续训练），或使用 ColBERT 这类后期交互模型，在 token 级别做细粒度匹配。
场景选择指南
- 精确查找（如产品 SKU、法律条文编号）→ 关键词检索
- 语义搜索（如开放域问答、论文检索）→ 向量检索
- 实际系统（如电商搜索、企业知识库）→ 混合检索，通常用加权融合（BM25 得分 * 0.3 + 向量相似度 * 0.7），权重通过线上 A/B 测试调优。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从原理、工程取舍、场景选择三个层面回答。原理上，关键词检索基于词频倒排索引做精确匹配，向量检索基于语义空间做相似度计算。工程上，关键词检索快但无法处理同义词，向量检索语义覆盖广但依赖训练数据且延迟更高。场景上，精确查找用关键词，语义搜索用向量，实际系统通常混合两者并加 reranker。总结一句：没有银弹，根据业务对精确性和语义覆盖的需求做权衡。”
4️⃣ 高频追问 & 应对
追问 1：你提到混合检索，具体怎么融合 BM25 和向量检索的分数？归一化怎么做？
常用方法：先分别对 BM25 得分和向量相似度做 min-max 归一化（映射到 [0,1]），然后加权求和。权重初始设为 0.5:0.5，通过线上 A/B 测试调优。更高级的做法是用学习到的权重（如 LambdaRank 训练一个线性模型）。注意：BM25 得分在不同查询间方差大，建议用 z-score 归一化或 rank-based 融合（如 Reciprocal Rank Fusion），后者对分数尺度不敏感。
追问 2：向量检索中，HNSW 索引的 ef_construction 和 M 参数怎么调？
ef_construction 控制构建时的搜索广度，越大索引质量越高但构建越慢（建议 200-400）。M 控制每个节点的最大连接数，越大召回率越高但内存占用越大（建议 12-48）。调优策略：先固定 M=16，在验证集上扫描 ef_construction 从 100 到 500，选召回率饱和点；再固定 ef_construction，扫描 M 从 8 到 64，选内存和召回率的平衡点。实际中，M=32, ef_construction=300 是常见起点。
追问 3：如果 query 很短（如 2-3 个词），向量检索和关键词检索谁更优？
短 query 对关键词检索更友好，因为 BM25 对高频词有 IDF 惩罚，能快速聚焦到关键实体。向量检索在短 query 上容易受 embedding 模型影响（如“苹果”可能被编码为水果或公司，取决于训练数据分布）。解法：对短 query 增加 query 扩展（如用同义词词典或 LLM 生成相关词），或使用 hybrid 策略——当 query 长度 < 5 词时，提高 BM25 权重。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“向量检索一定比关键词检索好，因为语义理解更强” → ✅ 正确切入：向量检索在低频词、精确匹配场景下可能不如 BM25，且依赖训练数据质量，两者是互补关系。
- ❌ 说“关键词检索就是简单的字符串匹配” → ✅ 正确切入：关键词检索基于倒排索引和词频统计（如 BM25 有长度归一化和 IDF 权重），比简单字符串匹配更鲁棒，能处理词序变化和部分拼写错误。
- ❌ 说“混合检索就是简单加权平均” → ✅ 正确切入：混合检索需要解决分数尺度不一致问题，常用 Reciprocal Rank Fusion 或学习型融合，且要考虑不同检索策略的延迟差异（如向量检索慢，需异步调用）。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“我在构建知识库问答系统时，对比了纯 BM25 和纯向量检索的召回率，发现混合检索在 top-10 召回率上提升 15%”切入，强调你做过 A/B 测试和参数调优。
- 如果你只做过传统 NLP：用“关键词检索类似传统信息检索中的 TF-IDF，向量检索类似 word2vec 的语义空间”做类比迁移，展示你对两种范式的底层理解，并提一句“我读过《From Word Embeddings to Document Distances》这篇论文”。
- 如果你是校招无项目：聚焦“我复现过 BM25 算法和 HNSW 索引的 demo，在 MS MARCO 数据集上对比过两者的 recall@100，发现 BM25 在精确匹配上领先，但向量检索在语义相似查询上更好”，展示动手能力和对经典数据集的熟悉度。
- 《Okapi BM25: A Non-Binary Model for Ad-Hoc Retrieval》（Robertson & Zaragoza, 2009）
- 《Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs》（Malkov & Yashunin, 2016）
- 《ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT》（Khattab & Zaharia, 2020）
- 《Hybrid Search: Combining Keyword and Vector Search in Production》（Elasticsearch 官方博客）
- 《Dense Passage Retrieval for Open-Domain Question Answering》（Karpukhin et al., 2020）