What are architecture patterns for information retrieval & semantic search
1️⃣ 考察意图
面试官想考察你对信息检索架构从传统到现代演进的理解深度，而非简单背诵概念。这是典型的“系统设计 + 工程取舍”类问题，刁钻点在于：候选人能否清晰区分不同架构的适用场景，并给出具体的工程权衡（如延迟 vs 召回率、精确度 vs 计算成本）。答好了能展示你对搜索系统全栈的掌控力，包括索引设计、检索策略、融合机制以及实际部署中的坑。面试官期待你从“为什么用这个”而非“怎么用”的角度切入。
2️⃣ 标准答
信息检索架构模式可归纳为三个主要阶段：经典关键词检索、语义向量检索、以及混合检索。每个模式都有其核心组件和工程取舍。
1. 经典 IR 架构：倒排索引 + BM25
- 核心：构建倒排索引（Inverted Index），将文档中的词映射到文档ID列表。检索时，对查询分词后，通过BM25算法计算相关性得分。BM25默认参数k1=1.5, b=0.75，控制词频饱和度和文档长度归一化。
- 优势：精确匹配，对高频词和长尾词有良好控制；延迟极低（毫秒级），适合高并发场景。
- 取舍：无法处理语义相似性（如“汽车”与“轿车”），依赖精确词匹配；对拼写错误和同义词无鲁棒性。
- 实际坑：索引更新策略。全量重建（如每天一次）会导致数据延迟，增量更新（如实时流式写入）则需处理段合并（Segment Merge）带来的写放大和查询性能抖动。解法：使用LSM-Tree（如Lucene的索引结构）或分片策略，将增量写入独立段，后台异步合并。
2. 语义搜索架构：双塔模型 + 向量数据库
- 核心：使用双塔模型（如Sentence-BERT, DPR, ColBERT）将查询和文档分别编码为稠密向量（通常768维）。检索时，通过近似最近邻搜索（ANN，如HNSW, IVF-PQ）在向量数据库中查找Top-K。
- 优势：捕捉语义相似性，对同义词、近义词、跨语言查询效果好。
- 取舍：计算成本高（编码和ANN搜索），延迟通常比BM25高5-10倍（取决于索引大小和HNSW参数）。HNSW的efConstruction（构建时搜索范围）和M（每个节点的连接数）需权衡：M越大，召回率越高但内存占用和构建时间增加；efConstruction越大，索引质量越好但构建更慢。
- 实际坑：向量维度灾难。当维度>100时，欧氏距离区分度下降。解法：使用内积（IP）或余弦相似度，或降维（如PCA）。另外，向量索引的冷启动问题：新文档插入后，HNSW图结构需时间稳定，初期召回率可能下降。解法：使用分片策略，每个分片独立构建HNSW，新文档先写入缓冲区，待分片重建时合并。
3. 混合架构：BM25 + 向量搜索 + 融合
- 核心：同时执行BM25和向量搜索，通过融合算法（如RRF倒数秩融合、学习排序模型）合并结果。RRF公式：score = Σ(1/(k + rank_i))，其中k是常数（通常60），rank_i是文档在第i个检索器中的排名。
- 优势：兼顾精确匹配和语义理解，在MS MARCO等基准上MRR@10可提升10-20%。
- 取舍：融合策略的选择。RRF简单高效，但假设各检索器独立且权重相等；学习排序（如LambdaMART）可学习最优权重，但需要标注数据（如相关性判断），且模型复杂度高。
- 实际坑：延迟叠加。两个检索器串行执行，总延迟是两者之和。解法：并行执行两个检索器，然后异步融合；或使用级联策略：先用BM25快速过滤（如Top-1000），再用向量模型精排（Top-100），牺牲少量召回率换取延迟降低。
4. 高级模式：多阶段检索 + RAG
- 核心：粗排（如BM25或双塔）快速召回候选集（如Top-1000），精排（如Cross-Encoder或LLM）对候选集重排序（Top-10）。RAG中，检索器为生成器提供上下文。
- 取舍：精排模型（如Cross-Encoder）计算成本高，但排序质量显著优于双塔。通常粗排用双塔（延迟低），精排用Cross-Encoder（精度高）。
- 实际坑：RAG中检索器与生成器的对齐。检索器返回的文档可能包含噪声或与生成任务无关。解法：使用检索增强训练（如REALM, RAG），或引入重写器（如Query Rewriter）优化查询。
总结：选择架构取决于业务场景。高精度、低延迟的精确匹配用BM25；语义理解优先用向量搜索；两者兼顾用混合架构；复杂推理任务用RAG。工程上需关注索引更新、延迟优化和融合策略。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个架构层面回答：第一，经典IR架构用倒排索引和BM25，适合精确匹配，延迟低但无法处理语义；第二，语义搜索架构用双塔模型和向量数据库，捕捉语义但计算成本高；第三，混合架构结合两者，通过RRF或学习排序融合结果，兼顾精度和召回。工程上需注意索引更新策略和延迟优化。总结一句：选择取决于业务对精确度、语义理解和延迟的权衡。”
4️⃣ 高频追问 & 应对
追问 1：你提到RRF融合，能具体说说它的优缺点吗？什么时候用学习排序更好？
RRF的优点是无需训练数据、实现简单、对检索器数量不敏感（k=60是经验值）。缺点是假设各检索器独立且权重相等，无法处理检索器之间的相关性（如BM25和向量搜索可能都返回相同的高分文档）。学习排序（如LambdaMART）能学习最优权重，但需要标注数据（如相关性判断），且模型复杂度高，容易过拟合。实际中，如果数据量小（<10万条）且标注成本高，用RRF；如果数据量大且有标注，用学习排序。另外，可以尝试加权RRF，根据历史性能动态调整k值。
追问 2：向量搜索中，HNSW的efSearch参数怎么调？对延迟和召回率的影响是什么？
efSearch控制搜索时的探索范围。efSearch越大，召回率越高，但延迟线性增加。经验值：efSearch = 100-500，召回率可达95%以上。调参时，先固定M（如16），在验证集上扫描efSearch（如50, 100, 200, 500），观察召回率-延迟曲线。取舍：如果延迟要求<10ms，efSearch设小（如50）；如果召回率要求>99%，efSearch设大（如500）。另外，efSearch与索引大小相关：索引越大，需要的efSearch越大。实际中，可以用多线程并行搜索，或使用IVF+HNSW（如IVF-PQ）降低维度。
追问 3：RAG中，检索器返回的文档噪声大，怎么处理？
常见解法：1）查询重写：用LLM或小模型（如T5）将原始查询改写为更精确的查询，减少噪声。2）文档过滤：用分类器（如BERT）判断文档相关性，过滤低分文档。3）多轮检索：先检索粗粒度文档，再基于文档内容生成子查询，进行第二轮检索。4）检索增强训练：在训练阶段，让生成器学习从噪声文档中提取有用信息（如REALM的掩码语言模型目标）。实际坑：重写器可能引入新噪声，需评估重写后的查询质量。解法：使用强化学习（如GRPO）优化重写策略。
5️⃣ 避坑 · 常见错误答法
- ❌ 只讲BM25和向量搜索，不提混合架构或工程取舍。 → ✅ 必须覆盖三种架构，并给出每个架构的适用场景和权衡（如延迟、召回率、计算成本）。
- ❌ 说“向量搜索一定比BM25好”。 → ✅ 强调BM25在精确匹配和低延迟场景下的不可替代性，以及混合架构的互补性。
- ❌ 提到RRF时只说“简单好用”，不解释参数k的含义和调优。 → ✅ 给出k的默认值（60）和调优方向（k越小，对排名靠前的文档权重越大）。
6️⃣ 简历呼应
- 如果你有RAG项目：从“多阶段检索+生成”角度切入，强调检索器与生成器的对齐问题（如查询重写、文档过滤），并给出你在项目中如何用RRF或学习排序优化召回率。
- 如果你只做过传统NLP：用“文本匹配”类比迁移，将BM25视为精确匹配，双塔模型视为语义匹配，混合架构视为集成学习。强调你在分类或排序任务中如何用特征融合。
- 如果你是校招无项目：聚焦论文复现，如MS MARCO上的BM25+DPR混合检索，用RRF融合，对比MRR@10。强调你对HNSW参数调优和索引更新策略的理解。
- 《From Word Embeddings to Document Distances》（WMD，2015）
- 《Dense Passage Retrieval for Open-Domain Question Answering》（DPR，2020）
- 《ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction》（2020）
- 《Hybrid Search: Combining BM25 and Vector Search for Better Retrieval》（Pinecone博客，2023）
- 《Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs》（HNSW，2018）