What happens with a weak retriever in Retrieval-Augmented Generation (RAG) systems
1️⃣ 考察意图
面试官想考察你是否真正理解RAG系统的瓶颈不在生成端，而在检索端。这是一道系统诊断+工程取舍题，刁钻点在于：多数人只背过“检索不好会幻觉”，但说不清具体如何量化、如何定位是检索问题还是生成问题、以及如何用工程手段兜底。答好了能展示你对RAG整条链路的掌控力——从召回率指标、噪声对LLM注意力的干扰，到实际落地中的重排序、查询改写等补偿策略。
2️⃣ 标准答
弱检索器在RAG中会引发三类连锁问题，按严重程度排序：
1. 关键文档遗漏 → 幻觉率飙升
- 当检索器召回率低（比如Recall@5 < 70%），LLM拿不到支撑事实的文档，被迫依赖参数化记忆“编造”答案。
- 实际坑：在金融财报QA场景，BM25默认参数（k1=1.5, b=0.75）对长尾实体（如“非经常性损益”）召回极差，导致模型输出错误数字。
- 解法：用混合检索（BM25 + DPR/ColBERT）兜底，或对query做实体识别后强制检索。
2. 上下文噪声污染 → 生成质量劣化
- 弱检索器常返回大量不相关文档（precision低），LLM的注意力被噪声稀释。实验表明，当检索结果中噪声占比>40%时，生成准确率下降15-20%（【通用知识】参考Karpukhin 2020）。
- 工程取舍：增加chunk size（从256→512 token）能提高召回，但会引入更多噪声。实践中常用滑动窗口+重排序（Cohere rerank或cross-encoder）在top-20中精排top-3，牺牲延迟（增加50-100ms）换取质量。
3. 多跳推理断裂 → 复杂问题失败
- 弱检索器无法处理需要多步聚合的问题（如“2023年苹果CEO是谁？他出生在哪？”）。单次检索只能拿到部分信息，后续生成会逻辑断裂。
- 落地解法：用迭代检索（如Self-RAG或FLARE），每生成一个推理步骤就触发一次检索，但注意控制token消耗（每次检索增加约500ms延迟）。
诊断方法：用Ablation Study定位问题
- 如果替换检索器（BM25→ColBERT）后准确率提升>10%，说明瓶颈在检索。
- 如果固定检索器、换生成模型（7B→70B）提升<5%，说明检索是主要矛盾。
- 用指标：Recall@k（衡量是否漏掉关键文档）、MRR（衡量排序质量）、Answer Recall（生成答案是否覆盖ground truth实体）。
系统设计权衡：
- 弱检索器+强生成模型：适合延迟敏感场景（如对话），但幻觉风险高。
- 强检索器+弱生成模型：适合知识密集型任务（如法律文档问答），但成本高。
- 最优解：弱检索器+重排序+query扩展（如HyDE），在延迟和精度间取得平衡。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，弱检索器会导致关键文档遗漏，引发幻觉，比如BM25对长尾实体召回差；第二，它引入噪声干扰LLM注意力，当噪声占比>40%时准确率下降15-20%；第三，多跳推理会断裂。缓解策略包括混合检索、重排序、迭代检索。总结一句：RAG系统的天花板在检索，不在生成，必须用指标量化定位瓶颈。”
4️⃣ 高频追问 & 应对
追问 1：你怎么量化“弱”到什么程度算弱？
用Recall@k和Precision@k。比如在NQ数据集上，BM25的Recall@5约65-70%，DPR约80-85%。如果Recall@5低于70%，基本可以判定为弱检索器。更严格的指标是Answer Recall——看top-k文档是否包含生成答案所需的实体。如果Answer Recall<80%，必须升级检索或加重排序。
追问 2：如果延迟要求很严（<200ms），你怎么优化弱检索器？
用两阶段策略：第一阶段用BM25快速召回top-100（<10ms），第二阶段用轻量级稠密检索（如ColBERTv2的late interaction）重排top-10（<50ms）。或者用query扩展：对用户query用T5-small生成3个变体，并行检索后合并结果，增加召回而不显著增加延迟。注意：重排序模型用cross-encoder会超时，必须用双编码器。
追问 3：弱检索器导致的幻觉和模型本身幻觉怎么区分？
做Ablation Study：先给模型golden passage（完美检索），看是否还幻觉。如果golden passage下准确率>95%，说明幻觉来自检索；如果golden passage下仍有错误，说明是模型参数记忆问题。实践中用“检索归因率”指标——看生成答案中多少实体能在检索文档中找到对应。
5️⃣ 避坑 · 常见错误答法
- ❌ 只说“弱检索器会导致幻觉，所以要用更好的检索模型” → ✅ 必须量化：用Recall@k和Answer Recall定位问题，并给出具体缓解策略（重排序、查询扩展、迭代检索）。
- ❌ 认为弱检索器只影响召回，不影响精度 → ✅ 弱检索器同时降低precision（噪声多），噪声对LLM注意力的干扰甚至比漏文档更严重，因为模型会“看到”错误信息。
6️⃣ 简历呼应
- 如果你有RAG项目：从你项目中的检索失败案例切入，比如“在XX场景下BM25召回率只有60%，我们通过加ColBERT重排序提升到85%”。
- 如果你只做过传统NLP：类比为信息检索中的“查询漂移”问题，用BM25和DPR的对比展示你对检索质量的理解。
- 如果你是校招无项目：聚焦论文复现，比如“我复现了Karpukhin 2020的DPR实验，发现BM25在开放域QA上Recall@5低15%”。
- Karpukhin et al., "Dense Passage Retrieval for Open-Domain Question Answering", EMNLP 2020
- Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", NeurIPS 2020
- Shao et al., "Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection", ICLR 2023
- ColBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction, SIGIR 2022
- 博客：RAG系统检索质量诊断与优化指南（LangChain官方文档）