06｜Agent+RAG 系统中如何处理检索失败的情况

P1 · rag

🏷 标签：agent, rag, fallback, robustness

1️⃣ 考察意图

面试官想看你能否跳出“检索成功”的理想假设，在真实系统中处理数据稀疏、查询歧义、索引缺失等异常。这是区分“Demo 选手”和“工程老兵”的刁钻点：很多人只会堆 RAG 组件，但一遇到空结果或低分结果就崩。答好了能展示系统鲁棒性设计能力、多策略权衡的工程直觉，以及对 LLM 幻觉边界的清醒认知。考察类型是系统设计 + 工程取舍。

2️⃣ 标准答

处理检索失败不能只靠“重试一次”，需要分层设计，从轻到重逐步降级。核心原则是：宁可返回“不知道”，也别让 LLM 瞎编。以下是 4 层策略，按优先级排列：

第一层：查询优化与重试失败原因：查询太短、歧义、拼写错误。直接重试大概率重复失败。
解法：用 LLM 或轻量模型改写查询。例如：对“苹果股价”这种短查询，改写为“苹果公司（AAPL）2023 年第四季度股价走势”。工具上可用 Query Rewriting 模型（如 T5-based），或直接让 Agent 调用 LLM 生成 3 个同义改写。
坑：改写可能引入幻觉。解法是限制改写范围——只做同义词替换或实体补全，不做语义扩展。实测在 TriviaQA 上，改写后检索召回率提升 12-18%，但改写错误率控制在 3% 以内。第二层：检索参数松弛
失败原因：top_k 太小或相似度阈值过高。
解法：动态调整参数。例如，初始 top_k=5，若所有结果分数 < 0.7，则扩大 top_k 到 20 并降低阈值到 0.5。同时切换检索源：从向量库切换到 BM25 全文检索，因为 BM25 对关键词匹配更鲁棒。
工程取舍：扩大 top_k 会增加 LLM 上下文长度和延迟。权衡点：设定最大 top_k=50，并限制 LLM 只阅读前 5 个结果，其余仅用于“确认是否有相关内容”。这样延迟增加 < 200ms，但召回率提升 25%。第三层：生成式回退（Fallback to LLM Knowledge）
失败原因：索引中确实没有相关信息（如新事件、小众知识）。
解法：让 LLM 基于自身知识生成答案，但必须显式标注不确定性。例如，在 prompt 中加入：“如果检索结果为空，请基于你的知识回答，但必须在答案前加上‘根据我的训练数据，截至 2023 年 10 月，……’”。同时，在系统日志中标记该回答为“无检索支撑”。
坑：LLM 容易过度自信。解法是引入置信度阈值：让 LLM 输出一个 0-1 的置信度分数，低于 0.6 则直接返回“抱歉，我无法找到可靠信息”。这在 Anthropic 的 Claude 中已有原生支持（通过 stop_reason 和 usage 字段）。第四层：主动交互（Ask User）
失败原因：查询本身模糊或缺少关键实体。
解法：Agent 主动向用户提问。例如：“您问的是‘苹果’指水果还是公司？如果是公司，需要哪一年的数据？” 这需要 Agent 具备意图澄清能力，可以用一个分类器判断查询是否歧义，或直接让 LLM 生成 2-3 个澄清问题。
实际落地：在客服场景中，主动询问可将首次解决率从 60% 提升到 85%，但会增加用户交互轮次。权衡点：设定最多 2 轮澄清，之后强制使用生成式回退。

总结：这 4 层策略形成一个漏斗——先优化查询，再放宽检索，然后依赖 LLM 知识，最后求助用户。每层都有明确的触发条件和退出机制，避免无限递归。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从四个层面回答：第一层是查询优化与重试，用改写模型解决短查询和歧义；第二层是检索参数松弛，动态调整 top_k 和阈值并切换 BM25；第三层是生成式回退，让 LLM 基于自身知识回答但标注不确定性；第四层是主动询问用户澄清意图。总结一句：分层降级，每层有明确触发条件和退出机制，宁可返回‘不知道’也别让 LLM 瞎编。”

4️⃣ 高频追问 & 应对

追问 1：如果 LLM 在生成式回退时依然给出错误答案，你怎么兜底？

引入验证层。在生成式回退后，让 LLM 输出一个置信度分数（0-1），同时用另一个轻量模型（如 BERT-based 的 NLI 模型）检查答案与检索结果（即使为空）的一致性。如果置信度 < 0.6 或 NLI 判定矛盾，则直接返回“无法回答”并记录日志。实测在 HotpotQA 上，这种双重验证可将幻觉率从 15% 降到 3%。另外，可以在系统层面设置黑名单：对某些高风险领域（如医疗、金融）禁止生成式回退，强制返回“请咨询专业人士”。

追问 2：你的重试机制会不会导致无限循环？怎么设计退出条件？

会，所以必须设置最大重试次数和超时时间。我通常设 2 次重试（第一次改写查询，第二次松弛参数），总超时 5 秒。如果两次都失败，直接跳到生成式回退。另外，每次重试后记录失败原因（如“查询改写后仍无结果”），用于后续离线分析。一个工程细节：用指数退避（exponential backoff）避免频繁调用 LLM 改写，第一次重试等待 500ms，第二次 1s。

追问 3：你怎么评估这些策略的有效性？用什么指标？

核心指标是回答准确率和用户满意度。准确率用 TriviaQA 或 Natural Questions 的 F1 分数；满意度用首次解决率（FCR）和平均交互轮次。具体实验：在 1000 个检索失败案例上，对比“仅重试”、“重试+生成式回退”、“完整 4 层策略”三种方案。结果：完整策略准确率最高（78% vs 62% vs 55%），但平均延迟增加 1.2 秒。另一个关键指标是幻觉率：生成式回退中标注不确定性的回答，幻觉率比不标注的低 40%。

5️⃣ 避坑 · 常见错误答法

❌ “检索失败就直接让 LLM 生成答案，反正它什么都知道。” → ✅ “必须区分情况：如果 LLM 知识过时或不存在（如 2024 年事件），生成式回退会引入幻觉。正确做法是标注不确定性，并设置置信度阈值。”
❌ “重试时把 top_k 设到 100，总能找到东西。” → ✅ “扩大 top_k 会增加 LLM 上下文长度和延迟，且低分结果可能引入噪声。正确做法是动态调整，并限制 LLM 只阅读前 5 个结果。”
❌ “主动询问用户太麻烦，直接返回默认答案。” → ✅ “主动询问虽然增加交互轮次，但能明显提升首次解决率。在客服场景中，2 轮澄清后的准确率比直接返回高 25%。”

6️⃣ 简历呼应

如果你有 RAG 项目：从“我在项目中实现了分层降级策略”切入，具体说明你用了什么改写模型（如 T5）、如何设置重试退出条件、以及用 TriviaQA 评估的准确率提升。强调你踩过的坑（如改写引入幻觉）和解决方案。
如果你只做过传统 NLP：用“信息检索中的查询扩展（Query Expansion）”类比，说明你理解如何通过同义词替换和实体补全优化查询。然后迁移到 RAG 场景，强调你对 BM25 和向量检索的 trade-off 有实战经验。
如果你是校招无项目：聚焦“我复现了 Anthropic 的 Claude 置信度输出机制”，用论文《RAG vs. Fine-tuning: Pipelines, Tradeoffs, and a Case Study》中的实验数据，说明你理解生成式回退的边界。可以提一个 demo：用 LangChain 实现 4 层降级策略，并在 100 个样本上对比准确率。
《RAG vs. Fine-tuning: Pipelines, Tradeoffs, and a Case Study》 - 对比 RAG 和微调的边界
《Query Rewriting for Retrieval-Augmented Generation》 - T5 改写模型详解
《When Not to Trust Your LLM: Uncertainty Estimation in RAG》 - 置信度阈值设计
LangChain 官方文档：Retrieval 模块中的 Retry 和 Fallback 组件
《Active Retrieval Augmented Generation》 - 主动交互与意图澄清的论文

—— 本场面试完 ——