4 RAG 回答里如何处理“资料不足”的情况
P1 · rag
🏷 标签：rag, uncertainty, fallback, user-experience
1️⃣ 考察意图
面试官想考察你在 RAG 系统中处理“不确定性”的工程能力，而非单纯背诵流程。刁钻点在于：多数候选人只会说“让模型判断”，但实际落地时模型判断不可靠、用户期望管理缺失、系统兜底设计粗糙。答好了能展示你对 RAG 整条链路（检索→生成→后处理）的掌控力，以及从用户体验出发的工程取舍思维。
2️⃣ 标准答
处理“资料不足”需要分三层：检测层（如何判断不足）、策略层（如何响应）、系统层（如何兜底）。以下是具体方法：
- 检测层：多信号融合，不依赖单一阈值****检索相关性信号：对 top-k 文档计算平均 BM25 分数（默认 k1=1.5, b=0.75）或 embedding 余弦相似度。若低于动态阈值（如历史分位数 30%），触发不足标记。坑：固定阈值（如 0.5）在长尾 query 上误报率高，建议用滑动窗口统计最近 1000 次 query 的分数分布。
- 生成置信度信号：在 prompt 中要求模型输出“资料不足”标识（如
<UNSURE>），但需配合 logit 概率校验。例如，当模型生成<UNSURE>的 softmax 概率 > 0.7 时才采纳，否则视为误判。trade-off：增加 prompt 指令会占用 token 预算，且模型可能过度保守（对简单问题也报不足），需调优 prompt 措辞。 - 混合信号：结合检索得分和生成概率做加权决策（如 0.6 * 检索分 + 0.4 * 生成分），比单一信号鲁棒 15-20%（据【通用知识】）。 策略层：分级响应，避免一刀切
- 完全不足：检索结果全部不相关（如 top-1 相似度 < 0.3），直接返回“当前资料无法回答，请尝试换一种问法”。必须在 prompt 中明确禁止模型编造，例如：“若材料不包含答案，仅输出‘资料不足’，不要补充任何信息。”
- 部分不足：材料覆盖部分答案，但缺失关键细节。采用“已知部分 + 缺失说明”结构。例如：“根据材料，症状 A 是常见的，但关于病因 B 的资料不足，建议咨询医生。” 这需要 prompt 设计为分块输出：先回答已知，再声明未知。
- 用户引导：在不足时，提供具体建议而非泛泛提示。例如：“您的问题需要更具体的症状描述（如持续时间），请补充后重试。” 这能降低用户挫败感，提升交互质量。 系统层：兜底与日志驱动优化
- 二次检索：当首次检索不足时，触发扩展检索：用 query 改写（如 LLM 生成同义句）或混合检索（BM25 + Dense Retrieval + HyDE）。坑：二次检索增加延迟（约 200-500ms），需设置超时（如 2 秒），超时后直接走 fallback。
- 人工兜底：对高价值场景（如医疗、金融），记录不足日志并转人工。日志字段包括：query、检索得分、模型输出、用户反馈。后续用这些数据微调检索器或 prompt。
- 用户反馈完整流程：在不足回答后，添加“这个回答对您有帮助吗？”按钮，收集反馈用于评估系统不足检测的准确率。目标：不足检测的 F1 > 0.8，否则调整阈值或 prompt。
实际落地的坑：模型在 prompt 中可能忽略“资料不足”指令，尤其是小模型（< 7B）。解法：在后处理中正则匹配 <UNSURE> 标识，若未出现但检索分低，强制替换为“资料不足”模板。这牺牲了灵活性但保证了安全性。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从检测、策略、系统三个层面回答。检测层用检索得分和生成概率的混合信号判断不足，避免单一阈值误报；策略层分级响应——完全不足直接拒绝，部分不足回答已知并说明缺失，同时引导用户补充信息；系统层做二次检索和人工兜底，并用日志驱动优化。总结一句：核心是平衡安全性和用户体验，不能只靠模型判断。”
4️⃣ 高频追问 & 应对
追问 1：如果模型总是输出“资料不足”，但实际资料是够的，怎么排查？
首先检查 prompt 措辞是否过于保守，例如“仅当材料明确包含答案时才回答”会导致模型过度谨慎。解法：在 prompt 中加入示例（few-shot），展示“资料充足时如何回答”。其次，检查检索得分阈值是否过高，用历史数据做分位数校准（如设为 20% 分位数）。最后，用 logit 概率分析：若模型输出“资料不足”时概率低（< 0.5），说明是 prompt 指令误触，而非真实判断。
追问 2：在低延迟场景（如实时客服），二次检索太慢怎么办？
采用预计算缓存：对高频 query 提前检索并缓存结果，不足时直接返回缓存中的 fallback 模板。或者用轻量级检索（如 BM25 只检索标题）替代全文档检索，牺牲召回但延迟从 500ms 降到 50ms。另一个取舍：放弃二次检索，直接走“用户引导”策略，因为引导比错误回答更安全。
追问 3：如何评估“资料不足”处理的好坏？
用两个指标：不足检测的精确率和召回率（基于人工标注的 ground truth），以及用户满意度（通过 A/B 测试，比较有/无不足处理的用户留存率）。具体做法：收集 1000 条 query，人工标注“是否资料不足”，然后对比系统输出。目标：精确率 > 0.9（避免误报），召回率 > 0.7（避免漏报）。如果召回率低，说明检测信号太保守，需降低阈值。
5️⃣ 避坑 · 常见错误答法
- ❌ “让模型在 prompt 里判断资料不足，然后直接返回‘无法回答’。” → ✅ 模型判断不可靠，需要结合检索得分和 logit 概率做多信号融合，并且分级响应（部分不足时回答已知部分），避免一刀切。
- ❌ “资料不足时，让模型说‘请咨询专业人士’就行。” → ✅ 这种泛泛引导无效，应提供具体建议（如“请补充症状持续时间”），并记录日志用于后续优化，否则用户会重复提问，增加系统负载。
- ❌ “用固定阈值（如相似度 < 0.5）判断不足。” → ✅ 固定阈值在长尾 query 上误报率高，应使用动态阈值（如历史分位数）或混合信号，并定期根据用户反馈调整。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“不足检测的阈值调优”切入，举例你在项目中用滑动窗口统计历史检索得分分布，将误报率从 20% 降到 5%，并附上用户满意度提升数据。
- 如果你只做过传统 NLP：用“分类任务中的置信度校准”类比，说明你如何将 logit 概率校验迁移到 RAG 不足检测中，强调你对信号融合的理解。
- 如果你是校招无项目：聚焦论文复现，比如你复现了“Self-RAG”中基于反思 token 的不足检测机制，并对比了不同 prompt 设计的效果，展示你对前沿方法的掌握。
- Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection（论文）
- RAGAS: Automated Evaluation of Retrieval Augmented Generation（评估框架）
- HyDE: Precise Zero-Shot Dense Retrieval without Relevance Labels（二次检索方法）
- LangChain 文档：Handling Missing Context in RAG（实践指南）
- “Dynamic Thresholding for RAG Uncertainty Detection”（博客，通用知识）