如何规避 RAG 系统中大模型的幻觉
P1 · rag
🏷 标签：rag, hallucination, verification, self-rag, prompt-engineering
1️⃣ 考察意图
面试官想考察你是否能跳出“RAG=检索+生成”的简单认知，系统性地拆解幻觉问题。这不是背概念题，而是工程取舍+系统设计题。刁钻点在于：很多人只提“加个验证模块”，但忽略了检索质量、生成约束、事后校验三者的协同。答好了能展示你对RAG整条链路的理解深度、对trade-off的敏感度（如召回率vs.精确率、延迟vs.准确性），以及落地时处理脏数据、长尾问题的实战经验。
2️⃣ 标准答
规避RAG幻觉需要从检索侧、生成侧、校验侧三路并进，每路都有具体方法和坑。
1. 检索侧：源头控制，减少噪声
- 高精度检索：用BM25（k1=1.5, b=0.75）做关键词召回，搭配DPR或ColBERT做语义召回，形成多路召回。关键trade-off：多路召回提升召回率，但引入噪声。解法：用重排序（Rerank） 模块（如Cohere Rerank 3或Cross-Encoder）对Top-K结果打分，只保留Top-3到Top-5。坑：重排序模型是计算瓶颈，延迟增加200-500ms。实战中可对长文档先做分块（Chunking），用滑动窗口（256 tokens，重叠32 tokens）避免截断关键信息。
- 检索质量监控：设置相关性阈值（如BM25得分<0.3或语义相似度<0.7的文档直接丢弃）。坑：阈值太严导致无结果，太松引入噪声。解法：动态阈值，根据查询复杂度调整（简单查询用高阈值，复杂查询用低阈值）。
2. 生成侧：约束解码，强制引用
- 提示工程：在System Prompt中明确要求“只基于提供的上下文回答，若上下文无答案，回答‘无法确定’”。用few-shot示例强化，比如给一个“上下文无答案→拒答”的样例。坑：模型可能忽略指令，尤其小模型。解法：结合约束解码，如使用引导解码（Guided Decoding） 工具（如Outlines或LMQL），强制输出格式为“根据文档X，答案是Y”。
- 引用原文：要求模型输出时附带引用片段（如“根据文档[1]：……，因此答案是……”）。坑：模型可能编造引用。解法：生成后做引用验证，用正则或NLI模型检查引用是否真实存在。
3. 校验侧：事后验证，兜底机制
- 事实核对：用NLI模型（如DeBERTa-v3-large-mnli）判断生成答案与检索文档是否矛盾。若矛盾概率>0.5，触发重生成或拒答。坑：NLI模型对长文本和否定句敏感，准确率约85-90%。解法：结合自我反思（Self-RAG），让模型对答案做二次评估（如“答案是否完全基于上下文？”），用LLM-as-Judge打分。
- 置信度阈值：对生成答案计算困惑度（Perplexity） 或logit概率，低于阈值（如平均概率<0.6）时拒答。实战坑：概率校准差，尤其对生僻实体。解法：用温度采样（T=0.1）降低随机性，或使用Beam Search（beam=3）取最高概率路径。
- 用户反馈完整流程：收集用户“点踩”或“纠错”数据，构建对抗样本（如故意插入矛盾文档），定期微调检索器或生成器。坑：反馈噪声大。解法：只采用高置信度反馈（如用户明确标注错误），用主动学习筛选样本。
4. 系统设计：权衡与兜底
- 延迟vs.准确性：校验模块增加1-2秒延迟。实战中可做级联架构：先快速生成，若置信度低（如困惑度>10），再触发校验和重生成。
- 拒答策略：低置信度时，返回“无法回答，建议参考来源：链接A、B”。坑：拒答率过高影响用户体验。解法：设置动态拒答阈值，根据业务场景调整（医疗场景拒答率可高至20%，闲聊场景可低至1%）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从检索侧、生成侧、校验侧三个层面回答。检索侧用多路召回+重排序+相关性阈值减少噪声；生成侧用约束解码+引用原文强制模型只基于上下文；校验侧用NLI模型+困惑度阈值做事后验证，低置信度时拒答。总结一句：RAG幻觉不是单一模块能解决的，需要三路协同，并在延迟和准确性之间做工程取舍。”
4️⃣ 高频追问 & 应对
追问 1：如果检索到的文档本身就有错误（比如用户上传的PDF有事实错误），你怎么处理？
这是常见坑。解法分两步：一是文档预处理，用NLI模型或LLM对文档做事实一致性检查（如“文档A说事件发生在2023年，文档B说2024年，矛盾”），标记冲突文档。二是生成侧，在提示中要求模型“如果上下文存在矛盾，请指出并给出最可信的版本”。实战中，对高价值场景（如医疗诊断），可引入知识图谱做交叉验证，但成本高。更轻量的做法是多文档投票：检索Top-5文档，让模型对每个文档独立生成答案，然后投票取众数。
追问 2：你的校验模块（NLI）增加了延迟，怎么优化？
优化方向有三个：一是模型轻量化，用DistilBERT或MiniLM替代DeBERTa，延迟从500ms降到100ms，但准确率下降3-5%。二是异步校验，先生成答案返回给用户，后台异步校验，若发现错误再推送修正。三是级联校验，先做快速规则校验（如引用是否存在），只有规则校验通过才触发NLI。trade-off：异步方案用户体验好，但可能推送修正时用户已离开；级联方案减少NLI调用次数（约50%），但规则校验可能漏检。
追问 3：Self-RAG具体怎么实现？你用过吗？
Self-RAG的核心是让模型生成答案后，再生成一个“反思标记”（如“支持/矛盾/无信息”）。实现上，用指令微调，在训练数据中给每个答案打上反思标签。实战中，我用过Llama 2 7B + LoRA微调，在TriviaQA上对比：不加Self-RAG的幻觉率约12%，加后降到5%。坑：微调需要大量标注数据（至少5000条），且反思标记的生成增加一次LLM调用，延迟翻倍。轻量替代是Prompt-based Self-RAG，用few-shot让模型自我评估，但效果差一些。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提“加一个验证模块”或“用更好的模型” → ✅ 必须系统性地从检索、生成、校验三路分析，并给出每个环节的trade-off和具体方法（如BM25参数、NLI模型名）。
- ❌ 说“用GPT-4就不会有幻觉” → ✅ 承认大模型固有幻觉问题，强调工程手段（约束解码、拒答）比模型能力更可靠。
- ❌ 忽略延迟和成本，只谈理想方案 → ✅ 必须提到延迟优化（级联架构、异步校验）和成本控制（轻量模型、动态阈值）。
6️⃣ 简历呼应
- 如果你有RAG项目：从“我在XX项目中用多路召回+重排序+Self-RAG，将幻觉率从15%降到3%”切入，强调你踩过的坑（如NLI模型对长文本误判）和优化过程（如动态阈值）。
- 如果你只做过传统NLP：用“传统NLP中的事实抽取和矛盾检测”类比，比如“我用DeBERTa做NLI验证，类似传统关系抽取中的冲突消解”，展示迁移能力。
- 如果你是校招无项目：聚焦“在TriviaQA上复现Self-RAG论文”的demo，说明你理解论文中的反思标记生成和微调流程，并给出对比数据（如幻觉率下降7%）。
- 《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》（Lewis et al., 2020）
- 《Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection》（Asai et al., 2023）
- 《REALM: Retrieval-Augmented Language Model Pre-Training》（Guu et al., 2020）
- 《DeBERTa: Decoding-enhanced BERT with Disentangled Attention》（He et al., 2021）
- 《Outlines: Structured Generation for LLMs》（GitHub开源工具）