1 RAG 生成阶段最常见的错误有哪些
P1 · rag
🏷 标签：rag, generation, error-analysis, hallucination
1️⃣ 考察意图
面试官想看你能否跳出“RAG 就是检索+拼接”的浅层理解，系统性地诊断生成阶段的错误根因。考察类型是工程取舍 + debug，刁钻点在于：候选人常只背“幻觉”一个词，却分不清“模型编造”和“事实扭曲”的底层机制差异。答好了能展示你对 LLM 生成行为的深刻理解、Prompt Engineering 的实战经验，以及从系统层面（而非单点）优化 RAG 质量的工程思维。
2️⃣ 标准答
RAG 生成阶段的错误，按根因可分为四类：幻觉、事实扭曲、冗余/不完整、格式失控。每类背后都有明确的工程陷阱和解决路径。
幻觉（Hallucination）
- 表现：模型生成检索材料中不存在的信息，如虚构引用、编造数据。
- 根因：① Prompt 约束不足，未明确“仅基于上下文回答”；② 模型过度自信，尤其在上下文信息模糊时，LLM 倾向“补全”而非“拒绝回答”。
- 工程取舍：加“若上下文无答案，请说‘不知道’”能降幻觉率，但会提升拒答率，需根据业务容忍度调优（如客服场景拒答率容忍度低，金融场景高）。
- 实战坑 + 解法：坑——用 GPT-4 时幻觉率低，换 Llama-3-8B 时飙升，因为小模型对 prompt 指令遵循能力差。解法：对开源模型，在 prompt 中显式加入“如果上下文没有明确提到，不要猜测”，并配合 logit 惩罚（如 repetition_penalty=1.2）抑制生成不确定性。
事实扭曲（Factual Distortion）
- 表现：模型错误理解或扭曲上下文中的信息，如将“2023 年营收增长 10%”说成“2023 年营收 10 亿”。
- 根因：① 上下文过长导致注意力分散，模型在长序列中丢失关键细节（参考 RoPE 位置编码在 4K+ token 后的衰减效应）；② 检索结果中矛盾信息未被消歧。
- 工程取舍：截断上下文到 2K token 能提升事实准确率，但可能丢失长文档中的关键证据。折中方案：分层检索——先检索摘要，再根据摘要定位具体段落，而非一股脑塞入。
- 实战坑 + 解法：坑——用 BM25 检索时，高 TF 词（如“增长”）会掩盖关键实体（如“2023”）。解法：结合 DPR 或 ColBERT 做语义检索，或对检索结果做 rerank（如 Cohere Rerank 3），优先保留实体对齐的段落。
冗余/不完整（Redundancy & Incompleteness）
- 表现：重复相同信息（如连续两段都讲“营收”），或遗漏关键信息（如只回答了“原因”没回答“影响”）。
- 根因：① 检索结果冗余（Top-5 里 3 段内容重叠）；② Prompt 未做去重指令；③ 模型生成时受长度限制截断。
- 工程取舍：去重能减少冗余，但可能误删互补信息（如两段讲同一事件的不同角度）。解法：用 MMR（Maximal Marginal Relevance） 做检索结果重排序，平衡相关性与多样性，参数 lambda 设为 0.7 是常见起点。
- 实战坑 + 解法：坑——模型在长上下文末尾“遗忘”开头信息，导致回答不完整。解法：在 prompt 中要求“先列出所有要点，再逐一展开”，或使用 Chain-of-Thought 引导模型结构化输出。
格式失控（Format Malfunction）
- 表现：输出不符合预期结构，如 JSON 解析失败、Markdown 表格错乱。
- 根因：① Prompt 格式示例不足；② 模型 tokenizer 对特殊字符（如换行符、引号）处理不一致。
- 工程取舍：严格约束格式会降低生成流畅度，尤其对创意类任务。解法：对结构化输出（如 JSON），使用 JSON mode（如 OpenAI 的
response_format参数）或 Outlines 库做语法约束，而非纯 prompt 指令。 - 实战坑 + 解法：坑——模型输出 JSON 时字段顺序随机，导致下游解析报错。解法：在后处理中做正则校验 + 字段重排，或使用 Pydantic 定义 schema 并强制模型按 schema 生成。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从四个层面回答：第一，幻觉，根因是 prompt 约束不足和模型过度自信，解法是加‘不知道’指令和 logit 惩罚；第二，事实扭曲，根因是上下文过长和检索矛盾，解法是分层检索和 rerank；第三，冗余/不完整，根因是检索结果重复和模型截断，解法是 MMR 去重和 CoT 引导；第四，格式失控，根因是 prompt 示例不足，解法是 JSON mode 或语法约束库。总结一句：RAG 生成错误本质是检索质量、模型能力和 prompt 设计三者的失衡，需要系统性地诊断根因，而非单点打补丁。”
4️⃣ 高频追问 & 应对
追问 1：你怎么量化评估这些错误？比如幻觉率怎么算？
用 人工标注 + 自动化指标 结合。自动化：用 Faithfulness Score（如基于 NLI 模型，如 TrueTeacher）判断生成内容是否被上下文支持。人工：抽样 500 条，按错误类型标注，计算分布。关键取舍：自动化指标对事实扭曲的召回率低（约 60%），所以对高价值场景（如金融报告）必须辅以人工抽检。具体数字：工业界常见目标——幻觉率 < 5%，事实扭曲率 < 10%。
追问 2：如果幻觉率降不下来，你会从检索端还是生成端优先优化？
优先检索端。因为生成端优化（如 prompt 工程）有上限，而检索质量差（如召回率低、噪声多）是幻觉的根因。具体做法：先检查检索 Top-5 的 Precision@5，如果低于 0.7，说明检索端是瓶颈，优化方向包括：换 embedding 模型（如从 text-embedding-ada-002 换到 bge-large-en-v1.5）、加 rerank、调整 chunk 大小（从 512 token 降到 256 token 提升精度）。如果检索端已达标（Precision@5 > 0.8），再优化生成端，如加 Few-shot 示例或降低 temperature 到 0.1。
追问 3：你提到 logit 惩罚，具体怎么实现？有什么副作用？
实现：在推理时对生成 token 的 logits 做后处理，如
repetition_penalty=1.2会惩罚已生成 token 的概率。副作用：过高的惩罚（如 > 1.5）会导致模型生成不自然、重复使用罕见词。工程取舍：对事实性任务（如 QA）用 1.1-1.2，对创意性任务（如摘要）用 1.0（不惩罚）。更精细的做法：用 top-k 采样 + 温度缩放 替代，在保持多样性的同时抑制幻觉。
5️⃣ 避坑 · 常见错误答法
- ❌ 只答“幻觉”一个错误，然后泛泛说“加 prompt 约束就行” → ✅ 系统性分类（至少 3 类），并给出每类的根因和具体解法（如 MMR、rerank、JSON mode）。
- ❌ 把“事实扭曲”和“幻觉”混为一谈，说“都是模型编造” → ✅ 明确区分：幻觉是“无中生有”，事实扭曲是“曲解已有信息”，根因不同（前者是 prompt 约束，后者是注意力衰减）。
- ❌ 说“用 GPT-4 就解决了所有错误” → ✅ 承认模型能力差异，但强调工程手段（如检索质量、后处理）才是系统级解法，不能依赖单一模型。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“我在项目中遇到幻觉率 15%，通过分层检索和 rerank 降到 5%”切入，展示你系统性诊断和优化的能力。
- 如果你只做过传统 NLP：用“传统 QA 系统的错误类型（如实体识别错误）类比 RAG 生成错误”，强调你对错误根因的迁移理解，而非只懂 RAG 术语。
- 如果你是校招无项目：聚焦“我复现了 LlamaIndex 的 RAG 示例，并手动标注了 200 条生成结果，发现事实扭曲占 40%”，展示你的动手能力和分析思维。
- 《Retrieval-Augmented Generation for Large Language Models: A Survey》（Gao et al., 2023）
- 《Faithfulness in Natural Language Generation: A Survey of Recent Advances》（Maynez et al., 2020）
- 《MMR: A Maximal Marginal Relevance Approach to Document Retrieval》（Carbonell & Goldstein, 1998）
- 《Outlines: Structured Generation for LLMs》（GitHub 开源库）
- 《TrueTeacher: A Large-Scale Dataset for Evaluating Factual Consistency》（Google Research, 2023）