📌 Q3: What are the fundamental challenges of RAG systems
P1 · rag
🏷 标签：rag, challenges, retrieval, fusion
1️⃣ 考察意图
面试官想考察你对 RAG 系统从理论到落地的系统性认知，而非背诵“检索+生成”的流水账。刁钻点在于：能否区分“检索质量”、“融合策略”、“鲁棒性”和“评估”四个层面的挑战，并给出具体 trade-off 和工程坑。答好了能展示你不仅懂论文（如 Lewis 2020），还踩过生产环境的坑（如 chunk 大小对 recall 的影响、rerank 延迟 vs 精度取舍），这是 P1 级面试区分“会用”和“能优化”的关键。
2️⃣ 标准答
RAG 系统的核心挑战可以从四个维度拆解，每个维度都有明确的工程取舍和落地坑。
1. 检索质量：召回率与精度的博弈
- 挑战：检索器（如 BM25 或 DPR）常返回不相关或缺失关键信息的文档。BM25 基于词频，对同义词和语义漂移敏感；DPR 虽好，但训练数据偏差会导致域外泛化差。
- 工程取舍：召回率 vs 精度。提高 top-k（如从 5 到 20）能提升召回，但引入噪声，增加 LLM 上下文窗口压力。实际中常用“混合检索”：BM25 保召回（k1=1.5, b=0.75 默认参数），DPR 提精度，再用 reranker（如 Cohere rerank-v3）做二次排序，但 rerank 延迟约 50-100ms/文档，需权衡实时性。
- 落地坑：chunk 大小直接影响检索效果。固定 512 tokens 的 chunk 可能切碎关键实体（如“2024 年财报”被拆成“2024 年”和“财报”）。解法：用语义分块（如 LangChain 的 RecursiveCharacterTextSplitter 配合 overlap=128 tokens），或基于段落边界分割。
2. 融合困难：多段文本的冲突与冗余
- 挑战：LLM 需要从多个检索结果中合成答案，但文档间可能矛盾（如不同来源的日期冲突）或冗余（重复信息导致生成冗长）。
- 工程取舍：直接拼接 vs 结构化融合。简单拼接（如“请根据以下文档回答”）会导致 LLM 被噪声误导；结构化融合（如先让 LLM 提取每个文档的关键点，再聚合）增加 1-2 次 LLM 调用，延迟翻倍。生产常用“压缩+排序”：用 LLM 或小模型（如 BART）对检索结果做摘要压缩，再输入生成器。
- 落地坑：LLM 对检索结果的顺序敏感。实验显示，将相关文档放在最后会导致答案遗漏率上升 15%（【通用知识】）。解法：按相关性降序排列，或使用 FiD（Fusion-in-Decoder）架构，让每个文档独立编码再融合。
3. 鲁棒性：噪声放大与对抗攻击
- 挑战：检索错误会通过生成器放大。例如，检索到一篇错误论文，LLM 可能自信地生成虚假引用（幻觉）。对抗性输入（如故意插入误导性文档）更难防御。
- 工程取舍：增加验证层 vs 保持端到端效率。加一个“事实性验证器”（如用 NLI 模型检查生成内容与检索文档的一致性）能降低幻觉率 30%，但增加 200ms 延迟。轻量方案：在 prompt 中加“如果文档不相关，请回答‘无法确认’”，但依赖 LLM 的指令遵循能力。
- 落地坑：检索结果为空时，LLM 可能胡编。解法：设置“检索置信度阈值”（如 DPR 相似度 < 0.7 时触发 fallback 到知识库默认回答），或使用“无检索”模式（如只回答“抱歉，未找到相关信息”）。
4. 评估：缺乏统一指标
- 挑战：RAG 评估需要同时衡量检索质量（如 Recall@k）和生成质量（如忠实度、答案覆盖率）。但忠实度（Faithfulness）和答案覆盖率（Answer Coverage）常冲突：高忠实度可能牺牲覆盖率，反之亦然。
- 工程取舍：单一指标 vs 复合指标。RAGAS 框架用忠实度、答案相关性、上下文精度三个维度，但计算成本高（需多次 LLM 调用）。生产常用“人工抽检+自动化指标”：用 BLEU/ROUGE 做快速回归，用 LLM-as-Judge（如 GPT-4 打分）做深度评估，但注意 GPT-4 打分有位置偏差（【通用知识】）。
- 落地坑：评估数据集难构建。解法：用“反事实评估”：故意注入错误文档，看模型是否能拒绝回答，这比标准 QA 评估更能暴露鲁棒性问题。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从检索质量、融合策略、鲁棒性和评估四个层面回答。检索层面，核心是召回率与精度的 trade-off，我用混合检索+rerank 解决；融合层面，结构化压缩比直接拼接更抗噪声；鲁棒性上，加验证层或 fallback 机制；评估则用 RAGAS 加反事实测试。总结一句：RAG 的挑战不是单一技术问题，而是系统工程取舍。”
4️⃣ 高频追问 & 应对
追问 1：你提到混合检索，具体怎么实现？BM25 和 DPR 的权重怎么调？
混合检索常用“分数归一化+加权融合”。BM25 分数范围 0-10，DPR 余弦相似度 0-1，先各自做 min-max 归一化到 [0,1]，然后加权求和（如 BM25 权重 0.3，DPR 权重 0.7）。权重调优用网格搜索：在验证集上最大化 Recall@k。注意：如果数据稀疏（如法律文档），BM25 权重应提高，因为词频匹配更可靠；如果语义相似更重要（如对话系统），DPR 权重占优。落地坑：归一化时 BM25 的异常高分（如匹配到停用词）会主导结果，需做截断（如上限设为 5）。
追问 2：RAG 系统如何应对检索结果为空的情况？
核心是“优雅降级”。方案有三：1）设置信度阈值，如 DPR 相似度 < 0.5 时触发 fallback 到“抱歉，未找到相关信息”；2）用“无检索”模式，让 LLM 仅基于训练知识回答，但需在 prompt 中明确“如果不知道，就说不知道”；3）用“检索增强生成”的变体，如 Self-RAG，让 LLM 自己判断是否需要检索。工程取舍：阈值太低导致误判（本有相关文档但被忽略），太高导致幻觉。生产常用动态阈值：基于历史查询的相似度分布，取第 10 百分位作为阈值。
追问 3：你怎么评估 RAG 系统的忠实度？有没有自动化方法？
忠实度评估常用“NLI 模型”或“LLM-as-Judge”。NLI 方法：用预训练模型（如 DeBERTa-v3）判断生成答案是否被检索文档蕴含，但 NLI 模型对长文本和否定句敏感（【通用知识】）。LLM-as-Judge：让 GPT-4 按 1-5 分打分，但注意位置偏差（答案在前 20% 的得分更高）。解法：用“反事实评估”补充：故意注入错误文档，看模型是否拒绝回答，这比标准打分更鲁棒。生产上，我常用“忠实度+覆盖率”联合指标，用 RAGAS 框架自动化计算，但需定期人工抽检校准。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“RAG 的挑战就是检索不准和生成幻觉”，太笼统，没有区分度 → ✅ 应拆解为检索质量（召回率 vs 精度）、融合（冲突 vs 冗余）、鲁棒性（噪声放大）、评估（指标冲突）四个层面，每个给具体 trade-off。
- ❌ 说“用更大的 LLM 就能解决所有问题”，忽略工程成本 → ✅ 应指出大模型延迟和成本问题，并给出轻量方案（如小模型做 rerank 或压缩）。
- ❌ 说“评估用 BLEU 就够了”，忽略忠实度维度 → ✅ 应强调 RAG 评估需要多维度（忠实度、覆盖率、上下文精度），并给出反事实测试等实战方法。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“混合检索+rerank”的工程取舍切入，强调你如何用 BM25 和 DPR 的权重调优提升 Recall@k 5%，并分享 chunk 大小对召回率影响的实验数据。
- 如果你只做过传统 NLP：用“信息检索 vs 文本生成”的类比迁移，强调你对 BM25 和 TF-IDF 的熟悉，以及如何用 NLI 模型做忠实度评估，展示你快速学习 RAG 评估框架的能力。
- 如果你是校招无项目：聚焦论文复现，如 Lewis 2020 的 RAG 论文，强调你理解 FiD 架构如何解决融合问题，并做过小规模消融实验（如 top-k 对答案准确率的影响）。
- Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", NeurIPS 2020
- Shuster et al., "Retrieval Augmentation Reduces Hallucination in Conversation", EMNLP 2021
- RAGAS: Automated Evaluation of Retrieval Augmented Generation, 2023
- LangChain 官方文档：RecursiveCharacterTextSplitter 与语义分块实践
- Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection, 2023